Googleによるサイトのキャッシュ

Google Similiarを入れてみて、初めて分かったことなのですが、Googleによるサイトのキャッシュのなかに、“mt-comment.cgi?__mode=handle_sign_in&static=1&entry_id=6&logout=1”というページまで含まれています。

logoutしたことになっているので、結果的には、個別エントリーのページが表示されるのですが、それにしても*.cgiのつくるページまでキャッシュしているというのは、ちょっと気持ち悪い…。

なんかうまく防ぐ方法はないんでしょうか?(もちろん、サイト全体の検索を拒否するのではなく)

Similar Articles:

  1. googleをはじめとする巡回系サーチエンジンの巡回を回避するためには自分のルートディレクトリにrobots.txtを登録する必要があります。

    User-agent: * ←サーチエンジンを指定する
    Disallow: /hogehoge/map/ ←特定のディレクトリを巡回させない
    Disallow: /foo.html ←特定のファイルを巡回させない
    allow:/hogehoge/cgi-bin/mt/archive/ ←除外設定

  2. >Kumaさん
    robots.txtのことはgoogleのホームページにも書かれていましたが、そこでは全部の巡回を拒否する設定しか紹介されておらず、困っていました。こういうふうにすれば特定のディレクトリを巡回させない設定ができるんですね。
    さっそく設置します。ありがとうございました。

Leave a Comment

NOTE - You can use these HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <img localsrc="" alt="">