Googleによるサイトのキャッシュ

Google Similiarを入れてみて、初めて分かったことなのですが、Googleによるサイトのキャッシュのなかに、“mt-comment.cgi?__mode=handle_sign_in&static=1&entry_id=6&logout=1”というページまで含まれています。

logoutしたことになっているので、結果的には、個別エントリーのページが表示されるのですが、それにしても*.cgiのつくるページまでキャッシュしているというのは、ちょっと気持ち悪い…。

なんかうまく防ぐ方法はないんでしょうか?(もちろん、サイト全体の検索を拒否するのではなく)

作成者: GAKU

年齢:50代 性別:男 都道府県:東京都(元関西人) 趣味:映画、クラシック音楽、あとはひたすら読書

2件のコメント

  1. googleをはじめとする巡回系サーチエンジンの巡回を回避するためには自分のルートディレクトリにrobots.txtを登録する必要があります。

    User-agent: * ←サーチエンジンを指定する
    Disallow: /hogehoge/map/ ←特定のディレクトリを巡回させない
    Disallow: /foo.html ←特定のファイルを巡回させない
    allow:/hogehoge/cgi-bin/mt/archive/ ←除外設定

  2. >Kumaさん
    robots.txtのことはgoogleのホームページにも書かれていましたが、そこでは全部の巡回を拒否する設定しか紹介されておらず、困っていました。こういうふうにすれば特定のディレクトリを巡回させない設定ができるんですね。
    さっそく設置します。ありがとうございました。

コメントする

メールアドレスが公開されることはありません。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください