Google Similiarを入れてみて、初めて分かったことなのですが、Googleによるサイトのキャッシュのなかに、“mt-comment.cgi?__mode=handle_sign_in&static=1&entry_id=6&logout=1”というページまで含まれています。
logoutしたことになっているので、結果的には、個別エントリーのページが表示されるのですが、それにしても*.cgiのつくるページまでキャッシュしているというのは、ちょっと気持ち悪い…。
なんかうまく防ぐ方法はないんでしょうか?(もちろん、サイト全体の検索を拒否するのではなく)
googleをはじめとする巡回系サーチエンジンの巡回を回避するためには自分のルートディレクトリにrobots.txtを登録する必要があります。
User-agent: * ←サーチエンジンを指定する
Disallow: /hogehoge/map/ ←特定のディレクトリを巡回させない
Disallow: /foo.html ←特定のファイルを巡回させない
allow:/hogehoge/cgi-bin/mt/archive/ ←除外設定
>Kumaさん
robots.txtのことはgoogleのホームページにも書かれていましたが、そこでは全部の巡回を拒否する設定しか紹介されておらず、困っていました。こういうふうにすれば特定のディレクトリを巡回させない設定ができるんですね。
さっそく設置します。ありがとうございました。