最近、個別ページ(Permalink)に設置している Google Adsense が変な広告ばかりを表示していて困っていました。で、原因を探っていたのですが、どうやら Google ウェブマスターツールで設定していた sitemap がエラーとなっていたために、しばらくの間 Googlebot さんが来てくれてなかったようです。
sitemap.xml の作成は、MT のエントリータグを利用する方法で書き出している「全自動方式(SCREAMO)」で行っているため、記述ミス等はありえませんし、ブラウザからもきちんとアクセスできます。表示されているエラーの内容を見ると、「robots.txt にアクセスできません」とありますので、とりあえずテキストエディタで次のように記述してサーバーに上げました。
User-agent: * Sitemap: http://musicmaniacs.net/sitemap.xml Disallow:
この３行（正式には最後の行は空白じゃなきゃいけないんで、改行を含め４行）を書いて、robots という名前のテキストファイルで保存。これで検索エンジンのロボットにクロールを「許可」しつつ、sitemap の存在を教えてあげることができます。robots.txt は、本来ロボットのクロールを制限するために使うものですので、許可の場合は不要なはずなんですがね。ファイルが無いことが原因かもしれないので、とりあえずおせっかいしてみます。
とりあえずこの時点で再度、sitemap の「選択した項目を再送信」を実行して一晩放置してみましたが、状況はエラーのまま変わらず。この時点でとうとう打つ手が無くなってかなり悩みましたが、今朝、解決策をようやく発見しました。それは
登録済みの sitemap を一旦削除して再登録
というなんとも初歩的なもの。無事、ウェブマスターツールが sitemap.xml を sitemap として正式に認識してくれました。これで、Google がクロールを再開してくれると非常に嬉しいんですが。登録済みのインデックスの数が Yahoo! の半分以下という現状。Adsense の件も含めて、どうなることやら。とりあえずは一段落です。