グーグル、新しいrobots.txtテスターを発表 | RBB TODAY

グーグル、新しいrobots.txtテスターを発表

エンタープライズ ソフトウェア・サービス

新しいテスター
  • 新しいテスター
 グーグルは17日、新しいrobots.txtテスターを発表した。

 「robots.txt」は、サイトの特定のページについて、「ウェブ クローラ」(Googlebotなどのロボット)がクロールを行わないよう指定するテキストファイル。robots.txtでブロックされたページは、Google検索の検索結果に表示されない。

 新しいテスターは、Googleウェブマスター ツールの[クロール]セクションにあり、現在のrobots.txtファイルの確認、およびURLのクロールがブロックされているかどうかのテストを行うことが可能。ファイルに変更を加えてテストを行うこともできる。また、古いバージョンのrobots.txtを確認したり、サーバ側の問題によってクロールがブロックされている状況を確認したりすることもできる。
《冨岡晶》

関連ニュース

特集

page top