robots.txtの編集は要注意、誤るとサイト全体が消える
- robots.txtは検索エンジンに伝える立ち入り案内書です
- 一行のスラッシュがサイト全体をブロックすることがあります
- 検索から隠すことと訪問をブロックすることは別です
- WordPressで直接編集するときにつまずきやすい点
- 変更前後に必ず確認したい4項目
- robots.txtは頻繁に触る設定ではなく、長く維持する約束です
- SOHO SEOで続けて確認できる項目
- よくある質問
- Q. robots.txtに「Disallow: /」があると、サイトは削除されますか?
- Q. 特定の記事だけを検索結果から隠す場合も、robots.txtを使うのですか?
- Q. robots.txtを修正したのに、検索結果がすぐ変わらないのはなぜですか?
- Q. WordPressで、自分のサイトが検索エンジンにブロックされているかはどこで確認できますか?
- Q. この問題をツールで簡単に解決できますか?どのツールを使えばよいですか?
- Q. WordPressでrobots.txtとサイトマップの状態を同時に確認できますか?
- WordPress関連リンク
昨日まで問題なく表示されていたサイトが、今日になって突然検索結果から消えたとしたら、まず何を疑うでしょうか。記事の内容が足りないのではなく、検索ロボットにサイトの扉を閉じてしまう一行が原因かもしれません。
その扉にあたるのがrobots.txtです。名前は難しそうですが、役割はいたってシンプル。検索エンジンに「ここは見ても構いませんが、ここには入らないでください」と伝える案内書です。
robots.txtは検索エンジンに伝える立ち入り案内書です
インターネットの検索エンジンは、人間のようにサイトを読むわけではありません。検索ロボットと呼ばれる自動プログラムがページを巡回し、文章やリンクを確認して、その内容を検索結果に登録します。
robots.txtは、検索ロボットがどのURLまで訪問してよいかを伝えるファイルです。国際的なインターネット標準であるRFC 9309によれば、サイトの最上位、つまりexample.com/robots.txtのようなルート位置に置く必要があります。
たとえば「User-agent: *」はすべてのロボットを指し、「Disallow: /private/」はprivateフォルダー内に入らないよう指示します。反対に、禁止するURLを空欄にすれば、そのロボットに対して特に立ち入りを禁止している場所はない、という意味になります。
ここで、意外に思われるかもしれない事実があります。
robots.txtは鍵ではありません。ドアの前に「入らないでください」と書いた案内板に近いものです。悪意のあるプログラムやルールを無視する訪問者は、なお侵入できるため、パスワードで守るべき情報をこのファイルだけに任せてはいけません。
一行のスラッシュがサイト全体をブロックすることがあります
最も注意が必要なのは、次のような記述です。「User-agent: *」に続けて「Disallow: /」と書くと、すべての検索ロボットに対して、サイト全体を訪問しないよう指示することになります。
末尾のスラッシュ一つが重要です。「/news/」ならnewsフォルダーだけをブロックしますが、「/」はサイトの最も外側にある入口から、すべてのパスを指します。
建設中のテストサイトで、この設定を使うことはあります。問題は、サイトを公開した後も設定が残っていたり、管理者が誤って保存したりするケースです。
WordPressにも似た設定があります。管理画面の設定で、検索エンジンにサイトをインデックスしないよう求める項目を有効にすると、WordPressは検索ロボットにサイトを読まないよう伝えるシグナルを送れます。
WordPressの公式ドキュメントによれば、この設定を有効にしても訪問者のアクセスが遮断されるわけではありません。人はサイトを閲覧できますが、検索エンジンに対しては、サイトを検索結果に含めないよう求める仕組みです。
そのため、「自分のパソコンではサイトが正常に開くのに、なぜ検索結果には表示されないのか」という事態が起こり得ます。人間には正常に見えても、検索ロボットにだけ閉ざされている状態は、実際に起こるのです。
検索から隠すことと訪問をブロックすることは別です
robots.txtをページ削除ボタンのように考えている人は少なくありません。しかしGoogle検索セントラルは、robots.txtを検索結果からページを完全に隠すためのツールとして使わないよう案内しています。
robots.txtでブロックすると、検索ロボットはページの内容を読めません。それでも別のサイトがそのURLにリンクしている場合、Googleはページを読めないまま、URLだけを検索結果に表示することがあります。
検索結果に表示させたくない場合は、ページのnoindex設定やパスワード保護のほうが適しています。noindexは、「このページを読んでも構いませんが、検索結果には入れないでください」という意味です。
一方、robots.txtはサーバーに負荷をかける不要な訪問を減らすときに役立ちます。たとえば、検索結果ページが無限に生成される場合や、カートのように検索結果に表示する必要のないURLが大量に生じる場合です。
ただし、検索エンジンがnoindexのシグナルを読み取る必要があるページを、先にrobots.txtでブロックすると問題になります。Googleの公式案内にもあるように、読めないページに設定されたnoindexを確認できなくなるためです。
WordPressで直接編集するときにつまずきやすい点
自分で編集する際に最初につまずきやすいのは、「いま自分は、どのrobots.txtを編集しているのか」という点です。WordPressでは、ファイルが実際のサーバーに保存されている場合もあれば、WordPressがリクエストを受けるたびに画面上で生成して表示している場合もあります。
WordPress開発者向けドキュメントでは、robots_txtというフィルターが紹介されています。テーマやプラグイン、あるいは自分で追加したコードによって、内容が変更される可能性があるということです。
そのため、管理画面で一行削除したのに実際のURLでは内容が変わらなかったり、反対にプラグインを無効化した途端にルールが消えたりすることがあります。複数人でサイトを管理していると、誰がどの設定を追加したのかも見落としやすくなります。
もう一つの難しさは、ルールの記述が直感的ではないことです。
- User-agentは、ルールを適用するロボットを指定します。
- Disallowは、立ち入りを禁止するパスを指定します。
- Allowは、ブロックされた範囲内で例外的に許可するパスを指定します。
- Sitemapは、サイトマップファイルの場所を知らせます。
ルールは一行ずつ独立して読まれるのではなく、同じロボット名の下にあるひとまとまりとして解釈されます。AllowとDisallowが併記されている場合は、より具体的なパスが優先されることがあるため、単純に上から下へ読むだけでは判断を誤りやすいのです。
Googleはrobots.txtの内容を、通常は最大24時間ほど保存することがあります。修正したのにすぐ反映されない場合、保存に失敗したのではなく、検索エンジンが一時的に以前の内容を使っている可能性があります。
自分で編集する方法には、影響範囲を全体像として把握しにくいという限界もあります。トップページは開けたまま商品ページだけをブロックしたかったのに、パスの指定を誤って記事や画像まで一緒にブロックしてしまうことがあるのです。
変更前後に必ず確認したい4項目
robots.txtを変更する前に、まず現在の内容をコピーしておきましょう。問題が起きたとき、元の状態に戻せるようにしておく必要があるからです。
次に、実際のURLを直接開いてみてください。アドレスバーでサイトのURLの末尾に/robots.txtを付け、サーバーがどのような内容を返しているかを確認します。
- サイト全体をブロックする「Disallow: /」がないか確認します。
- 重要な記事、商品、カテゴリーのパスがブロックされていないか確認します。
- 必要であれば、サイトマップのURLが正しいか確認します。
- Search Consoleのrobots.txtレポートとURL検査ツールでテストします。
Googleは、robots.txtが公開され、読み取り可能な状態かを確認したうえで、Search Consoleの関連レポートや開発者向けの検査ツールを使ってルールを確認するよう案内しています。1ページを開けるかどうかと、サイト全体のルールが安全かどうかは別の問題です。
修正後は、検索結果だけを見ないようにしましょう。サイトマップに登録されている重要なURLをいくつか選び、Search Consoleでクロールがブロックされていないか確認するほうが早く状況を把握できます。
サイトがすでに検索結果から消えている場合、原因を直した後も回復には時間がかかることがあります。ロボットが再訪問し、内容を読み込み、検索結果を更新するという過程が必要だからです。
robots.txtは頻繁に触る設定ではなく、長く維持する約束です
Googleは、robots.txtを検索順位を上げる万能設定とは考えていません。主な目的は、検索ロボットの訪問を調整し、重要でないURLを長期間にわたって巡回させないようにすることです。
今日は禁止し、明日は許可し、翌週にはまた禁止するというように頻繁に変更すると、管理はさらに難しくなります。特に公開サイトでテスト用のルールをそのまま使うのは危険です。
最も安全なのは、まず目的を明確にすることです。検索結果から隠したいのか、ロボットの訪問だけを減らしたいのか、それとも情報そのものを保護したいのかによって、適した方法は変わります。
検索結果に表示させたくないならnoindexを検討し、機密情報ならログイン認証やパスワード保護を使ってください。重複URLや不要な自動生成ページを減らしたい場合に限って、robots.txtを慎重に使うのがよいでしょう。
robots.txtは小さく平凡なテキストファイルに見えますが、サイト全体の扉を開け閉めする案内書です。一行を変更する前に、何をブロックしたいのか、何は必ず開けておく必要があるのかを、まず書き出してみてください。
SOHO SEOで続けて確認できる項目
WordPressでrobots.txtを慎重に扱うには、ルールそのものだけでなく、サイトマップや検索除外の設定も併せて確認する必要があります。SOHO SEOは、検索表示に影響する技術面・構造面の要素を点検し、一部の設定を支援するWordPress向けSEOプラグインです。SOHO SEO > Sitemapでは、通常のXMLサイトマップと、最近の投稿だけを含めるGoogle Newsサイトマップを有効・無効にできます。また、noindex managementでは、日付・投稿者・タグ・検索結果などのアーカイブ型ページに検索除外を設定できます。
修正後の状態を継続的に確認したい運営者にとって、SOHO SEOのSite Error Check (key search engine items)も、この記事で扱った問題に関係する機能です。有効にすると、このプラグインが提供するrobots.txtとサイトマップを1日1回確認し、問題がある場合にメールを送信します。ただし、個別の記事やページをnoindexにしたり、ホームページ全体を検索結果から除外したりするための機能ではありません。目的に合った設定を使い分ける必要があります。
よくある質問
Q. robots.txtに「Disallow: /」があると、サイトは削除されますか?
A. サイトのファイルが削除されるわけではありません。ただし、検索ロボットがサイト全体を訪問できなくなるため、検索結果から消えたり、新しい記事が発見されなかったりする可能性があります。
Q. 特定の記事だけを検索結果から隠す場合も、robots.txtを使うのですか?
A. 通常はnoindexのほうが適しています。先にrobots.txtでブロックすると、検索ロボットがnoindexのシグナルを読み取れなくなる可能性があります。
Q. robots.txtを修正したのに、検索結果がすぐ変わらないのはなぜですか?
A. 検索エンジンが以前のファイルを一時的に保存している可能性があります。Googleはrobots.txtを通常最大24時間ほど保存することがあり、その後も再訪問と検索結果の更新に時間がかかります。
Q. WordPressで、自分のサイトが検索エンジンにブロックされているかはどこで確認できますか?
A. 設定の表示設定画面で、検索エンジンにサイトをインデックスしないよう求める項目を確認してください。実際には、/robots.txtの内容とページのrobotsメタ設定も併せて確認する必要があります。
Q. この問題をツールで簡単に解決できますか?どのツールを使えばよいですか?
A. まずrobots.txtのURLを直接開き、Search Consoleのrobots.txtレポートとURL検査ツールを併用してください。ルールを自動生成するツールよりも、変更前後の結果を比較し、重要なURLを検査する作業のほうが重要です。
Q. WordPressでrobots.txtとサイトマップの状態を同時に確認できますか?
A. まず実際の/robots.txtのURLとサイトマップを直接確認し、Search Consoleの検査ツールも併用してください。
SOHO SEOのSite Error Check (key search engine items)を有効にすると、このプラグインが提供するrobots.txtとサイトマップを1日1回確認し、問題がある場合にメールを送信します。ただし、検索除外が目的なら、アーカイブ型ページにnoindexを設定するなど、目的に合った機能を別途選ぶ必要があります。