サイトマップとrobots.txtが静かに故障した場合 – サイトの状態監視
- サイトマップとrobots.txtは、それぞれ異なる役割を果たします。
- ウェブサイトが正常に動作しているように見えるため、問題がより遅れて発見されることがあります。
- 確認の基準は、住所ではなく、検索エンジンが読み取った結果です。
- 実際に確認したところ、問題が発生する箇所があります。
- robots.txtファイルとサイトマップは、それぞれ個別に確認する必要があります。
- 管理画面だけを信用すると、見落としてしまう問題があります。
- 変更の規模に応じて、点検の強度を決定してください。
- SOHO SEOによる定期点検を継続してください。
- よくある質問
- Q. 重要なページが検索結果に表示されない場合、どこから確認すればよいでしょうか?
- Q. この問題をツールを使って簡単に解決できますか?
- Q. サイトはどのくらいの頻度で点検する必要がありますか?
- Q. 自動チェック機能と検索エンジンレポートは、どのように区別して確認しますか?
- WordPress関連リンク
ページは正常に表示されるものの、検索からのアクセス数が減少しました。
管理画面にも特別な警告は表示されていません。このような場合、最初に確認すべきはサイトマップとrobots.txtです。
両方ともURLが存在していても、検索エンジンがそれを正しく認識するという意味ではありません。
サイトマップとrobots.txtは、それぞれ異なる役割を果たします。
サイトマップは、検索エンジンに対して重要なページのURLを知らせるためのリストです。一方、robots.txtは、検索エンジンのクローラーがアクセスを許可される場所を指示するファイルです。
サイトマップの送信は、URLを発見するためのヒントになります。 これは保証書ではありません。
すべてのURLが必ずクロールされたり、インデックス登録されたりするわけではありません。
robots.txtは、サイトの最上位のURLに配置する必要があります。example.comのファイルは、そのホスト、プロトコル、およびポートにのみ適用されます。
サイトマップの1つは、圧縮されていないファイルとして、最大で50MBのデータ、または50,000個のURLを格納できます。ウェブサイトの規模が大きくなるにつれて、この制限を確認する必要があります。
ウェブサイトが正常に動作しているように見えるため、問題がより遅れて発見されることがあります。
最も困難な点は、訪問者がページを継続的に閲覧できることです。これは人間にとっては正常なことですが、検索エンジンによるURLの発見とクロールが弱まる可能性があります。
robots.txt のリクエストに対して、有効なファイルを提供できない場合、または 404 エラーを返す場合、Google はウェブサイトのクロールを遅らせたり、停止したりする可能性があると案内されています。
最初の12時間であれば、データ収集を中断することができます。また、その後も最大30日間は、最後に正常に確認されたファイルを継続して利用することができます。
短時間のエラーが長く残ることがあります。
運営者は、トラフィックが減少して初めて、設定変更やサーバーの応答を振り返りがちです。Search Consoleのrobots.txtレポートでは、Googleがファイルを最後に読み込んだ日時、および警告やエラーを確認でき、修正後に再度読み込ませるようにリクエストすることも可能です。
確認の基準は、住所ではなく、検索エンジンが読み取った結果です。
モニタリングの基準は、ファイルが開かれるかどうかではありません。正しいホストから正しい内容が読み込まれ、その結果が実際のインデックス対象となるURLと一致するかどうかを確認する必要があります。
まず、ブラウザでサイトのURLの後に「robots.txt」を付加してアクセスしてみてください。次に、登録されたサイトマップのURLも直接確認してください。
次に、Search Consoleでrobots.txtレポートとサイトマップレポートを確認します。robots.txtレポートは、ドメイン属性またはパス属性を持たないホストレベルの属性で確認できます。
サイトマップレポートでは、Googleが送信されたサイトマップを読み込んでいるかどうか、また、処理エラーが発生しているかどうかを確認できます。ただし、このレポートは、そこで送信されたサイトマップのみを直接追跡します。
Googleが別の経路で検出したサイトマップは、レポートに自動的に表示されない場合があります。
リストにないことを知らないわけではありません。
実際に確認したところ、問題が発生する箇所があります。
実際の点検では、ファイルが開かれているかどうかと、検索エンジンが処理しているかどうかを混同しやすい場合があります。ブラウザは応答内容を表示しますが、そのURLがどのホストとプロトコルに関連付けられているか、またはGoogleがいつそれを読み込んだかまでは判断しません。
サイトマップが開かれている場合でも、URLが誤っているか、重要なページが抜けているか、またはrobots.txtがそのページのクロールをブロックしている可能性があります。一方で、サイトマップレポートに掲載されていないという理由だけで、Googleがそのサイトマップを全く認識していないと断定することはできません。
直接確認は、あくまで出発点に過ぎません。
そのため、ブラウザでの確認、Search Consoleのレポート、そして重要なページのURL検査の結果も照らし合わせる必要があります。小規模なサイトであれば可能かもしれませんが、URLの数が多かったり、変更が頻繁に発生したりする場合、人が毎回、欠落やブロックの状況を特定することには限界があります。
robots.txtファイルとサイトマップは、それぞれ個別に確認する必要があります。
2つのファイルは役割が異なります。robots.txtは、アクセスとクロールを確認します。一方、サイトマップは、URLのリストの品質と処理状況を確認するために使用されます。
重要なページが検索結果に表示されない場合は、URL確認ツールをご利用ください。このツールは、そのURLがrobots.txtによってブロックされているかどうか、どのサイトマップが参照されているか、そしてGoogleが現在、そのページのインデックスの状態をどのように評価しているかを示します。
サイトマップを送信しなくても、Googleはリンクを通じてURLを検出することができます。しかし、Search Consoleに送信すると、処理状況を継続的に確認できるため、確認作業が容易になります。
確認の順序は、シンプルにしておけばよいです。
- robots.txt の実際の URL を開きます。
- 登録されたサイトマップのURLを開きます。
- 2つのレポートで、警告と処理エラーを確認します。
- 重要なページは、URL検査でブロックの有無と参照サイトマップを確認します。
管理画面だけを信用すると、見落としてしまう問題があります。
最も大きな誤解は、robots.txtを使って検索結果のインデックス作成を阻止できるという考えです。Googleは、robots.txtを検索結果からページを削除する手段としてではなく、クローラーのアクセスを制御する手段として説明しています。
robots.txtによってブロックされているURLであっても、他のサイトからのリンクなどを通じて、そのURL自体が検索結果に表示される可能性があります。検索結果から除外したいという目的であれば、noindexやパスワード保護など、目的に合った方法を選択する必要があります。
反対の誤解もあります。サイトマップのエラーが発生した場合でも、それが原因でウェブサイト全体のインデックス作成がすぐに停止するわけではありません。
サイトマップは、複数のURL発見経路の一つであり、ヒントとなります。ただし、サイトマップの送信だけでは、すべてのURLの収集とインデックス化が保証されるわけではありません。
WordPressのSite Health機能は、設定、サーバー、データベース、プラグイン、およびテーマの状態を診断します。しかし、Googleのサイトマップ処理の状態や、Googlebotが実際にどのようにインデックスを判断するかについては、表示しません。
管理画面が整っている場合でも、別途確認が必要です。
URLが多かったり、変更が頻繁だったりすると、この確認を定期的に繰り返すこと自体が負担になり得る。SOHO SEOのSite Error Checkは、WordPress内でrobots.txtと、このプラグインが提供するサイトマップを毎日確認する。
問題が発生した場合、メールが送信されるため、ファイルやサイトマップの異常を検知する別のチェックポイントが設けられます。ただし、これはSearch Consoleの処理レポートやURL検査の代替となる機能ではないため、検索エンジンの実際の判断は、それぞれのツールで別途確認する必要があります。
変更の規模に応じて、点検の強度を決定してください。
小規模なウェブサイトであれば、月に一度確認し、コンテンツの構成やドメイン、セキュリティ接続、SEO設定を変更した直後にも点検してください。GoogleもSearch Consoleを毎日確認する必要はなく、通常は月に一度、またはウェブサイトの変更後に確認できると案内されています。
通常は、robots.txtの実際の応答とサイトマップのURL、そしてこれら2つのレポートの処理状況を確認するだけで十分です。これらの4つを記録しておけば、先月と何が異なっているのかを容易に見つけることができます。
大規模なウェブサイトや、トラフィックが重要なウェブサイトでは、主要なURLのインデックスの状態を個別に記録してください。robots.txtのエラー、5xx応答、大量のインデックス除外が見られる場合は、サーバーの応答状況と、最近行われた設定変更をすぐに確認する必要があります。
重要なページが欠落していたり、ブロックされていたりする場合は、URLの検査でライブURLをテストしてください。アクセス制限の有無と、参照されているサイトマップを確認した後、修正を行い、インデックス作成の要求または検証の手順に進んでください。
結局、早期発見の答えは、単一の管理画面に限定されるものではありません。
実際のURL応答、robots.txtレポート、サイトマップレポート、および重要なURLのURL検査結果を合わせて確認する必要があります。
SOHO SEOによる定期点検を継続してください。
ファイルが開かれているかどうか、また検索エンジンがそれを処理しているかどうかを常に区別して確認する必要がある場合、WordPress内のチェック項目とSearch Consoleの結果を連携して管理する仕組みが必要です。SOHO SEOのSite Error Checkは、robots.txtとこのプラグインが提供するサイトマップを毎日確認し、問題がある場合にメールを送信します。自動確認は、異常を知らせる役割として機能させ、Search ConsoleのレポートやURL検査では、Googleの読み込みとインデックス化の状況を確認します。
サイトマップ自体の運用方法も整理することができます。SOHO SEOのサイトマップ機能では、通常のXMLサイトマップと、最新の投稿のみを掲載するGoogleニュース用サイトマップを有効にしたり無効にしたりすることができます。日付、作成者、タグ、検索結果など、特定の種類のページを検索から除外したい場合は、noindex管理機能で該当の種類を管理できます。これにより、robots.txtでインデックスをブロックしようとする誤解を避けながら、URLリストと検索除外設定を区別することができます。
よくある質問
Q. 重要なページが検索結果に表示されない場合、どこから確認すればよいでしょうか?
A. まず、実際のrobots.txtファイルとサイトマップの応答を確認してください。次に、URLの検査で、ブロックされているかどうか、参照されているサイトマップ、および現在のインデックスの状態を確認してください。
Q. この問題をツールを使って簡単に解決できますか?
A. このツールがエラーをすべて自動的に修正するわけではない。実際のURLの確認にはブラウザを使い、検索エンジンによる読み取りと処理の状態はSearch ConsoleとURL検査ツールで確認するのが最も基本的な方法である。
Q. サイトはどのくらいの頻度で点検する必要がありますか?
通常は、月に一度の確認で十分です。ただし、ドメイン、セキュリティ接続、コンテンツ構造、またはSEO設定を変更した直後は、すぐに再確認してください。
Q. 自動チェック機能と検索エンジンレポートは、どのように区別して確認しますか?
自動チェックは、ファイルやサイトマップに問題が発生していないかを確認するために使用され、検索エンジンの処理状況は、Search ConsoleやURL検査で確認する必要があります。
SOHO SEOのSite Error Check機能は、robots.txtファイルと、このプラグインが提供するサイトマップを毎日確認し、問題が検出された場合にメールで通知します。したがって、通知を受け取った後は、実際のURLの応答と、両方のレポートの内容を照らし合わせる手順が適切です。