「robots.txtによってブロックされている」という警告が突然増加した場合

サーチコンソールで、「robots.txtによってブロックされている」URLの数が突然増加した場合、まずこのような疑問が生じます。「私のサイトが壊れているのでしょうか?」

ほとんどの場合、数値だけではウェブサイト全体の状況を判断することはできません。まず、ブロックされているURLが、検索結果に必ず表示されるべき重要な記事であるかどうか、それとも管理画面や検索結果のような補助的なURLであるかどうかを区別する必要があります。

突然増加した数値が、必ずしも故障を意味するわけではありません。

この警告は、Googleが特定のURLにアクセスしようとしたものの、ウェブサイトのrobots.txtという設定によってアクセスできなかったことを意味します。robots.txtは、検索ロボットがウェブサイトのどの部分をクロールするかを制御するファイルです。

運営者がこの数字に気づくのは、通常、新しい記事を投稿した直後、または検索からの流入が減少した後に、レポートを開いて確認した際です。そして、「Googleが私たちのサイトを放棄したのか?」と驚くことがあります。

しかし、サーチコンソールのページインデックス作成レポートは、Googleが認識しているすべてのURLを基本として集計します。管理画面、内部検索結果、フィルタリングされたURL、重複URLなど、本来検索結果に表示されなくても問題ないURLも含まれることがあります。

Googleは、2021年1月11日に、レポートの状態と分類が変更されたため、レポートの状態と分類が変更されたため、同じウェブサイトでも問題の数や種類が異なるように見える可能性があると説明しました。Googleが新しいURLを検出した場合も、その数は増加します。

数字よりも、URLの役割が重要です。

まず、重要な記事がブロックされているかどうかを確認してください。

結論は単純です。重要な記事がブロックされている場合は修正する必要がありますが、補助的なURLが追加されただけであれば、その数を0にする必要はありません。

特に、robots.txtによるブロックは、検索結果から完全に非表示にする機能ではありません。他のウェブページのリンクを通じてGoogleがURLを特定した場合、ブロックされたURLが検索結果に表示される可能性もあります。

検索結果に表示されるべきでないページの場合、robots.txtだけに頼るべきではありません。Googleが内容を読み取れるようにブロックを解除し、ページにnoindexを設定する方法が適切である可能性があります。

管理者のページ、内部検索結果、ショッピングカート、そして無限に増え続けるフィルタのURLについては、ブロックを維持しても問題ありません。検索結果に表示されるべき主要な記事が適切に表示されているかどうかは、数値よりも重要です。

修正すべき点は、警告そのものではありません。

実際に確認する際に、問題が発生する箇所もあります。

全体リストを最初から確認する必要はありません。代表的なURLを3つだけ選択すれば、原因を大幅に絞り込むことができます。

  1. ブラウザのアドレスバーの末尾に「/robots.txt」を付加して、実際にそのファイルを開きます。
  2. ウェブサイト全体、記事のパス、カテゴリーのパスをブロックする「Disallow」ルールが存在するかどうかを確認します。
  3. サーチコンソールのURL検査機能では、指定されたURLに対して、クローリングが許可されているかどうかを確認します。
  4. 最終のクローリング日と、ページ取得の状況も確認します。
  5. ページインデックス作成レポートのブロック対象URLのサンプルを開き、役割を区別します。

URLが重要な記事かどうか判断が難しい場合は、タイトルやパスを基準に確認してください。 新しく作成された記事、サービス紹介、お問い合わせ案内など、訪問者がアクセスする必要があるページは、優先的に確認対象となります。

一方、検索語を入力した結果ページや、タグ、フィルターの組み合わせによるURLの場合、補助的なURLである可能性が高いです。robots.txtレポートでは、Googleがファイルを最後に処理した日時やエラーも確認できます。

問題は、単一のルールだけでは解決しない可能性があることです。 複数の「Disallow」ルールが同じパスに適用される場合があり、また、実際のファイルとWordPressやホスティングの設定が異なる場合もあります。

URLが多い場合、どのルールがどのページをブロックしているのかを、一つずつ比較する必要があります。直接修正した後でも、Googleがすぐに再度アクセスしたり、検索結果を即座に変更したりする保証はありません。

URLが多数ある場合、robots.txtのルールをWordPress内で直接整理するのが面倒な場合は、SOHO SEOのrobots.txt & llms.txtでファイルを編集することができます。ただし、この機能は、実際のサーバー設定やホスティングの動作を直接変更するものではなく、編集するファイルを管理する役割です。修正後には、検索コンソールで正規URLのクロール状態を再度確認する必要があります。

直接点検には、明らかに限界があります。

複数のURLや設定を比較し続ける作業が煩雑な場合、SEOツールを補助的に使用して、チェックの流れを整理することができます。ただし、実際にrobots.txtを修正したり、サーバーの設定を変更したりする主体は、WordPress、ホスティング、またはサーバーの設定です。

SOHO SEOを使用して、robots.txtファイルとサブURLを管理します。

今回の問題の核心は、ブロックされたURLをすべて削除することではなく、重要な記事をブロックするルールと、本来検索に不要なURLを区別することにあります。SOHO SEOのrobots.txt & llms.txtでは、WordPress内でrobots.txtファイルを編集できるため、複数のDisallowルールをまとめて確認し、管理することができます。

日付、投稿者、タグ、サイト内検索結果など、検索から除外する補助URLを区別する必要がある場合は、Noindex Managementも関連します。この機能は、選択した分類のアーカイブページに検索除外設定を適用しますが、個々の記事やページを検索から除外する機能ではありません。したがって、重要な記事のブロックを解除したい場合と、補助URLの検索除外を扱いたい場合を分けて使用する必要があります。また、修正後、クロール状態とインデックスの状態を確認する作業は、別途行う必要があります。

修理する方法によって、支払うべき費用が異なります。

重要な記事の掲載を制限する規則を解除する。

重要な記事へのアクセスを遮断する「Disallow」ルールを削除するか、適用範囲を狭めます。これにより、GooglebotがそのURLを再度クロールできるようになります。

代わりに、サーバーへのリクエストが増加する可能性があります。また、修正したとしても、それがすぐに再クローリングされるという保証はありません。検索結果に即座に反映されるということもありません。

ブロックを解除しても、すぐに検索結果に表示されるわけではありません。

検索結果から除外する場合、`noindex` を使用します。

内容についてGoogleが確認するものの、検索結果には表示させたくない場合は、robots.txtによるブロックを解除し、ページにnoindexを設定します。Googleは、robots.txtによってブロックされたページのnoindexを読み取ることができないと案内しています。

つまり、検索除外とアクセス遮断は別の問題です。この二つを組み合わせると、ページが検索結果に表示されず、さらにGoogleが除外指示を読み取ることができないという、曖昧な状態になる可能性があります。

隠蔽しようとする意図を明確にする必要があります。

意図したブロックは、そのまま維持します。

管理画面や内部検索のURLが増加した場合のみ、ブロックを維持することができます。ただし、その場合、サーチコンソールのブロック数は引き続き表示される可能性があります。

すべての警告をゼロにすることを目的にしているわけではありません。訪問者が探している記事が閲覧可能になっているかどうかの方が重要です。

修正後には、数字だけでなく、主要な記事も再度ご確認ください。

重要な記事が含まれている場合は、`/robots.txt`でブロックされているパスを確認し、該当するルールを解除した後に、正規URLを再度確認してください。URLの確認では、クロール許可の有無、インデックス許可の有無、ページ取得の状態を個別に確認できます。

robots.txtを修正した後は、検索コンソールのrobots.txtレポートで再処理をリクエストすることができます。ただし、ブロック解除されたURLがすぐに再クロールされることを保証するものではありません。

検索結果に表示させたい記事がブロックされている場合、ルールを変更する方を選択してください。管理者、検索、フィルター、重複URLの数が増加している場合は、ブロックを維持し、数値よりも代表ページの状況を管理する方が良いでしょう。

重要な記事は開き、補助URLは目的に合わせて管理してください。

結局、確認すべきは警告の総量ではなく、検索結果に表示されるべき主要な記事がブロックされているかどうかです。重要な記事と関連URLを繰り返し比較する必要があるWordPressの運営者であれば、SOHO SEOを使用することで、robots.txtの編集と、一部の補助URLの検索除外設定をまとめて管理することができます。

しかし、実際の規則の影響は、サーチコンソールにおけるURLの検証結果や、robots.txtのレポートで改めて確認する必要があります。数値の削減よりも、URLの役割に合った許可と拒否の設定が、この問題の基準となります。

  • ブロックされたURLの中に、重要な記事が含まれているかどうかを確認する。
  • robots.txtファイル内で重複している禁止ルールを特定する。
  • URLの検査において、クロール状況とインデックス状況を個別に確認できます。
  • 検索を除外することが目的であれば、robots.txtではなく、noindexの利用を検討してください。
  • 修正後、正規URLとrobots.txtの処理状況を再度確認してください。

よくある質問

Q. URLの数が突然増加すると、検索順位が下がるのでしょうか?

A. 数値の増加だけで、検索順位の低下やウェブサイト全体の不具合を断定することはできません。Googleが新しいURLを検出した、あるいはレポートの分類が変更された可能性もあるため、どのURLが増加したのかをまず確認する必要があります。

質問: 重要な記事がブロックされてしまった場合、まず何をすべきでしょうか?

A. ウェブサイトのURLの後に「/robots.txt」を付加し、重複している「Disallow」ルールを探し、該当するパスの制限を解除してください。その後、検索コンソールのURL検査で、クロール許可の有無とページの取得状況を再度確認してください。

Q. この問題をツールを使って簡単に解決できますか?

A. 複数のURLや設定を比較するチェックツールを補助的に利用することは可能です。ただし、実際のルール変更は、WordPress、ホスティング、サーバーの設定において直接行う必要があり、ツールが検索表示を保証するものではありません。

Q. robots.txt と noindex を、一つの場所で管理できますか?

A. SOHO SEOでは、robots.txtファイルを編集し、日付、投稿者、タグ、サイト内検索結果、および選択した分類のアーカイブページに対して、noindex設定を適用することができます。

ただし、個々の記事やページをnoindexとして除外する機能ではないため、重要な記事を検索から除外したい場合は、別途設定を確認する必要があります。 また、robots.txtを修正した後に、クロールとインデックスの状態を保証するツールでもありません。

WordPress関連リンク

https://sohoseo.luxdigest.com
https://store.luxdigest.com
https://wpcm.luxdigest.com