インデックスページは正しく管理する
robots.txtでブロックせずmeta noindexを使う理由――すでにインデックスされたページを実際に削除する正しい方法
前回の記事では、インデックスの選択機能がrobots.txtではなく、meta noindexを使っていることに少し触れた。
今回は、この判断の理由を徹底的に掘り下げる。これは単なる技術的な選択ではない。多くの人が実際に犯しているミスを防ぐための判断だった。
「ブロックする」という言葉の2つの意味
「このページを検索結果から外したい」と考えたとき、多くの人はおおむね2つの方法を思い浮かべる。
robots.txtに1行追加してクロールを拒否するか、メタタグにnoindexを指定するかだ。この2つが似たような効果をもたらすと思っている人は多いが、私はこれこそ最もよくある、そして最も危険な誤解だと考えている。両者はまったく異なる段階で機能する。
robots.txtは、「ここには来るな」という指示だ。Googlebotがそのページにアクセスできないよう、入口で遮断する。meta noindexは正反対である。「ここに来ても構わない。ただし、訪問した後はインデックスに登録するな」という指示だ。アクセスは許可したうえで、検索結果への掲載だけを止める。この違いがなぜ重要なのか、実際に起こるケースを通して説明しよう。
すでにインデックスされたページをrobots.txtでブロックすると何が起きるのか
あるページがすでにGoogleにインデックスされているとする。これを削除したいと思い、robots.txtにブロック規則を追加する。多くの人は、それでページが検索結果から消えると期待する。

その結果、Google Search Consoleでは実際に「インデックス登録済み、robots.txtによりブロックされています」という状態が表示される。
矛盾しているように聞こえるが、これは実際に起こる。Googleはページの内容を読めなくても、そのURLへのリンクが存在することは確認できるため、URL自体をインデックスに残すことがある。
検索結果にはタイトルも説明文もなく、URLだけがぽつんと表示される。本文を読み取れないため、Googleには「このページを除外すべきだ」という指示を確認する手段すらない。
クロールを止めたことで、皮肉にも、そのページをインデックスから外すための指示を届ける経路そのものが失われてしまったのだ。
私はこの状態を「ゾンビインデックス」と呼んでいる。コンテンツは死んでいるのに、外側だけが検索結果に残り続け、さまよっている状態だ。
管理者はrobots.txtにブロック規則を追加して「これで安全だ」と安心する。しかし実際には、問題が解決されないまま放置されている。
meta noindexが正反対の働きをする理由

この指示を確認した瞬間、Googleは「このページは除外すべきなのだ」と認識し、インデックスから削除する手続きに入る。すでにインデックスされているページであっても、この指示を実際に「読み取れる」状態でなければ、削除は始まらない。だからこそ、クロールをブロックしないことが、削除を可能にする重要な条件になる。
私はこの違いを、次のように整理している。robots.txtは、「そもそも存在を知られたくないもの」のためのツールだ。
たとえば管理者ログインページや内部システムのパスなど、コンテンツとして意味を持たない領域を、クロールバジェットを消費させずに入口で遮断するのに適している。
こうしたページは、サイトを運営する過程で自然に生成され、リンクされ、インデックスされている可能性が高い。そこへ来てrobots.txtでブロックすると、先ほど説明したゾンビインデックスの問題がそのまま再現される。
だからSOHO SEOは、robots.txtには一切手を加えない
この判断は、設計全体に一貫して反映されている。SOHO SEOには、robots.txtファイル自体を編集したり、規則を追加したりする機能がない。
インデックスの選択機能でインデックス登録の可否を調整する手段は、wp_robotsフィルターを通じたメタタグだけだ。robots.txtについてこのプラグインが行う唯一の処理は、サイトのエラーチェック機能で現在のrobots.txtの内容を毎日自動確認し、異常があれば通知することだけである。
チェックはするが、直接編集する機能は設けていない。
「検索結果から外したい → robots.txtでブロックする」という直感的な結びつきは、実際には間違った解決策であることのほうが多い。むしろ、この機能自体をなくし、インデックス制御は常にmeta noindexという1つの経路だけで行うようにするほうが、ユーザーのミスを根本から防げると考えた。
すでにインデックスされたページを削除する手順
では、すでに問題が起きている場合、つまりrobots.txtでブロックしたページがゾンビインデックスとして残っている場合は、どうすればよいのか。私は次の手順を勧める。
まずrobots.txtのブロック規則を削除し、クロールを再び許可する。そのうえで、そのページにmeta noindexを設定する。
Googlebotが再訪問し、この指示を確認するまで待つ。この処理はすぐには完了しない。Googlebotの再訪問頻度によっては、数日から数週間かかることもある。
今すぐ削除しなければならない緊急のケースでは、Search ConsoleのURL削除ツールを併用することもできる。ただし、これはあくまで一時的な措置であり、長期的にはmeta noindexがGoogleに確認されて初めて、本当の意味で解決したことになる。
robots.txtを使うべき場面は別にある
だからといって、robots.txtが役に立たないファイルだという意味ではない。
クロールバジェットが本当に限られている大規模サイトで、検索とは無関係な大量のURL(たとえば、フィルタリング用のパラメータが付いた商品一覧URLが数万件)がGooglebotの訪問時間を浪費しているなら、そうした領域をrobots.txtでブロックするのは、今でも有効な戦略だ。
まとめ
robots.txtとmeta noindexは、同じ結果にたどり着くための2つの方法ではない。
一方はアクセスそのものを遮断し、もう一方はアクセスを許可したうえで結果だけを制御する。すでにインデックスされているページを実際に削除するには、後者が必要だ。
前者を使うと、Googleがそのページを再訪問する手段がなくなり、問題のページが外側だけの状態で、いつまでも検索結果に残り続ける可能性がある。
次回からは、サイトマップグループに入る。画像タグを含むXMLサイトマップが、WordPress標準のサイトマップとどう違うのかという点から取り上げる予定だ。
