インデックスページは正しく管理する

robots.txtでブロックせずmeta noindexを使う理由――すでにインデックスされたページを実際に削除する正しい方法

前回の記事では、インデックスの選択機能がrobots.txtではなく、meta noindexを使っていることに少し触れた。

今回は、この判断の理由を徹底的に掘り下げる。これは単なる技術的な選択ではない。多くの人が実際に犯しているミスを防ぐための判断だった。

「ブロックする」という言葉の2つの意味

「このページを検索結果から外したい」と考えたとき、多くの人はおおむね2つの方法を思い浮かべる。

robots.txtに1行追加してクロールを拒否するか、メタタグにnoindexを指定するかだ。この2つが似たような効果をもたらすと思っている人は多いが、私はこれこそ最もよくある、そして最も危険な誤解だと考えている。両者はまったく異なる段階で機能する。

robots.txtは、「ここには来るな」という指示だ。Googlebotがそのページにアクセスできないよう、入口で遮断する。meta noindexは正反対である。「ここに来ても構わない。ただし、訪問した後はインデックスに登録するな」という指示だ。アクセスは許可したうえで、検索結果への掲載だけを止める。この違いがなぜ重要なのか、実際に起こるケースを通して説明しよう。

すでにインデックスされたページをrobots.txtでブロックすると何が起きるのか

あるページがすでにGoogleにインデックスされているとする。これを削除したいと思い、robots.txtにブロック規則を追加する。多くの人は、それでページが検索結果から消えると期待する。

実際には、そうならないケースのほうが多い。Googleはすでに把握しているURLについて、そのURLへのリンクがどこかに残っている限り、認識し続ける。クロールをブロックしても、「このURLが存在する」という事実そのものが消えるわけではない。

その結果、Google Search Consoleでは実際に「インデックス登録済み、robots.txtによりブロックされています」という状態が表示される。

矛盾しているように聞こえるが、これは実際に起こる。Googleはページの内容を読めなくても、そのURLへのリンクが存在することは確認できるため、URL自体をインデックスに残すことがある。

検索結果にはタイトルも説明文もなく、URLだけがぽつんと表示される。本文を読み取れないため、Googleには「このページを除外すべきだ」という指示を確認する手段すらない。

クロールを止めたことで、皮肉にも、そのページをインデックスから外すための指示を届ける経路そのものが失われてしまったのだ。

私はこの状態を「ゾンビインデックス」と呼んでいる。コンテンツは死んでいるのに、外側だけが検索結果に残り続け、さまよっている状態だ。

それがどれほど長く続くのかを予測するのも難しい。Googleが、いつかこのURLへのリンクがすべてなくなったと判断すれば、自ら削除することもある。しかし、その時点がいつになるのかは誰にも断言できない。

管理者はrobots.txtにブロック規則を追加して「これで安全だ」と安心する。しかし実際には、問題が解決されないまま放置されている。

meta noindexが正反対の働きをする理由

meta noindexは、まったく逆の方向から問題を解決する。クロールを許可するため、Googlebotはそのページを繰り返し訪問する。訪問するたびに、ページ内にあるタグを確認する。

この指示を確認した瞬間、Googleは「このページは除外すべきなのだ」と認識し、インデックスから削除する手続きに入る。すでにインデックスされているページであっても、この指示を実際に「読み取れる」状態でなければ、削除は始まらない。だからこそ、クロールをブロックしないことが、削除を可能にする重要な条件になる。

私はこの違いを、次のように整理している。robots.txtは、「そもそも存在を知られたくないもの」のためのツールだ。

たとえば管理者ログインページや内部システムのパスなど、コンテンツとして意味を持たない領域を、クロールバジェットを消費させずに入口で遮断するのに適している。

一方、meta noindexは「すでに存在が知られ、インデックスにも登録されているが、今は削除したいもの」のためのツールだ。前回の記事で取り上げた日付アーカイブ、タグアーカイブ、検索結果ページなどが、典型的な対象にあたる。

こうしたページは、サイトを運営する過程で自然に生成され、リンクされ、インデックスされている可能性が高い。そこへ来てrobots.txtでブロックすると、先ほど説明したゾンビインデックスの問題がそのまま再現される。

だからSOHO SEOは、robots.txtには一切手を加えない

この判断は、設計全体に一貫して反映されている。SOHO SEOには、robots.txtファイル自体を編集したり、規則を追加したりする機能がない。

インデックスの選択機能でインデックス登録の可否を調整する手段は、wp_robotsフィルターを通じたメタタグだけだ。robots.txtについてこのプラグインが行う唯一の処理は、サイトのエラーチェック機能で現在のrobots.txtの内容を毎日自動確認し、異常があれば通知することだけである。

チェックはするが、直接編集する機能は設けていない。

これは意図的な制限である。robots.txtの編集機能を追加すること自体は、技術的に難しくない。しかし私は、その機能がユーザーを誤った方向へ誘導するリスクのほうが大きいと判断した。

すでにインデックスされたページを削除する手順

では、すでに問題が起きている場合、つまりrobots.txtでブロックしたページがゾンビインデックスとして残っている場合は、どうすればよいのか。私は次の手順を勧める。

まずrobots.txtのブロック規則を削除し、クロールを再び許可する。そのうえで、そのページにmeta noindexを設定する。

Googlebotが再訪問し、この指示を確認するまで待つ。この処理はすぐには完了しない。Googlebotの再訪問頻度によっては、数日から数週間かかることもある。

今すぐ削除しなければならない緊急のケースでは、Search ConsoleのURL削除ツールを併用することもできる。ただし、これはあくまで一時的な措置であり、長期的にはmeta noindexがGoogleに確認されて初めて、本当の意味で解決したことになる。

私はこの手順を、そのままインデックス選択機能の動作に組み込んだ。この機能を有効にした瞬間から、対象ページはクロールを許可された状態でnoindexの指示だけを受け取る。ユーザーが別途、robots.txtのブロックとメタタグの間で迷う必要はない。最初から正しい1つの経路だけを通るように設計した。

robots.txtを使うべき場面は別にある

だからといって、robots.txtが役に立たないファイルだという意味ではない。

クロールバジェットが本当に限られている大規模サイトで、検索とは無関係な大量のURL(たとえば、フィルタリング用のパラメータが付いた商品一覧URLが数万件)がGooglebotの訪問時間を浪費しているなら、そうした領域をrobots.txtでブロックするのは、今でも有効な戦略だ。

ただし、それは「インデックスから削除するため」ではなく、「クロールバジェットを節約するため」のものだ。この2つを区別することが重要だと私は考えている。目的が違えば、使うべきツールも違わなければならない。

まとめ

robots.txtとmeta noindexは、同じ結果にたどり着くための2つの方法ではない。

一方はアクセスそのものを遮断し、もう一方はアクセスを許可したうえで結果だけを制御する。すでにインデックスされているページを実際に削除するには、後者が必要だ。

前者を使うと、Googleがそのページを再訪問する手段がなくなり、問題のページが外側だけの状態で、いつまでも検索結果に残り続ける可能性がある。

この原則を理解したうえで、私はSOHO SEOにrobots.txtの編集機能そのものを設けないことにした。インデックス制御は常に、正しい1つの経路であるmeta noindexだけを通るようにする。それがユーザーを守る最も確実な方法だと判断した。

次回からは、サイトマップグループに入る。画像タグを含むXMLサイトマップが、WordPress標準のサイトマップとどう違うのかという点から取り上げる予定だ。