색인된 페이지 관리는 올바른 방법으로

robots.txt 차단 대신 meta noindex를 쓰는 이유 — 이미 색인된 페이지를 실제로 빼내는 올바른 방법

지난 글에서 인덱스 선택 기능이 robots.txt가 아니라 meta noindex를 쓴다고 짧게 언급했다.

이번 글에서는 이 판단 하나를 온전히 파헤친다. 이건 단순한 기술적 선택이 아니라, 많은 사람이 실제로 저지르는 실수를 막기 위한 판단이었다.

u0022막는다u0022는 말의 두 가지 뜻

사람들은 “이 페이지를 검색에서 빼고 싶다”고 할 때 대체로 두 가지 방법을 떠올린다.

robots.txt에 한 줄 추가해서 크롤링을 막거나, 메타 태그에 noindex를 넣거나. 이 둘이 비슷한 효과를 낸다고 생각하는 사람이 많은데, 나는 이게 가장 흔하고 가장 위험한 오해라고 본다. 이 둘은 전혀 다른 단계에서 작동한다.

robots.txt는 “여기 오지 마라”는 지시다. 구글봇이 그 페이지에 아예 접근하지 못하게 막는다. meta noindex는 반대다. “여기 와도 되지만, 온 다음에는 색인에 넣지 마라”는 지시다. 접근은 허용하되 결과만 막는다. 이 차이가 왜 중요한지, 실제로 벌어지는 상황을 통해 설명해보겠다.

이미 색인된 페이지를 robots.txt로 막으면 무슨 일이 생기는가

어떤 페이지가 이미 구글에 색인돼 있다고 해보자. 이걸 빼고 싶어서 robots.txt에 차단 규칙을 추가한다. 많은 사람이 이러면 그 페이지가 검색 결과에서 사라질 거라고 기대한다.

실제로는 그렇게 되지 않는 경우가 많다. 구글은 이미 알고 있는 URL을, 그 URL로 가는 링크가 다른 곳에 남아있는 한 계속 인지한다. 크롤링만 막혔을 뿐, u0022이 URL이 존재한다u0022는 사실 자체는 사라지지 않는다.

그 결과 구글 서치 콘솔에서 실제로 볼 수 있는 상태가 있다. “색인됨, robots.txt에 의해 차단됨”이라는 상태다.

이건 모순처럼 들리지만 실제로 일어나는 일이다. 구글이 그 페이지의 내용을 읽지는 못했지만, 그 URL로 연결된 링크는 확인했기 때문에 URL 자체를 색인에 남겨둔다.

검색 결과에는 제목도 설명도 없이 URL만 덩그러니 나오는 형태로 뜬다. 본문을 읽을 수 없으니 구글이 “이 페이지를 빼야 한다”는 지시조차 확인할 방법이 없다.

크롤링을 막았기 때문에, 역설적으로 이 페이지를 색인에서 빼는 지시 자체를 전달할 통로가 사라진 것이다.

나는 이 상황을 “좀비 색인”이라고 부른다. 콘텐츠는 죽었는데 껍데기만 검색 결과에 남아 떠도는 상태다.

이게 얼마나 오래가는지도 예측하기 어렵다. 구글이 언젠가 이 URL로 가는 링크가 다 사라졌다고 판단하면 스스로 빼기도 하지만, 그 시점이 언제인지는 아무도 확답할 수 없다.

관리자는 robots.txt에 차단 규칙을 넣어두고 “이제 안전하다”고 안심하지만, 실제로는 문제가 해결되지 않은 채 방치되는 것이다.

meta noindex가 반대로 작동하는 이유

meta noindex는 정확히 반대 방향으로 문제를 푼다. 크롤링을 허용하기 때문에, 구글봇은 계속 그 페이지를 방문한다. 방문할 때마다 페이지 안에 있는 u003ccodeu003eu0026lt;meta name=u0022robotsu0022 content=u0022noindexu0022u003eu003c/codeu003e 태그를 확인한다.

이 지시를 확인하는 순간, 구글은 “아, 이 페이지는 빼야 하는구나”를 인지하고 색인에서 제거하는 절차를 밟는다. 이미 색인돼 있던 페이지라도, 이 지시를 실제로 “읽을 수 있어야” 제거가 시작된다. 그래서 크롤링을 막지 않는 게 오히려 제거를 가능하게 만드는 핵심 조건이다.

나는 이걸 이렇게 정리한다. robots.txt는 “애초에 존재를 알리고 싶지 않은 것”을 위한 도구다.

예를 들어 관리자 로그인 페이지나 내부 시스템 경로처럼, 콘텐츠로서 의미가 없는 영역을 크롤 버짓 낭비 없이 원천 차단하는 데 적합하다.

반면 meta noindex는 u0022이미 존재가 알려졌고 색인까지 됐지만, 이제는 빼고 싶은 것u0022을 위한 도구다. 지난 글에서 다룬 날짜 아카이브, 태그 아카이브, 검색 결과 페이지가 전형적으로 여기 해당한다.

이런 페이지들은 이미 사이트 운영 과정에서 자연스럽게 생성되고 링크되고 색인됐을 가능성이 높다. 이제 와서 robots.txt로 막으면, 방금 설명한 좀비 색인 문제가 그대로 재현된다.

그래서 SOHO SEO는 robots.txt에 아예 손대지 않는다

이 판단은 설계 전체에 일관되게 반영돼 있다. SOHO SEO 안에는 robots.txt 파일 자체를 편집하거나 규칙을 추가하는 기능이 없다.

인덱스 선택 기능이 색인 여부를 조정할 때 쓰는 수단은 오직 wp_robots 필터를 통한 meta 태그뿐이다. robots.txt와 관련해서 이 플러그인이 하는 유일한 일은, 사이트 에러체크 기능에서 지금 robots.txt가 어떤 내용인지 매일 자동으로 점검해서 이상이 있으면 알려주는 것뿐이다.

점검은 하되 직접 수정하는 기능은 만들지 않았다.

이건 의도적인 제약이다. robots.txt 편집 기능을 넣는 건 기술적으로 어렵지 않다. 하지만 나는 이 기능이 사용자를 잘못된 방향으로 유도할 위험이 더 크다고 판단했다.

실제로 이미 색인된 페이지를 빼는 순서

그럼 이미 문제가 생긴 상황, 그러니까 robots.txt로 막아놓은 페이지가 좀비 색인 상태로 남아있다면 어떻게 해야 하는가. 나는 이 순서를 권한다.

먼저 robots.txt의 차단 규칙을 없애서 크롤링을 다시 허용한다. 그다음 그 페이지에 meta noindex를 걸어둔다.

구글봇이 다시 방문해서 이 지시를 확인할 때까지 기다린다. 이 과정은 즉시 끝나지 않는다. 구글봇의 재방문 주기에 따라 며칠에서 몇 주가 걸릴 수 있다.

급하게 지금 당장 빼야 하는 상황이라면 서치 콘솔의 URL 제거 도구를 병행할 수 있지만, 이건 임시 조치일 뿐이고 장기적으로는 meta noindex가 구글에게 확인돼야 진짜로 해결된다.

나는 이 순서를 인덱스 선택 기능의 동작 방식에 그대로 녹였다. 이 기능을 켜는 순간부터 해당 페이지들은 계속 크롤링이 허용된 상태에서 noindex 지시만 받는다. 사용자가 별도로 로봇 차단과 메타 태그 사이를 오가며 신경 쓸 필요가 없다. 처음부터 올바른 경로 하나로만 가도록 만들어뒀다.

robots.txt를 쓸 자리는 따로 있다

그렇다고 robots.txt가 쓸모없는 파일이라는 뜻은 아니다.

크롤 버짓이 정말 제한적인 대형 사이트에서, 검색과 무관한 대량의 URL(예: 필터링 파라미터가 붙은 상품 목록 URL 수만 개)이 구글봇의 방문 시간을 낭비하고 있다면, 이런 영역을 robots.txt로 막는 건 여전히 유효한 전략이다.

다만 이건 u0022색인에서 빼기 위한u0022 목적이 아니라 u0022크롤 버짓을 아끼기 위한u0022 목적이다. 나는 이 둘을 구분하는 게 핵심이라고 본다. 목적이 다르면 도구도 달라야 한다.

결론

robots.txt와 meta noindex는 같은 결과를 향한 두 가지 방법이 아니다.

하나는 접근 자체를 막고, 하나는 접근은 허용하되 결과만 통제한다. 이미 색인된 페이지를 실제로 빼내려면 후자가 필요하다.

전자를 쓰면 구글이 그 페이지를 재방문할 방법이 사라져서, 오히려 문제가 된 페이지가 껍데기 상태로 영원히 검색 결과에 남을 수 있다.

나는 이 원리를 이해하고 나서, SOHO SEO에 robots.txt 편집 기능 자체를 만들지 않기로 결정했다. 색인 제어는 항상 하나의 올바른 경로, meta noindex로만 가도록 만드는 게 사용자를 지키는 가장 확실한 방법이라고 판단했다.

다음 글부터는 사이트맵 그룹으로 넘어간다. 이미지 태그를 포함한 XML 사이트맵이 워드프레스 기본 사이트맵과 무엇이 다른지부터 다룰 것이다.