색인된 페이지 관리는 올바른 방법으로
robots.txt 차단 대신 meta noindex를 쓰는 이유 — 이미 색인된 페이지를 실제로 빼내는 올바른 방법
지난 글에서 인덱스 선택 기능이 robots.txt가 아니라 meta noindex를 쓴다고 짧게 언급했다.
이번 글에서는 이 판단 하나를 온전히 파헤친다. 이건 단순한 기술적 선택이 아니라, 많은 사람이 실제로 저지르는 실수를 막기 위한 판단이었다.
u0022막는다u0022는 말의 두 가지 뜻
사람들은 “이 페이지를 검색에서 빼고 싶다”고 할 때 대체로 두 가지 방법을 떠올린다.
robots.txt에 한 줄 추가해서 크롤링을 막거나, 메타 태그에 noindex를 넣거나. 이 둘이 비슷한 효과를 낸다고 생각하는 사람이 많은데, 나는 이게 가장 흔하고 가장 위험한 오해라고 본다. 이 둘은 전혀 다른 단계에서 작동한다.
robots.txt는 “여기 오지 마라”는 지시다. 구글봇이 그 페이지에 아예 접근하지 못하게 막는다. meta noindex는 반대다. “여기 와도 되지만, 온 다음에는 색인에 넣지 마라”는 지시다. 접근은 허용하되 결과만 막는다. 이 차이가 왜 중요한지, 실제로 벌어지는 상황을 통해 설명해보겠다.
이미 색인된 페이지를 robots.txt로 막으면 무슨 일이 생기는가
어떤 페이지가 이미 구글에 색인돼 있다고 해보자. 이걸 빼고 싶어서 robots.txt에 차단 규칙을 추가한다. 많은 사람이 이러면 그 페이지가 검색 결과에서 사라질 거라고 기대한다.

그 결과 구글 서치 콘솔에서 실제로 볼 수 있는 상태가 있다. “색인됨, robots.txt에 의해 차단됨”이라는 상태다.
이건 모순처럼 들리지만 실제로 일어나는 일이다. 구글이 그 페이지의 내용을 읽지는 못했지만, 그 URL로 연결된 링크는 확인했기 때문에 URL 자체를 색인에 남겨둔다.
검색 결과에는 제목도 설명도 없이 URL만 덩그러니 나오는 형태로 뜬다. 본문을 읽을 수 없으니 구글이 “이 페이지를 빼야 한다”는 지시조차 확인할 방법이 없다.
크롤링을 막았기 때문에, 역설적으로 이 페이지를 색인에서 빼는 지시 자체를 전달할 통로가 사라진 것이다.
나는 이 상황을 “좀비 색인”이라고 부른다. 콘텐츠는 죽었는데 껍데기만 검색 결과에 남아 떠도는 상태다.
관리자는 robots.txt에 차단 규칙을 넣어두고 “이제 안전하다”고 안심하지만, 실제로는 문제가 해결되지 않은 채 방치되는 것이다.
meta noindex가 반대로 작동하는 이유

이 지시를 확인하는 순간, 구글은 “아, 이 페이지는 빼야 하는구나”를 인지하고 색인에서 제거하는 절차를 밟는다. 이미 색인돼 있던 페이지라도, 이 지시를 실제로 “읽을 수 있어야” 제거가 시작된다. 그래서 크롤링을 막지 않는 게 오히려 제거를 가능하게 만드는 핵심 조건이다.
나는 이걸 이렇게 정리한다. robots.txt는 “애초에 존재를 알리고 싶지 않은 것”을 위한 도구다.
예를 들어 관리자 로그인 페이지나 내부 시스템 경로처럼, 콘텐츠로서 의미가 없는 영역을 크롤 버짓 낭비 없이 원천 차단하는 데 적합하다.
이런 페이지들은 이미 사이트 운영 과정에서 자연스럽게 생성되고 링크되고 색인됐을 가능성이 높다. 이제 와서 robots.txt로 막으면, 방금 설명한 좀비 색인 문제가 그대로 재현된다.
그래서 SOHO SEO는 robots.txt에 아예 손대지 않는다
이 판단은 설계 전체에 일관되게 반영돼 있다. SOHO SEO 안에는 robots.txt 파일 자체를 편집하거나 규칙을 추가하는 기능이 없다.
인덱스 선택 기능이 색인 여부를 조정할 때 쓰는 수단은 오직 wp_robots 필터를 통한 meta 태그뿐이다. robots.txt와 관련해서 이 플러그인이 하는 유일한 일은, 사이트 에러체크 기능에서 지금 robots.txt가 어떤 내용인지 매일 자동으로 점검해서 이상이 있으면 알려주는 것뿐이다.
점검은 하되 직접 수정하는 기능은 만들지 않았다.
“검색에서 빼고 싶다 → robots.txt에서 막는다”는 직관적인 연결이 실제로는 틀린 해법인 경우가 훨씬 많다. 차라리 이 기능 자체를 없애고, 색인 제어는 항상 meta noindex 하나의 경로로만 가도록 만드는 게 사용자 실수를 원천적으로 막는 방법이라고 봤다.
실제로 이미 색인된 페이지를 빼는 순서
그럼 이미 문제가 생긴 상황, 그러니까 robots.txt로 막아놓은 페이지가 좀비 색인 상태로 남아있다면 어떻게 해야 하는가. 나는 이 순서를 권한다.
먼저 robots.txt의 차단 규칙을 없애서 크롤링을 다시 허용한다. 그다음 그 페이지에 meta noindex를 걸어둔다.
구글봇이 다시 방문해서 이 지시를 확인할 때까지 기다린다. 이 과정은 즉시 끝나지 않는다. 구글봇의 재방문 주기에 따라 며칠에서 몇 주가 걸릴 수 있다.
급하게 지금 당장 빼야 하는 상황이라면 서치 콘솔의 URL 제거 도구를 병행할 수 있지만, 이건 임시 조치일 뿐이고 장기적으로는 meta noindex가 구글에게 확인돼야 진짜로 해결된다.
robots.txt를 쓸 자리는 따로 있다
그렇다고 robots.txt가 쓸모없는 파일이라는 뜻은 아니다.
크롤 버짓이 정말 제한적인 대형 사이트에서, 검색과 무관한 대량의 URL(예: 필터링 파라미터가 붙은 상품 목록 URL 수만 개)이 구글봇의 방문 시간을 낭비하고 있다면, 이런 영역을 robots.txt로 막는 건 여전히 유효한 전략이다.
결론
robots.txt와 meta noindex는 같은 결과를 향한 두 가지 방법이 아니다.
하나는 접근 자체를 막고, 하나는 접근은 허용하되 결과만 통제한다. 이미 색인된 페이지를 실제로 빼내려면 후자가 필요하다.
전자를 쓰면 구글이 그 페이지를 재방문할 방법이 사라져서, 오히려 문제가 된 페이지가 껍데기 상태로 영원히 검색 결과에 남을 수 있다.
다음 글부터는 사이트맵 그룹으로 넘어간다. 이미지 태그를 포함한 XML 사이트맵이 워드프레스 기본 사이트맵과 무엇이 다른지부터 다룰 것이다.
