사이트맵과 robots.txt가 조용히 고장 나는 경우 — 사이트 상태 모니터링

페이지는 잘 열리는데 검색 유입이 줄었습니다.

관리자 화면에도 특별한 경고가 없습니다. 이럴 때 먼저 볼 곳이 사이트맵과 robots.txt입니다.

둘 다 주소가 존재해도 검색엔진이 제대로 읽는다는 뜻은 아닙니다.

사이트맵과 robots.txt는 서로 다른 일을 합니다

사이트맵은 검색엔진에 중요한 페이지 주소를 알려 주는 목록입니다. 반면 robots.txt는 검색엔진 로봇이 어디에 접근해도 되는지 안내하는 파일입니다.

사이트맵 제출은 주소 발견을 돕는 힌트입니다. 보증서는 아닙니다.

모든 주소가 반드시 수집되거나 색인되는 것은 아닙니다.

robots.txt는 사이트의 가장 바깥 주소에 있어야 합니다. example.com의 파일은 해당 호스트와 프로토콜, 포트에만 적용됩니다.

사이트맵 하나는 압축하지 않은 파일 기준으로 50MB 또는 주소 5만 개까지 담을 수 있습니다. 사이트가 커질수록 이 제한도 점검해야 합니다.

사이트가 멀쩡해 보여서 더 늦게 발견됩니다

가장 곤란한 점은 방문자가 페이지를 계속 볼 수 있다는 것입니다. 사람에게는 정상이어도 검색엔진의 주소 발견과 수집만 약해질 수 있습니다.

robots.txt 요청이 유효한 파일이나 404 응답을 돌려주지 못하면 Google은 사이트 크롤링을 늦추거나 멈출 수 있다고 안내합니다.

처음 12시간에는 크롤링을 중단할 수 있고, 그 뒤에도 최대 30일 동안 마지막으로 정상 확인한 파일을 사용할 수 있습니다.

짧은 오류가 길게 남습니다.

운영자는 트래픽이 줄어든 뒤에야 설정 변경이나 서버 응답을 되짚기 쉽습니다. Search Console의 robots.txt 보고서에서는 Google이 파일을 마지막으로 읽은 시점과 경고, 오류를 볼 수 있고, 수정한 뒤 다시 읽도록 요청할 수도 있습니다.

확인의 기준은 주소가 아니라 검색엔진의 읽기 결과입니다

모니터링의 기준은 파일이 열리는가가 아닙니다. 올바른 호스트에서 올바른 내용으로 읽히고, 그 결과가 실제 색인 대상 주소와 맞는지를 봐야 합니다.

먼저 브라우저에서 사이트 주소 뒤에 robots.txt를 붙여 열어 보세요. 이어서 등록한 사이트맵 주소도 직접 확인합니다.

그다음 Search Console에서 robots.txt 보고서와 사이트맵 보고서를 봅니다. robots.txt 보고서는 도메인 속성 또는 경로가 없는 호스트 수준의 속성에서 확인할 수 있습니다.

사이트맵 보고서에서는 Google이 제출된 사이트맵을 읽었는지와 처리 오류가 있는지를 확인합니다. 다만 이 보고서는 그곳에서 제출한 사이트맵만 직접 추적합니다.

Google이 다른 경로로 발견한 사이트맵은 보고서에 자동으로 나타나지 않을 수 있습니다.

목록에 없다고 모르는 것은 아닙니다.

직접 확인할 때 막히는 지점이 있습니다

실제 점검에서는 파일이 열리는지와 검색엔진이 처리했는지를 혼동하기 쉽습니다. 브라우저는 응답 내용을 보여 주지만, 그 주소가 어떤 호스트와 프로토콜에 적용되는지 또는 Google이 언제 읽었는지까지 판단해 주지는 않습니다.

사이트맵이 열려도 주소가 잘못되었거나, 중요한 페이지가 빠졌거나, robots.txt가 그 페이지의 크롤링을 막고 있을 수 있습니다. 반대로 사이트맵 보고서에 없다는 이유만으로 Google이 해당 사이트맵을 전혀 모른다고 단정할 수도 없습니다.

직접 확인은 시작점일 뿐입니다.

그래서 브라우저 확인, Search Console 보고서, 중요 페이지의 URL 검사를 함께 대조해야 합니다. 작은 사이트는 가능하지만, 주소가 많거나 변경이 잦으면 사람이 매번 누락과 차단을 찾아내는 데 한계가 있습니다.

robots.txt와 사이트맵은 따로 점검해야 합니다

두 파일은 역할이 다릅니다. robots.txt는 접근과 크롤링을 확인하고, 사이트맵은 주소 목록의 품질과 처리 상태를 확인해야 합니다.

중요한 페이지가 검색되지 않는다면 URL 검사 도구를 사용하세요. 해당 주소가 robots.txt로 막혔는지, 어떤 사이트맵이 가리키는지, Google이 현재 색인 상태를 어떻게 판단하는지 보여 줍니다.

사이트맵을 제출하지 않아도 Google은 링크를 통해 주소를 발견할 수 있습니다. 그래도 Search Console에 제출하면 처리 상태를 계속 살필 수 있어 점검이 쉬워집니다.

확인 순서는 단순하게 가져가면 됩니다.

  • 실제 robots.txt 주소를 엽니다.
  • 등록한 사이트맵 주소를 엽니다.
  • 두 보고서에서 경고와 처리 오류를 봅니다.
  • 중요 페이지는 URL 검사로 차단과 참조 사이트맵을 확인합니다.

관리자 화면만 믿으면 놓치는 문제가 있습니다

가장 큰 오해는 robots.txt로 검색 결과의 색인을 막을 수 있다는 생각입니다. Google은 robots.txt를 검색 결과에서 페이지를 없애는 수단이 아니라 크롤러의 접근을 조절하는 수단으로 설명합니다.

robots.txt로 막힌 주소도 다른 사이트의 링크 등을 통해 주소 자체가 검색 결과에 나타날 수 있습니다. 검색 결과에서 제외하려는 목적이라면 noindex나 비밀번호 보호처럼 목적에 맞는 방법을 선택해야 합니다.

반대쪽 오해도 있습니다. 사이트맵 오류가 생겼다고 전체 사이트의 색인이 곧바로 멈추는 것은 아닙니다.

사이트맵은 여러 주소 발견 경로 중 하나의 힌트입니다. 제출만으로 모든 주소의 수집과 색인이 보장되지는 않습니다.

워드프레스의 Site Health는 설정과 서버, 데이터베이스, 플러그인과 테마 상태를 진단합니다. 하지만 Google의 사이트맵 처리 상태나 Googlebot이 실제로 색인을 어떻게 판단하는지는 대신 보여 주지 않습니다.

관리자 화면이 깨끗해도 별도 확인이 필요합니다.

주소가 많거나 변경이 잦으면 이 확인을 정기적으로 반복하는 일 자체가 부담이 될 수 있습니다. SOHO SEO의 Site Error Check는 워드프레스 안에서 robots.txt와 이 플러그인이 제공하는 사이트맵을 매일 확인합니다.

문제가 있을 때 이메일을 보내므로 파일과 사이트맵의 이상을 알아차리는 별도 확인 지점이 생깁니다. 다만 Search Console의 처리 보고서와 URL 검사를 대신하는 기능은 아니므로, 검색엔진의 실제 판단은 해당 도구에서 따로 확인해야 합니다.

변경 규모에 따라 점검 강도를 정하세요

작은 사이트라면 한 달에 한 번 확인하고, 글 구조나 도메인, 보안 연결, SEO 설정을 바꾼 직후에도 점검하세요. Google도 Search Console을 매일 볼 필요는 없고, 보통 한 달에 한 번 또는 사이트 변경 후 확인할 수 있다고 안내합니다.

평소에는 실제 robots.txt 응답과 사이트맵 주소, 두 보고서의 처리 상태를 확인하면 됩니다. 이 네 가지를 기록해 두면 지난달과 달라진 점도 쉽게 찾을 수 있습니다.

대규모 사이트나 방문자 흐름이 중요한 사이트는 주요 주소의 색인 상태를 따로 기록하세요. robots.txt 오류, 5xx 응답, 대량의 색인 제외가 보이면 즉시 서버 응답과 최근 설정 변경부터 살펴야 합니다.

중요 페이지가 누락되거나 차단됐다면 URL 검사에서 라이브 URL을 테스트하세요. 차단 여부와 참조 사이트맵을 확인한 뒤 수정하고, 색인 생성 요청 또는 검증을 진행하면 됩니다.

결국 조기 발견의 답은 관리자 화면 하나에 머물지 않는 것입니다.

실제 URL 응답, robots.txt 보고서, 사이트맵 보고서, 중요 주소의 URL 검사를 함께 봐야 합니다.

SOHO SEO로 정기 점검 이어 가기

파일이 열리는지와 검색엔진이 처리했는지를 계속 나눠 확인해야 한다면, 워드프레스 안의 점검 항목과 Search Console의 결과를 함께 관리하는 흐름이 필요합니다. SOHO SEO의 Site Error Check는 robots.txt와 이 플러그인이 제공하는 사이트맵을 매일 확인하고 문제가 있을 때 이메일을 보냅니다. 자동 확인은 이상을 알리는 역할로 두고, Search Console 보고서와 URL 검사에서는 Google의 읽기와 색인 판단을 확인하면 됩니다.

사이트맵 자체의 운영 방식도 정리할 수 있습니다. SOHO SEO의 Sitemap에서는 일반 XML 사이트맵과 최근 게시물만 담는 Google News 사이트맵을 켜거나 끌 수 있습니다. 날짜·작성자·태그·검색 결과처럼 보관 유형 페이지를 검색에서 제외해야 할 때는 noindex management에서 해당 유형을 관리할 수 있어, robots.txt로 색인을 막으려는 오해를 피하면서 주소 목록과 검색 제외 설정을 구분할 수 있습니다.

자주 묻는 질문

Q. 중요한 페이지가 검색되지 않으면 어디부터 보나요?

A. 먼저 실제 robots.txt와 사이트맵 응답을 확인하세요. 그다음 URL 검사에서 차단 여부와 참조 사이트맵, 현재 색인 상태를 확인하면 됩니다.

Q. 이 문제를 도구로 쉽게 해결할 수 있나요?

A. 도구가 오류를 자동으로 모두 고치는 것은 아닙니다. 실제 주소 확인에는 브라우저를 쓰고, 검색엔진의 읽기와 처리 상태는 Search Console과 URL 검사 도구로 확인하는 방식이 가장 기본적입니다.

Q. 사이트는 얼마나 자주 점검해야 하나요?

A. 평소에는 한 달에 한 번이면 됩니다. 도메인, 보안 연결, 글 구조나 SEO 설정을 바꾼 직후에는 바로 다시 확인하세요.

Q. 자동 점검과 검색엔진 보고서는 어떻게 나눠 보나요?

A. 자동 점검은 파일과 사이트맵에 문제가 생겼는지 알아차리는 용도로 사용하고, 검색엔진의 처리 상태는 Search Console과 URL 검사에서 확인해야 합니다.

SOHO SEO의 Site Error Check는 robots.txt와 이 플러그인이 제공하는 사이트맵을 매일 확인하고 문제가 있을 때 이메일을 보냅니다. 따라서 알림을 받은 뒤에는 실제 URL 응답과 두 보고서의 내용을 함께 대조하는 순서가 적절합니다.