robots.txt 편집 기능, 잘못 건드리면 사이트 전체가 사라진다
어제까지 잘 보이던 사이트가 오늘 갑자기 검색 결과에서 사라졌다면, 가장 먼저 무엇을 의심하시겠어요? 글이 부족해서가 아니라, 검색 로봇에게 사이트 문을 닫아버린 한 줄 때문일 수도 있습니다.
그 문이 바로 robots.txt입니다. 이름은 어렵지만 하는 일은 간단하거든요. 검색 엔진에게 “여기는 살펴봐도 되고, 여기는 들어오지 마세요”라고 알려주는 안내문입니다.
robots.txt는 검색 엔진에게 건네는 출입 안내문입니다
인터넷 검색 엔진은 사람처럼 사이트를 읽지 않습니다. 검색 로봇이라는 자동 프로그램이 페이지를 돌아다니며 글과 링크를 확인하고, 그 내용을 검색 결과에 저장합니다.
robots.txt는 이 로봇이 어느 주소까지 방문해도 되는지 알려줍니다. 국제 인터넷 표준 문서인 RFC 9309에 따르면 이 파일은 사이트 맨 앞, 즉 example.com/robots.txt처럼 최상위 위치에 있어야 합니다.
예를 들어 “User-agent: *”는 모든 로봇을 뜻하고, “Disallow: /private/”는 private 폴더 안으로 들어오지 말라는 뜻입니다. 반대로 금지할 주소를 비워두면 해당 로봇에게 특별히 막힌 곳이 없다는 의미가 됩니다.
여기서 의외의 사실이 하나 있습니다.
robots.txt는 자물쇠가 아닙니다. 문 앞에 “들어오지 마세요”라고 적어둔 안내문에 가깝습니다. 악성 프로그램이나 규칙을 무시하는 방문자는 여전히 들어올 수 있으므로, 비밀번호로 보호해야 할 자료를 이 파일에만 맡기면 안 됩니다.
한 줄의 슬래시가 사이트 전체를 막을 수 있습니다
가장 조심해야 할 문장은 다음과 같은 형태입니다. “User-agent: *” 다음에 “Disallow: /”가 붙으면 모든 검색 로봇에게 사이트 전체를 방문하지 말라는 뜻이 됩니다.
끝의 슬래시 하나가 중요합니다. “/news/”라면 news 폴더만 막지만, “/”는 사이트의 가장 바깥 문부터 모든 경로를 가리킵니다.
공사 중인 테스트 사이트에서 이 설정을 쓰는 경우는 있습니다. 문제는 사이트를 공개한 뒤에도 이 설정이 남아 있거나, 관리자가 실수로 저장하는 경우입니다.
워드프레스에도 비슷한 선택지가 있습니다. 관리자 화면의 설정에서 검색 엔진이 사이트를 색인하지 않도록 요청하는 항목을 켜면, 워드프레스는 검색 로봇에게 사이트를 읽지 말라는 신호를 보낼 수 있습니다.
워드프레스 공식 문서에 따르면 이 선택은 방문자의 접속을 막지는 않습니다. 사람은 사이트를 볼 수 있지만, 검색 엔진에는 사이트를 검색 결과에 넣지 말라고 요청하는 방식입니다.
따라서 “내 컴퓨터에서는 사이트가 잘 열리는데 왜 검색 결과에는 안 나오지?”라는 일이 생길 수 있습니다. 사람에게는 정상이고 검색 로봇에게만 닫힌 상태가 실제로 가능하거든요.
검색에서 숨기는 일과 방문을 막는 일은 다릅니다
많은 분이 robots.txt를 페이지 삭제 버튼처럼 생각합니다. 하지만 구글 검색 센터는 robots.txt를 검색 결과에서 페이지를 완전히 숨기는 도구로 쓰지 말라고 안내합니다.
robots.txt로 막으면 검색 로봇이 페이지 내용을 읽지 못합니다. 그런데 다른 사이트가 그 주소를 링크하고 있다면, 구글은 페이지를 읽지 못한 채 주소만 검색 결과에 보여줄 수도 있습니다.
검색 결과에 나오지 않게 하는 목적이라면 페이지의 noindex 설정이나 비밀번호 보호가 더 알맞습니다. noindex는 “이 페이지를 읽어도 되지만 검색 결과에는 넣지 마세요”라는 뜻입니다.
반대로 robots.txt는 서버에 부담을 주는 불필요한 방문을 줄일 때 유용합니다. 예를 들어 검색 결과 페이지가 끝없이 만들어지거나, 장바구니처럼 검색에 나올 필요가 없는 주소가 수없이 생길 때 사용할 수 있습니다.
다만 검색 엔진이 noindex 신호를 읽어야 하는 페이지를 robots.txt로 먼저 막으면 문제가 생깁니다. 구글 공식 안내처럼, 읽지 못한 페이지의 noindex를 확인할 수 없기 때문입니다.
워드프레스에서 직접 고칠 때 막히는 지점
직접 수정할 때 가장 먼저 막히는 곳은 “내가 지금 어떤 robots.txt를 고치고 있는가”입니다. 워드프레스에서는 파일이 실제 서버에 저장되어 있을 수도 있고, 워드프레스가 요청을 받을 때마다 화면처럼 만들어 보여줄 수도 있습니다.
워드프레스 개발자 문서에는 robots_txt라는 필터가 소개되어 있습니다. 테마나 플러그인, 직접 추가한 코드가 이 내용을 바꿀 수 있다는 뜻입니다.
그래서 관리자 화면에서 한 줄을 지웠는데도 실제 주소의 내용이 그대로이거나, 반대로 플러그인을 끄자 규칙이 사라지는 일이 생깁니다. 여러 사람이 사이트를 관리하면 누가 어떤 설정을 덧붙였는지도 놓치기 쉽습니다.
또 다른 어려움은 규칙이 눈에 익지 않는다는 점입니다.
- User-agent는 규칙을 적용할 로봇을 정합니다.
- Disallow는 들어오지 못하게 할 경로를 정합니다.
- Allow는 막힌 범위 안에서 예외로 열 경로를 정합니다.
- Sitemap은 사이트 주소 목록 파일의 위치를 알려줍니다.
규칙은 줄마다 따로 읽히지 않고, 같은 로봇 이름 아래 묶음으로 해석됩니다. Allow와 Disallow가 함께 있으면 더 구체적인 경로가 우선될 수 있어, 단순히 위에서 아래로 읽으면 결과를 잘못 판단하기 쉽습니다.
구글은 robots.txt 내용을 보통 최대 24시간 정도 저장할 수 있습니다. 방금 고쳤는데도 바로 반영되지 않는다면, 저장 실패가 아니라 검색 엔진이 이전 내용을 잠시 사용하고 있는 상황일 수 있습니다.
직접 고치는 방식의 또 다른 한계는 전체 영향을 한눈에 보기 어렵다는 것입니다. 홈페이지는 열어두고 상품 페이지만 막고 싶었는데, 규칙의 경로를 잘못 적어 글과 이미지까지 함께 막는 일이 생길 수 있습니다.
수정 전후에 꼭 확인해야 할 네 가지
robots.txt를 바꾸기 전에는 먼저 현재 내용을 복사해두세요. 문제가 생겼을 때 원래 상태로 돌아갈 수 있어야 하기 때문입니다.
그다음 실제 주소를 직접 열어보세요. 주소창에 사이트 주소 뒤에 /robots.txt를 붙였을 때, 서버가 어떤 내용을 보내는지 확인해야 합니다.
- 사이트 전체를 막는 “Disallow: /”가 없는지 봅니다.
- 중요한 글, 상품, 카테고리 경로가 막히지 않았는지 봅니다.
- 필요하다면 사이트맵 주소가 정확한지 확인합니다.
- 검색 콘솔의 robots.txt 보고서와 주소 검사 도구로 테스트합니다.
구글은 robots.txt가 공개되어 있고 읽을 수 있는지 확인한 뒤, 검색 콘솔의 관련 보고서나 개발자용 검사 도구로 규칙을 점검하라고 안내합니다. 한 페이지를 열 수 있는지 확인하는 것과 사이트 전체 규칙이 안전한지는 별개의 문제입니다.
수정 뒤에는 검색 결과만 보지 마세요. 사이트맵에 있는 중요한 주소 몇 개를 골라 검색 콘솔에서 크롤링 차단 여부를 확인하는 편이 빠릅니다.
사이트가 이미 검색에서 사라졌다면 원인을 고친 뒤에도 회복에는 시간이 걸릴 수 있습니다. 로봇이 다시 방문하고, 내용을 읽고, 검색 결과를 갱신하는 과정이 필요하기 때문입니다.
robots.txt는 자주 만지는 설정이 아니라 오래 유지할 약속입니다
구글은 robots.txt를 검색 순위를 높이는 만능 설정으로 보지 않습니다. 주된 목적은 검색 로봇의 방문을 조절하고, 중요하지 않은 주소를 장기간 살펴보지 않게 하는 데 있습니다.
오늘은 막고 내일은 열고, 다음 주에는 다시 막는 식으로 자주 바꾸면 관리가 더 어려워집니다. 특히 공개 사이트에서 시험용 규칙을 그대로 쓰는 것은 위험합니다.
가장 안전한 순서는 목적을 먼저 정하는 것입니다. 검색 결과에서 숨길 것인지, 로봇 방문만 줄일 것인지, 아니면 자료 자체를 보호할 것인지에 따라 쓰는 방법이 달라집니다.
검색 결과에 나오지 않게 하려면 noindex를 검토하고, 비밀 자료라면 로그인이나 비밀번호 보호를 사용하세요. 반복 주소나 불필요한 자동 생성 페이지를 줄이고 싶을 때만 robots.txt를 신중하게 꺼내는 편이 좋습니다.
robots.txt는 작고 평범한 텍스트 파일처럼 보이지만, 사이트 전체의 문을 여닫는 안내문입니다. 한 줄을 바꾸기 전에는 무엇을 막고 싶은지, 무엇은 반드시 열어둬야 하는지부터 적어보세요.
SOHO SEO로 이어서 점검할 수 있는 항목
워드프레스에서 robots.txt를 신중하게 다루려면 규칙 자체뿐 아니라 사이트맵과 검색 제외 설정도 함께 살펴야 합니다. SOHO SEO는 검색 노출에 영향을 주는 기술·구조 요소를 점검하고 일부 설정을 돕는 워드프레스 SEO 플러그인입니다. SOHO SEO > Sitemap에서는 일반 XML 사이트맵과 최근 게시물만 담는 Google News 사이트맵을 켜거나 끌 수 있고, noindex management에서는 날짜·작성자·태그·검색 결과 같은 보관 유형 페이지에 검색 제외 표시를 적용할 수 있습니다.
수정 뒤 상태를 계속 확인해야 하는 운영자라면 SOHO SEO의 Site Error Check (key search engine items)도 이 글의 문제와 맞닿아 있습니다. 켜 두면 이 플러그인이 제공하는 robots.txt와 사이트맵을 하루 한 번 확인하고, 문제가 있을 때 이메일을 보냅니다. 다만 개별 글이나 페이지를 noindex 처리하거나 홈페이지 전체를 검색 결과에서 제외하는 용도의 기능은 아니므로, 목적에 맞는 설정을 구분해서 사용해야 합니다.
자주 묻는 질문
Q. robots.txt에 “Disallow: /”가 있으면 사이트가 삭제되나요?
A. 사이트 파일이 삭제되는 것은 아닙니다. 다만 검색 로봇이 사이트 전체를 방문하지 못해 검색 결과에서 빠지거나, 새 글이 발견되지 않을 수 있습니다.
Q. 특정 글 하나를 검색 결과에서 숨길 때도 robots.txt를 쓰나요?
A. 보통은 noindex가 더 알맞습니다. robots.txt로 먼저 막으면 검색 로봇이 noindex 신호를 읽지 못할 수 있습니다.
Q. robots.txt를 고쳤는데 바로 검색 결과가 바뀌지 않는 이유는 무엇인가요?
A. 검색 엔진이 이전 파일을 잠시 저장하고 있을 수 있습니다. 구글은 robots.txt를 보통 최대 24시간 정도 저장할 수 있으며, 이후에도 재방문과 검색 결과 갱신 시간이 필요합니다.
Q. 워드프레스에서 내 사이트가 검색 엔진에 막혔는지 어디서 확인하나요?
A. 설정의 읽기 화면에서 검색 엔진이 사이트를 색인하지 않도록 요청하는 항목을 확인하세요. 실제로는 /robots.txt 내용과 페이지의 robots 메타 설정도 함께 살펴봐야 합니다.
Q. 이 문제를 도구로 쉽게 해결할 수 있나요? 어떤 도구를 쓰면 되나요?
A. robots.txt 주소를 직접 열어보는 것부터 시작하고, 검색 콘솔의 robots.txt 보고서와 주소 검사 도구를 함께 사용하세요. 규칙을 자동으로 만들어주는 도구보다, 변경 전후 결과를 비교하고 중요한 주소를 검사하는 과정이 더 중요합니다.
Q. 워드프레스에서 robots.txt와 사이트맵 상태를 함께 점검할 수 있나요?
A. 먼저 실제 /robots.txt 주소와 사이트맵을 직접 확인하고 검색 콘솔의 검사 도구를 함께 사용해야 합니다.
SOHO SEO의 Site Error Check (key search engine items)를 켜면 이 플러그인이 제공하는 robots.txt와 사이트맵을 하루 한 번 확인하고 문제가 있을 때 이메일을 보냅니다. 다만 검색 제외 목적이라면 보관 유형에 noindex를 적용하는 등 목적에 맞는 기능을 따로 선택해야 합니다.
워드프레스 관련 링크