“robots.txt에 의해 차단됨” 경고가 갑자기 늘었을 때
서치콘솔에서 ‘robots.txt에 의해 차단됨’ URL 수가 갑자기 늘면 먼저 이런 질문이 생깁니다. 내 사이트가 망가진 걸까요?
대부분은 숫자만으로 사이트 전체의 문제를 판단할 수 없습니다. 먼저 차단된 주소가 검색에 꼭 나와야 하는 중요한 글인지, 아니면 관리자 화면이나 검색 결과 같은 보조 주소인지 가려야 합니다.
갑자기 늘어난 숫자가 곧 고장은 아닙니다
이 경고는 구글이 어떤 주소를 방문하려 했지만, 사이트의 robots.txt 규칙 때문에 들어가지 못했다는 뜻입니다. robots.txt는 검색 로봇이 사이트의 어느 부분을 살펴볼지 조절하는 파일입니다.
운영자가 이 숫자를 발견하는 때는 대개 새 글을 올린 직후입니다. 또는 검색 유입이 줄어든 뒤 보고서를 열어 보고, “구글이 우리 사이트를 버린 건가?” 하고 놀라게 되죠.
하지만 서치콘솔의 페이지 색인 생성 보고서는 구글이 알고 있는 모든 주소를 기본으로 집계합니다. 관리자 화면, 내부 검색 결과, 필터 주소, 중복 주소처럼 애초에 검색에 나오지 않아도 괜찮은 주소까지 포함될 수 있습니다.
구글은 2021년 1월 11일 보고서 상태와 분류가 바뀌면서, 같은 사이트에서도 문제 수와 유형이 달라 보일 수 있다고 설명했습니다. 구글이 새 주소를 발견한 경우에도 숫자는 늘어납니다.
숫자보다 주소의 역할이 중요합니다.
중요한 글이 막혔는지만 먼저 가려내세요
결론은 간단합니다. 중요한 글이 차단됐다면 고쳐야 하지만, 보조 주소만 늘었다면 숫자를 0으로 만들 필요는 없습니다.
특히 robots.txt 차단은 검색 결과에서 완전히 숨기는 기능이 아닙니다. 다른 웹페이지의 링크를 통해 구글이 주소를 알아내면, 차단된 주소 자체가 검색 결과에 나타날 가능성도 있습니다.
검색에 나오면 안 되는 페이지라면 robots.txt만 믿어서는 안 됩니다. 구글이 내용을 읽을 수 있도록 차단을 풀고, 페이지에 noindex를 설정하는 방법이 맞을 수 있습니다.
반대로 관리자 페이지, 내부 검색 결과, 장바구니, 끝없이 늘어나는 필터 주소라면 차단을 유지해도 됩니다. 검색에 보여야 할 대표 글이 열려 있는지가 숫자보다 중요합니다.
고쳐야 할 것은 경고 자체가 아닙니다.
직접 확인할 때 막히는 지점도 있습니다
전체 목록을 처음부터 붙잡고 씨름하지 마세요. 대표적인 주소 세 개만 골라도 원인을 크게 좁힐 수 있습니다.
- 브라우저 주소 뒤에 /robots.txt를 붙여 실제 파일을 엽니다.
- 전체 사이트, 글 경로, 카테고리 경로를 막는 Disallow 규칙이 있는지 봅니다.
- 서치콘솔의 URL 검사에서 해당 주소의 크롤링 허용 여부를 확인합니다.
- 마지막 크롤링 날짜와 페이지 가져오기 상태도 함께 봅니다.
- 페이지 색인 생성 보고서의 차단 주소 샘플을 열어 역할을 구분합니다.
주소가 중요한 글인지 판단하기 어렵다면 제목이나 경로를 기준으로 보세요. 새로 쓴 글, 서비스 소개, 문의 안내처럼 방문자가 찾아야 하는 페이지라면 우선 확인 대상입니다.
반면 검색어를 입력한 결과 페이지나 태그, 필터 조합 주소라면 보조 주소일 가능성이 큽니다. robots.txt 보고서에서는 구글이 파일을 마지막으로 처리한 시점과 오류도 확인할 수 있습니다.
문제는 규칙 하나만 보면 끝나지 않는다는 데 있습니다. 여러 Disallow 규칙이 같은 경로에 겹칠 수 있고, 실제 파일과 워드프레스나 호스팅의 설정이 다를 수도 있습니다.
주소가 많으면 어떤 규칙이 어떤 페이지를 막는지 하나씩 대조해야 합니다. 직접 수정한 뒤에도 구글이 즉시 다시 방문하거나 검색 결과를 바로 바꾼다는 보장은 없습니다.
주소가 많아 robots.txt 규칙을 워드프레스 안에서 직접 정리하기 번거롭다면 SOHO SEO의 robots.txt & llms.txt에서 파일을 편집할 수 있습니다. 다만 이 기능은 실제 서버 설정이나 호스팅의 동작을 대신 바꾸는 것이 아니라, 편집할 파일을 관리하는 역할입니다. 수정 뒤에는 서치콘솔에서 대표 주소의 크롤링 상태를 다시 확인해야 합니다.
직접 점검에는 분명한 한계가 있습니다.
여러 주소와 설정을 계속 대조하는 일이 번거롭다면, 점검 흐름을 정리해 주는 일반적인 SEO 도구를 보조로 사용할 수 있습니다. 다만 실제 robots.txt를 고치고 서버 설정을 바꾸는 주체는 워드프레스나 호스팅, 서버 설정입니다.
SOHO SEO로 robots.txt와 보조 주소를 관리하기
이번 문제의 핵심은 차단된 주소를 모두 없애는 일이 아니라, 중요한 글을 막은 규칙과 애초에 검색에 덜 필요한 주소를 구분하는 데 있습니다. SOHO SEO의 robots.txt & llms.txt에서는 워드프레스 안에서 robots.txt 파일을 편집할 수 있어, 여러 Disallow 규칙을 한곳에서 살펴보고 관리하는 작업을 정리할 수 있습니다.
날짜·작성자·태그·사이트 내 검색 결과처럼 검색에서 제외할 보조 주소를 구분해야 할 때는 Noindex Management도 연결됩니다. 이 기능은 선택한 분류 보관 페이지에 검색 제외 설정을 적용하지만 개별 글과 페이지를 검색에서 제외하는 기능은 아닙니다. 따라서 중요한 글의 차단을 풀고 싶은 경우와 보조 주소의 검색 제외를 다루는 경우를 나누어 사용해야 하며, 수정 후 크롤링과 색인 상태를 확인하는 일은 별도로 남습니다.
고치는 방법마다 치러야 할 대가가 있습니다
중요한 글을 막은 규칙을 풀기
중요한 글의 경로를 막은 Disallow 규칙을 삭제하거나 범위를 좁힙니다. 그러면 구글봇이 해당 주소를 다시 살펴볼 수 있습니다.
대신 서버 요청이 늘 수 있고, 수정했다고 곧바로 다시 크롤링된다는 보장은 없습니다. 검색 결과에 즉시 나타난다는 뜻도 아닙니다.
차단을 풀어도 즉시 노출되지는 않습니다.
검색에서만 제외하려면 noindex 사용하기
내용은 구글이 확인하되 검색 결과에는 나오지 않게 하려면 robots.txt 차단을 풀고 페이지에 noindex를 설정합니다. 구글은 robots.txt로 막힌 페이지의 noindex를 읽을 수 없다고 안내합니다.
즉, 검색 제외와 접근 차단은 다른 문제입니다. 이 둘을 섞으면 페이지는 검색에도 안 나오고, 구글이 제외 지시도 읽지 못하는 애매한 상태가 될 수 있습니다.
숨기려는 목적부터 분명히 해야 합니다.
의도한 차단은 그대로 두기
관리자 화면이나 내부 검색 주소만 늘었다면 차단을 유지해도 됩니다. 그 대신 서치콘솔의 차단 수는 계속 남을 수 있습니다.
모든 경고를 0으로 만드는 것이 운영 목표는 아닙니다. 방문자가 찾아야 할 글이 열려 있는지가 훨씬 중요합니다.
수정 뒤에는 숫자보다 대표 글을 다시 보세요
중요한 글이 포함됐다면 /robots.txt에서 막은 경로를 확인하고, 해당 규칙을 해제한 뒤 대표 주소를 다시 검사하세요. URL 검사에서는 크롤링 허용 여부, 색인 허용 여부, 페이지 가져오기 상태를 따로 볼 수 있습니다.
robots.txt를 고친 뒤에는 서치콘솔의 robots.txt 보고서에서 재처리를 요청할 수 있습니다. 그래도 차단 해제된 주소가 즉시 다시 크롤링된다고 보장되지는 않습니다.
검색 결과에 나오길 원하는 글이 막혀 있다면 규칙을 고치는 쪽을 선택하세요. 관리자·검색·필터·중복 주소만 늘었다면 차단을 유지하고, 숫자보다 대표 페이지의 상태를 관리하는 편이 낫습니다.
중요한 글은 열고, 보조 주소는 목적에 맞게 관리하세요.
결국 확인할 것은 경고의 총량이 아니라, 검색에 나와야 할 대표 글이 막혔는지입니다. 중요한 글과 보조 주소를 반복해서 대조해야 하는 워드프레스 운영자라면 SOHO SEO로 robots.txt 편집과 일부 보조 주소의 검색 제외 설정을 한 흐름에서 관리할 수 있습니다.
그래도 실제 규칙의 영향은 서치콘솔 URL 검사와 robots.txt 보고서에서 다시 확인해야 합니다. 숫자를 줄이는 것보다 주소의 역할에 맞게 열고 막는 것이 이 문제의 기준입니다.
- 차단된 주소 중 중요한 글이 있는지 확인하기
- /robots.txt에서 겹치는 Disallow 규칙 찾기
- URL 검사에서 크롤링과 색인 상태 따로 보기
- 검색 제외가 목적이면 robots.txt가 아닌 noindex 검토하기
- 수정 뒤 대표 주소와 robots.txt 처리 상태 다시 확인하기
자주 묻는 질문
Q. URL 수가 갑자기 늘면 검색 순위가 떨어진 건가요?
A. 숫자 증가만으로 검색 순위 하락이나 사이트 전체 문제를 단정할 수 없습니다. 구글이 새 주소를 발견했거나 보고서 분류가 달라진 경우도 있으므로, 어떤 주소가 늘었는지 먼저 봐야 합니다.
Q. 중요한 글이 차단됐다면 무엇부터 고치나요?
A. 사이트 주소 뒤에 /robots.txt를 붙여 겹치는 Disallow 규칙을 찾고, 해당 경로를 해제하세요. 이후 서치콘솔 URL 검사에서 크롤링 허용 여부와 페이지 가져오기 상태를 다시 확인하면 됩니다.
Q. 이 문제를 도구로 쉽게 해결할 수 있나요?
A. 여러 주소와 설정을 대조하는 점검 도구를 보조로 쓸 수는 있습니다. 다만 실제 규칙 수정은 워드프레스·호스팅·서버 설정에서 직접 해야 하며, 도구가 검색 노출을 보장하지는 않습니다.
Q. robots.txt와 noindex를 한곳에서 관리할 수 있나요?
A. SOHO SEO에서는 robots.txt 파일을 편집하고, 날짜·작성자·태그·사이트 내 검색 결과와 선택한 분류 보관 페이지에 noindex 설정을 적용할 수 있습니다.
다만 개별 글과 페이지를 noindex로 제외하는 기능은 아니므로, 중요한 글을 검색에서 제외하려는 경우에는 별도 설정을 확인해야 합니다. robots.txt를 수정한 뒤 크롤링과 색인 상태를 대신 보장하는 도구도 아닙니다.
워드프레스 관련 링크