SOHO SEO 구글색인의 단계와 구조
크롤링→렌더링→색인→랭킹, 구글이 당신의 글을 처리하는 4단계와 각 단계에서 플러그인이 하는 일
지난 글에서 나는 검색 유입이 죽은 게 아니라 형태가 바뀌었을 뿐이라고 말했다.
그런데 “형태가 바뀌었다”는 말만으로는 부족하다. 실제로 무엇이 바뀌었는지, 구글이 당신의 글 한 편을 받아서 어떤 순서로 처리하는지 모르면 대응할 수가 없다.
나는 이걸 4단계로 나눠서 본다. 크롤링, 렌더링, 색인, 랭킹. 이 순서를 이해하지 못하고 SEO를 한다는 건, 신체 어디가 아픈지도 모르고 약을 먹는 것과 같다.
1단계: 크롤링 — 구글이 당신의 글을 발견하는 순간
크롤링은 구글봇이 당신의 사이트를 방문해서 페이지 목록을 파악하는 단계다.
여기서 사람들이 가장 크게 오해하는 게 있다. “글을 쓰면 구글이 알아서 찾아온다”는 생각이다. 틀렸다.
구글봇의 방문 빈도와 범위는 무한하지 않다. 크롤 버짓(crawl budget)이라는 개념이 있는데, 쉽게 말해 구글이 당신 사이트 하나에 쓸 수 있는 시간과 자원은 정해져 있다.
그래서 나는 사이트맵을 단순한 “글 목록 파일”로 보지 않는다.

크롤 버짓을 가장 효율적으로 쓰게 만드는 지도라고 본다.
코어 사이트맵은 이미지 정보를 제대로 안 담는다. 나는 <image:image> 태그를 포함시켜서, 구글봇이 한 번 방문했을 때 텍스트만이 아니라 대표 이미지까지 같이 발견하도록 만들었다.
크롤 한 번에 더 많은 정보를 넘겨주는 것, 이게 크롤링 단계에서 내가 할 수 있는 최선이다.
뉴스 사이트맵도 같은 맥락이다.
다만 이건 조금 다르게 접근해야 한다.
뉴스 사이트맵 규격은 최근 48시간 이내 발행된 글만 포함하도록 강제한다.
왜 이렇게 빡빡한가. 구글이 이 사이트맵을 “지금 이 순간 무슨 일이 일어나고 있는가”를 확인하는 용도로 쓰기 때문이다.
나는 이걸 최신성 신호로 이해한다. 48시간이 지난 글을 억지로 붙잡고 있어봐야 의미가 없다. 오히려 크롤러 입장에서는 노이즈다.
그리고 하나 더. 크롤링 단계에서 의외로 중요한 게 리다이렉트와 404 관리다.
링크 구조가 바뀌었는데 예전 URL이 죽은 채로 방치되면, 구글봇은 그 죽은 링크를 계속 따라가다가 크롤 버짓을 낭비한다. 나는 이걸 실제로 여러 사이트에서 목격했다.
URL 구조를 개편하고 리다이렉트 처리를 안 한 사이트는, 신규 글이 발행돼도 크롤링 자체가 늦게 도는 경우가 많았다.
그래서 SOHO SEO 안에 301/302 리다이렉트 관리와 404 로깅을 넣었다.
이건 화려한 기능이 아니다. 하지만 크롤링이라는 첫 관문을 깔끔하게 유지하는 가장 기본적인 위생 관리다.
2단계: 렌더링 — 구글이 당신의 페이지를 u0022보는u0022 방식
크롤링이 페이지의 존재를 발견하는 거라면, 렌더링은 그 페이지를 실제로 브라우저처럼 실행해서 최종 모습을 확인하는 단계다.
여기서 많은 사람이 착각하는 게 있다. HTML 소스에 내용이 있으면 다 되는 줄 안다.
하지만 구글은 실제로 페이지를 렌더링해서 사람 눈에 보이는 것과 최대한 비슷하게 확인한다.
이 단계에서 내가 가장 중요하게 본 건 모바일 뷰포트다.
지금 구글은 모바일 우선 색인을 쓴다. 즉, 모바일 환경에서 렌더링한 결과를 기준으로 판단한다.
뷰포트 메타 태그가 없거나 잘못 설정된 페이지는, 렌더링 단계에서부터 이미 불리하게 시작한다.
이미지가 잘리거나, 텍스트가 화면 밖으로 나가거나, 클릭할 요소가 겹쳐 보이거나.
나는 SOHO SEO 체크리스트에 뷰포트 설정 확인을 넣었다.
사소해 보이지만, 이게 안 되어 있으면 이후 단계에서 아무리 잘해봐야 소용없다.

렌더링 단계에서 또 중요한 게 오픈그래프와 트위터 카드 같은 메타 태그다.
이건 구글의 렌더링뿐 아니라, 당신의 글이 카카오톡이나 페이스북, 트위터에 공유될 때 어떻게 보이는지를 결정한다.
나는 이걸 “SEO의 영역이 아니다”라고 치부하는 사람들을 이해할 수 없다.
소셜 공유 시 미리보기가 깨지면, 그 링크를 클릭할 확률 자체가 떨어진다. 클릭률이 떨어지면 구글도 그걸 신호로 본다.
요스트나 랭크매스를 안 쓰는 사이트를 위한 기본 장치이고, 이미 다른 SEO 플러그인이 활성화돼 있으면 중복 출력을 피하려고 조용히 아무것도 하지 않는다.
렌더링 단계는 “보이는 것”의 싸움이다.
3단계: 색인 — 구글의 데이터베이스에 등록되는 순간
크롤링하고 렌더링했다고 해서 자동으로 색인되는 게 아니다.
색인은 구글이 “이 페이지를 내 데이터베이스에 넣어서 검색 결과 후보로 쓸 것인가”를 결정하는 단계다.
여기서 내가 가장 신경 쓴 부분이 노인덱스 관리다.
워드프레스는 기본적으로 날짜별 아카이브, 태그 아카이브, 작성자 아카이브, 검색 결과 페이지까지 전부 색인 가능한 상태로 열어둔다.
이게 문제다.
그래서 나는 “인덱스 선택” 기능을 만들면서 절대 규칙을 하나 세웠다. 개별 글과 고정 페이지는 어떤 설정 조합으로도 노인덱스 처리될 수 없다는 것. 이건 코드 최상단에서 조기 반환으로 강제한다.
대상은 오직 날짜·태그·작성자 아카이브, 검색 결과 페이지, 2페이지 이상의 홈 목록, 사용자가 명시적으로 고른 카테고리 아카이브뿐이다.
그리고 방식도 중요하다.
나는 robots.txt로 크롤링 자체를 막는 방식을 쓰지 않았다.
대신 meta noindex 태그를 쓴다. 이유는 명확하다.
robots.txt로 막아버리면 구글봇이 그 페이지를 아예 재방문하지 못한다. 그러면 이미 색인된 페이지가 오히려 영원히 색인에 남아있게 된다.
“지우고 싶어서” robots.txt로 막았는데, 실제로는 지워지지 않는 역설이 생긴다.
meta noindex는 다르다. 구글이 페이지를 계속 방문해서 “이건 색인하지 마라”는 지시를 매번 확인할 수 있다.
이미 문제가 된 페이지를 실제로 색인에서 빼내려면 이 방식이 맞다.
이건 내가 랭크매스 같은 경쟁 플러그인의 방식을 참고하면서도 다르게 판단한 지점이다.
색인 단계에서 구조화 데이터도 빼놓을 수 없다.
Article JSON-LD로 headline, 대표 이미지, 발행일, 수정일, 작성자, 발행자 정보를 출력하는 건 단순히 “예쁘게 보이려는” 장식이 아니다.
구글이 이 페이지를 어떤 종류의 콘텐츠로 분류할지, E-E-A-T(경험·전문성·권위성·신뢰성) 판단에 쓸 정보를 명시적으로 제공하는 것이다.
색인 단계는 “분류와 등록”의 싸움이다.
4단계: 랭킹 — 노출 순서와 디스커버 진입을 결정하는 최종 관문
마지막 단계가 랭킹이다.
여기서부터는 색인된 수많은 페이지 중 실제로 사용자에게 보여줄 순서를 매기고, 디스커버 같은 추천 피드에 실릴지를 결정한다.
나는 이 단계를 지난 글에서 다룬 “신뢰 신호”의 종합판이라고 본다.
대표 이미지가 1200px 이상인지, max-image-preview:large가 robots 메타에 보장되어 있는지, 클릭베이트성 제목은 아닌지. 이런 항목들을 SOHO SEO 체크리스트가 점수화해서 보여주는 이유가 여기 있다.
앞의 세 단계를 아무리 잘 통과해도, 랭킹 단계에서 신뢰 신호가 부족하면 디스커버에 실리지 않는다.
그리고 나는 내부링크도 이 단계에 영향을 준다고 본다.
관련 글끼리 서로 연결돼 있으면, 구글은 이 사이트가 하나의 주제를 깊이 있게 다루고 있다는 걸 파악한다.
이게 권위성 신호로 이어진다.
그래서 무엇이 중요한가
많은 사람이 SEO를 “글 쓰고 키워드 넣는 것”으로 좁게 이해한다.
하지만 실제로는 이 4단계 파이프라인 전체를 관리하는 일이다.
다음 글에서는 “SEO 플러그인”이라는 이름 아래 실제로 무엇을 건드리는지, 메타태그부터 구조화 데이터, 사이트맵, robots까지 전체 기능 지도를 그려볼 것이다.

이 글은 데코블럭스를 사용하여 포스팅 되었습니다.