네이버SEO 첫걸음 — 서치어드바이저 등록부터 구글·빙 색인 확인까지

이 사이트(ourrise.co.kr)를 네이버·구글·빙에 등록하고 색인이 생기기까지 저희가 실제로 겪은 일을 날짜순으로 적었습니다. 검색 로봇이 3주 동안 막혀 있던 것을 늦게 알았고, 풀고 나서 3일 만에 첫 색인이 생겼습니다.

이 글은 검색 서비스의 공식 안내가 아니라 저희 사이트에서 일어난 일을 적은 기록입니다. 메뉴와 화면 문구는 2026년 9~10월에 저희가 본 그대로이고, 서비스가 바꿀 수 있습니다. 5절의 Google 로봇 설명은 2026년 10월 10일에 Google 공식 문서에서 확인했습니다.

1. 저희가 등록한 순서

  1. 구글 서치 콘솔에 사이트를 등록하고 사이트맵을 냈습니다.
  2. 네이버 서치어드바이저에 사이트를 등록했습니다. 소유 확인용 메타 태그는 처음부터 모든 페이지의 머리에 넣어 두었습니다.
  3. 빙 웹마스터 도구는 "Google Search Console에서 가져오기"로 등록했습니다. 코드를 고치지 않아도 소유 확인이 끝났고 사이트맵도 같이 넘어왔습니다.
  4. 새 글을 낼 때마다 구글에는 색인 생성 요청을, 네이버에는 웹 페이지 수집 요청을 넣습니다.

등록은 어렵지 않았습니다. 문제는 그다음, 등록한 뒤에도 색인이 생기지 않았다는 것입니다.

2. 등록했는데 색인이 0이었던 이유 — 403

9월 26일에 구글 서치 콘솔을 열어 보니 색인도 사이트맵 수집도 막혀 있었습니다. 페이지 색인 보고서에는 홈과 사이트맵이 "액세스 금지(403)로 인해 차단됨"으로 나왔습니다. 검색 로봇이 사이트에 들어오지 못하고 있었던 것입니다.

원인은 사이트 앞에 둔 Cloudflare의 AI 봇 설정이었습니다. AI 학습용 로봇을 막으려고 학습을 "차단"으로 두었는데, 이 설정이 검색과 학습을 함께 하는 로봇(Googlebot, Bingbot 등)까지 403으로 돌려보냈습니다. 저희 사이트에서는 2026년 9월 15일부터 10월 5일까지 3주 동안 그랬습니다.

중간에 "검색 엔진 로봇이면 규칙을 건너뛴다"는 예외 규칙을 따로 넣어 봤지만 효과가 없었습니다. 학습을 "허용 안 함"으로 바꾸자 바로 사이트맵이 정상으로 읽혔습니다.

  • "차단"은 요청 자체를 403으로 돌려보냅니다.
  • "허용 안 함"은 robots.txt에 "학습에 쓰지 말라"는 뜻만 적습니다. 검색 로봇은 들어올 수 있습니다.

지금 저희 설정은 검색 허용, 에이전트 허용, 학습 허용 안 함, robots.txt 동기화 켬, Bot Fight 모드 끔입니다.

3. robots.txt는 내가 쓴 것과 다를 수 있습니다

Cloudflare의 robots.txt 동기화를 켜 두면, 실제로 배포되는 robots.txt 앞에 Cloudflare가 쓴 부분이 붙습니다. 저희 사이트에서는 학습용 로봇 30여 개를 막는 줄이 앞에 붙고, 그 뒤에 저희가 쓴 줄과 사이트맵 주소가 나왔습니다.

그래서 robots.txt는 저장소의 파일이 아니라 실제 주소(사이트주소/robots.txt)를 열어서 확인합니다. Googlebot, 네이버의 Yeti, bingbot이 막는 목록에 없는지 봅니다.

4. 네이버 서치어드바이저에서 본 것

  • 소유 확인: 메타 태그를 모든 페이지 머리에 넣어 두어서 따로 할 일이 없었습니다.
  • 수집 요청: 새 페이지를 낼 때마다 웹 페이지 수집 요청을 넣습니다. 사이트맵 주소가 바뀌지 않으면 사이트맵은 다시 내지 않습니다.
  • 사이트 진단의 색인제외 1건: 눌러 보니 글이 아니라 /favicon.ico였고, 사유는 "소프트 404"였습니다. 저희 사이트에는 아직 파비콘이 없어서 그 주소가 일반 페이지를 돌려주는 것으로 보입니다. 파비콘을 넣으면 풀릴 것으로 봅니다(아직 확인 전).

색인제외 숫자가 보이면 먼저 눌러서 어느 주소인지부터 확인합니다. 글이 빠진 게 아닐 수도 있습니다.

5. "실제 URL 테스트" 통과는 Googlebot 통과가 아닙니다

403을 풀고 구글 서치 콘솔의 URL 검사에서 "실제 URL 테스트"를 돌리자 "URL을 Google에 등록할 수 있음"으로 통과했습니다. 그런데 이 결과로 "이제 Googlebot이 들어온다"고 판단하면 안 됩니다.

Google의 크롤러 목록을 보면, URL 검사 같은 테스트 도구는 Googlebot이 아니라 Google-InspectionTool이라는 다른 로봇이 읽는다고 적혀 있습니다. 이 테스트가 통과하면 사이트가 열려 있고 그 로봇이 막히지 않았다는 것까지만 알 수 있습니다.

Googlebot이 실제로 읽었는지는 며칠 뒤 URL 검사 결과에서 "페이지 색인이 생성됨"이 나오는지로 확인합니다.

6. 403을 풀고 3일 뒤의 결과

2026년 10월 10일에 403 사유의 수정 결과 확인을 누르고, 홈과 주요 페이지의 색인 생성을 요청했습니다. 그날 색인은 0이었습니다. 3일 뒤인 10월 13일 구글 서치 콘솔의 페이지 색인 보고서는 이랬습니다.

  • 색인 생성됨: 4쪽(홈 포함)
  • 발견됨 - 현재 색인이 생성되지 않음: 9쪽
  • 크롤링됨 - 현재 색인이 생성되지 않음: 1쪽
  • 액세스 금지(403)로 인해 차단됨: 1쪽(수정 결과 확인이 "시작됨" 상태)

홈의 URL 검사는 "URL이 Google에 등록되어 있음"으로 바뀌었습니다. 이번에는 테스트 로봇이 아니라 실제 색인 결과라, Googlebot이 들어왔다는 증거입니다.

"발견됨 9쪽"은 구글이 주소는 알지만 아직 읽으러 오지 않은 상태입니다. 저희는 여기에 색인 요청을 더 넣지 않고 기다리기로 했습니다. 주요 페이지는 이미 요청했고, 이 상태는 오류가 아니기 때문입니다.

서치 콘솔의 보고서는 며칠 늦게 갱신됩니다. 저희가 10월 10일에 본 보고서는 10월 4일 기준이었습니다. 남아 있는 403 1건도 막힌 기간의 기록이 늦게 남은 것인지 지켜보는 중입니다.

7. 새 사이트를 등록할 때 저희가 확인하는 것

  • 실제 주소의 robots.txt를 열어 검색 로봇(Googlebot, Yeti, bingbot)이 막혀 있지 않은지 봅니다.
  • CDN이나 보안 서비스에서 AI 봇을 막는 설정이 "차단"이 아니라 "허용 안 함"인지 봅니다.
  • 등록 3~4일 뒤 구글 서치 콘솔의 페이지 색인 보고서에서 403 사유가 없는지 봅니다.
  • "실제 URL 테스트" 통과로 끝내지 않고, 며칠 뒤 "페이지 색인이 생성됨"을 확인합니다.
  • 네이버 사이트 진단에 색인제외가 있으면 눌러서 어느 주소인지부터 봅니다.
  • 빙은 구글 서치 콘솔에서 가져오면 소유 확인과 사이트맵이 한 번에 끝납니다.

함께 보면 좋은 글·도구

유튜브 벤치마킹 활용 가이드 — 이 사이트의 무료 도구로 잘 되는 영상을 찾고 구조를 보는 방법입니다.

글자수 세기·영상 길이 계산기 — 글자수와 대본의 예상 영상 길이를 바로 확인합니다.