네이버 블로그는 로봇 규칙(robots.txt)으로 ChatGPT·Claude·Perplexity의 검색 로봇을 막고 있습니다. 그래서 네이버 블로그 글은 이 서비스들의 검색 답변에 쓰이기 어렵습니다. 바깥 AI 검색에 닿을 글은 로봇 규칙을 직접 정할 수 있는 홈페이지에 두고, 네이버 블로그는 네이버에서 검색하는 의뢰인을 위한 채널로 나눠 쓰는 편이 낫습니다.
저희도 회사 채널을 설계하면서 이 차이 때문에 같은 주제를 가장 깊게 다룬 글을 홈페이지 칼럼에 두기로 했습니다. 네이버 블로그와 티스토리에는 같은 글을 옮기지 않고, 각 채널의 독자가 던질 질문으로 따로 쓰도록 정했습니다.
네이버 블로그가 막아 둔 로봇
네이버 블로그는 PC 주소(blog.naver.com)와 휴대폰 주소(m.blog.naver.com)에 로봇 규칙을 따로 두고 있습니다. 두 규칙 모두 AI 학습과 AI 답변용 수집을 위한 로봇 접근을 금지한다고 밝힙니다.
2026년 10월 28일 기준으로 두 주소는 그 문구 아래에 아홉 개 이름을 똑같이 적고, 이름마다 사이트 전체를 막았습니다. 이 가운데 검색 답변과 바로 이어지는 로봇은 세 가지입니다.
- ChatGPT 검색의 OAI-SearchBot
- Claude 검색의 Claude-SearchBot
- Perplexity의 PerplexityBot
구글의 Google-Extended도 아홉 개에 들어 있습니다. Google-Extended는 따로 방문하는 로봇이 아니라, 구글이 모은 글을 어디에 쓸지 정하는 표시입니다. 네이버 블로그는 이 표시로 글을 Gemini 학습에 쓰지 말고, Gemini 앱이 구글 검색으로 답의 근거를 찾을 때도 쓰지 말라고 밝혀 두었습니다.
반면 구글·빙 검색 로봇과, 사용자가 질문하는 자리에서 페이지를 여는 ChatGPT-User·Claude-User는 이름이 적혀 있지 않습니다.
막혀 있으면 실제로 달라지는 것
OpenAI는 OAI-SearchBot을 막은 사이트가 ChatGPT 검색 답변에 나오지 않고, 사이트로 바로 가는 링크로만 나올 수 있다고 안내합니다.
Anthropic도 Claude-SearchBot을 막으면 검색에 쓸 글을 모아 두지 못해 검색 결과에서 사이트가 덜 보일 수 있다고 설명합니다.
따라서 네이버 블로그에만 쌓인 글은 내용이 좋아도 이 두 서비스의 검색 답변에는 쓰이기 어렵습니다.
다만 로봇 규칙은 수집을 허락하거나 막는 장치이므로, 막혀 있지 않다고 해서 답변에 인용된다는 보장은 없습니다. 한편 구글은 Google-Extended가 구글 검색에 사이트가 포함되는지에는 영향을 주지 않는다고 밝혔습니다.
채널 역할을 나누는 세 가지 질문
채널마다 다음 세 가지를 물어보면 어떤 글을 어디에 둘지 정할 수 있습니다.
- 로봇 규칙을 내가 정할 수 있는가 : 로봇 규칙은 주소 맨 위에 놓인 파일 하나입니다. 그래서 네이버 블로그 글은 모두 blog.naver.com/robots.txt를 따르고, 홈페이지는 주인이 자기 주소 맨 위에 이 파일을 둡니다.
- 검색용 로봇이 들어올 수 있는가 : 저희 홈페이지(ronlee.kr)는 세 서비스의 검색 로봇과 Google-Extended를 허용한다고 밝혀 두었습니다. 저희 티스토리 블로그의 로봇 규칙에는 AI 로봇 이름도, 글 주소를 막는 줄도 없습니다.
- 바깥 AI 검색에 닿아야 하는 글인가 : 네이버에서 검색하는 의뢰인에게 보일 글과, AI 검색으로 질문하는 사람에게 닿을 글은 둘 곳이 다릅니다.
앞의 두 질문에 그렇다고 답할 수 있는 채널에, 바깥 AI 검색에 닿아야 할 글과 같은 주제의 가장 깊은 글을 둡니다.
학습용 로봇은 이와 따로 정할 수 있습니다. OpenAI가 두 설정이 서로 독립적이라고 안내하기 때문에, 저희 홈페이지는 검색 로봇을 허용하면서도 학습 전용인 GPTBot은 막아 두었습니다.
홈페이지 로봇 규칙을 볼 때
홈페이지 주소 뒤에 /robots.txt를 이어 쓰면 그 홈페이지의 로봇 규칙이 열립니다. 다만 www로 시작하는 주소와 www 없는 주소처럼 앞부분이 다른 주소는 각각 따로 봐야 합니다. Anthropic도 로봇을 막으려면 하위 주소마다 로봇 규칙에 적으라고 안내하기 때문입니다.
Allow는 들어와도 되는 주소를, Disallow는 막는 주소를 적는 줄입니다. 검색 로봇 이름 아래에 빗금(/) 하나만 적힌 Disallow 줄만 있다면 사이트 전체를 막은 단순한 설정입니다. 이 경우 홈페이지가 있어도 네이버 블로그와 사정이 같습니다.
그 이름 아래에 Allow 줄이나 다른 Disallow 줄이 함께 있으면 판단이 어렵습니다. 이때는 홈페이지를 관리하는 곳에 그 로봇이 글 주소에 들어올 수 있는지 확인을 부탁하는 편이 정확합니다.
로봇 규칙을 고친 뒤 ChatGPT와 Perplexity에 반영되기까지는 24시간 정도 걸릴 수 있습니다.
변호사님 홈페이지의 로봇 규칙에서 무엇을 고칠지 판단이 서지 않는다면, 마케팅 진단을 신청하면서 홈페이지 주소를 적어 주시면 됩니다. 진단의 AI 검색 항목에서 네이버 밖에서도 글을 찾을 수 있는지 확인하고, 먼저 고칠 곳을 알려 드리겠습니다.
참고 자료
- 네이버 블로그 로봇 규칙, 모바일 주소 로봇 규칙
- OpenAI, Overview of OpenAI Crawlers
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity Crawlers
- Google의 일반 크롤러 목록 (Google-Extended)
- 로앤리파트너스 홈페이지 로봇 규칙, 로앤리파트너스 티스토리 로봇 규칙
- 로앤리파트너스 내부 기록 : 회사 채널 설계(채널별 글 역할), 원고 기준(홈페이지 칼럼 정본, 티스토리 독립 원고)
- 마케팅 진단 신청 화면의 진단 항목과 입력 칸
- 확인 기준일 2026. 10. 28.(네이버 블로그 로봇 규칙은 2026. 10. 29. 다시 확인)
블로그와 홈페이지, 주력 분야를 보내주시면 검색 첫인상과 상담 연결을 먼저 살펴봅니다. 진단은 무료이며 영업일 기준 2일 이내에 회신드립니다.