AI 봇 로그 읽는 법, GPTBot과 OAI-SearchBot은 하는 일이 다르다
먼저 세 줄로 보기
AI 봇 로그에서 GPTBot 방문이 늘었다는 사실만으로는 ChatGPT 답변에 우리 페이지가 인용될지 알 수 없습니다.
OpenAI 공식 문서 기준으로 GPTBot은 모델 학습용, OAI-SearchBot은 ChatGPT 검색 노출용, ChatGPT-User는 사용자가 질문했을 때 페이지를 여는 에이전트입니다.
AI 봇 로그는 봇 이름별로 나눈 뒤 응답 코드와 방문 페이지를 확인하고, 같은 기간의 출처 인용 기록과 맞춰 봐야 의미가 생깁니다.
월간 보고서에 "AI 봇 방문 3배 증가"라는 줄이 보이면 ChatGPT가 우리 회사를 더 자주 소개하겠다는 기대부터 들 겁니다. 그런데 같은 보고서의 AI 답변 점검표에는 변화가 없다면 어느 숫자를 믿어야 할지 헷갈립니다.
이런 엇갈림은 대개 학습용 봇과 검색용 봇, 사용자가 질문할 때만 들어오는 봇을 한꺼번에 세어서 생깁니다.
예시로 직원 40명 규모의 B2B 소프트웨어 회사(설명을 위해 만든 가상의 회사, 이하 예시 회사)를 끝까지 따라가 보겠습니다. 이 회사의 지난달 서버 로그에는 GPTBot 요청이 전달보다 세 배 많이 찍혔다고 가정합니다.
GPTBot이 많이 오면 AI에 인용되나요?
GPTBot 방문이 많다고 해서 ChatGPT 답변에 인용된다는 뜻은 아닙니다. OpenAI 크롤러 공식 문서는 GPTBot을 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 모으는 크롤러로 설명합니다.
ChatGPT 검색 기능에 웹사이트를 보여 주는 일은 OAI-SearchBot이 맡습니다. 같은 문서는 OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않고 탐색용 링크로만 나타날 수 있다고 적고 있습니다.
예시 회사의 GPTBot 요청이 세 배가 됐다면 학습용 수집이 늘었다는 신호로 읽고, ChatGPT 검색 답변의 출처로 붙는지는 OAI-SearchBot 접근 여부와 실제 답변 기록으로 따로 확인해야 하죠.
💡 GPTBot을 막으면 ChatGPT 검색에서도 빠지나요? OpenAI 문서는 봇별 robots.txt 설정이 서로 독립적이라고 설명합니다. GPTBot은 막고 OAI-SearchBot은 허용하는 설정도 가능합니다.
GPTBot과 OAI-SearchBot은 무엇이 다른가요?
GPTBot은 학습용 수집, OAI-SearchBot은 ChatGPT 검색 노출용 수집을 하는 봇이라 로그에서도 따로 세야 합니다.
다른 AI 회사들도 용도별로 봇을 나눠 운영합니다. 아래 표는 2026년 11월 2일에 OpenAI, Anthropic 지원 문서, Perplexity 크롤러 문서를 열어 확인한 내용이라, 설정을 바꾸기 전에는 원문을 다시 열어 보세요.
봇 이름 | 운영사 | 하는 일 | 막았을 때 생기는 일 |
|---|---|---|---|
GPTBot | OpenAI | 기반 모델 학습에 쓰일 수 있는 콘텐츠 수집 | 콘텐츠를 학습에 쓰지 말라는 표시가 됨. ChatGPT 검색 노출과는 별개 |
OAI-SearchBot | OpenAI | ChatGPT 검색 기능에 보여 줄 사이트 수집 | ChatGPT 검색 답변에 표시되지 않음(탐색용 링크는 예외) |
ChatGPT-User | OpenAI | 사용자가 질문할 때 페이지 방문 | robots.txt가 적용되지 않을 수 있음. 검색 노출 판단에 쓰이지 않음 |
ClaudeBot | Anthropic | 모델 학습에 쓰일 수 있는 웹 콘텐츠 수집 | 이후 콘텐츠가 학습 데이터에서 빠짐 |
Claude-SearchBot | Anthropic | 검색 결과 품질 개선을 위한 탐색 | 검색 노출과 정확도가 낮아질 수 있음 |
Claude-User | Anthropic | 사용자가 질문할 때 페이지 방문 | 사용자 질문에 우리 콘텐츠를 가져오지 못함 |
PerplexityBot | Perplexity | 검색 결과에 보여 주고 링크할 사이트 수집(학습용 아님) | 문서에 명시 없음. 허용을 권장 |
구글 크롤러 목록 문서에 따르면 Google-Extended는 별도의 HTTP 사용자 에이전트가 없는 robots.txt 토큰이어서 서버 로그에 그 이름으로 찍히지 않습니다.
구글 수집은 기존 구글 사용자 에이전트로 기록되므로, Gemini 학습과 그라운딩 허용 여부는 robots.txt의 Google-Extended 규칙에서 확인해야 합니다.
봇별 허용 범위를 정리하고 싶다면 리드젠랩 GEO 서비스 구성에서 기술 진단 범위를 확인해 보세요.
AI 봇 방문 로그는 어디서 보나요?
AI 봇 방문 로그는 웹 서버의 접속 로그나 CDN·보안 서비스의 요청 기록에서 사용자 에이전트(User-Agent) 값으로 찾습니다. GA4는 브라우저에서 실행되는 스크립트로 데이터를 모으기 때문에 서버에 들어온 봇 요청을 모두 보여 주지 않습니다.
CDN 단계에서 막힌 요청은 원본 서버 로그에 남지 않으니 CDN을 쓰는 사이트라면 그쪽 기록도 함께 봐야 합니다.
사용자 에이전트 문자열은 누구나 흉내 낼 수 있습니다.
OpenAI는 OAI-SearchBot, GPTBot, ChatGPT-User의 IP 대역을 각각 JSON 파일로 공개하고 있으니, 예시 회사처럼 GPTBot 요청이 갑자기 늘었다면 로그의 IP를 이 목록과 대조해 진짜 OpenAI 요청만 세는 것이 먼저입니다.
AI 봇 로그는 네 단계로 읽어 보세요
AI 봇 로그는 봇 분리, 응답 확인, 방문 페이지 확인, 인용 기록 대조 순서로 읽으면 방문 수에 휘둘리지 않습니다.
서버나 CDN 로그에서 사용자 에이전트로 봇을 나누고 운영사가 공개한 IP 목록과 맞지 않는 요청은 따로 표시합니다.
봇별로 응답 코드를 집계해 200 말고 403, 404, 5xx 응답이 얼마나 섞였는지 확인합니다.
봇이 요청한 URL에 서비스 소개나 가격처럼 답변에 쓰였으면 하는 페이지가 들어 있는지 봅니다.
같은 기간의 AI 답변 기록에서 출처 인용률과 질문 커버리지를 뽑아 검색용 봇의 방문 추이와 나란히 놓습니다.
4단계의 지표는 서로 다릅니다. 언급률은 브랜드명이 등장한 답변의 비율, 출처 인용률은 자사 URL이 출처로 채택된 답변의 비율, 질문 커버리지는 언급이나 인용이 한 번이라도 확인된 고유 질문의 비율입니다.
예시 회사라면 "질문 30개를 4주 동안 주 1회 측정, 답변 120개 중 자사 URL 출처 인용 9건"처럼 분모를 함께 적습니다(설명용 가상 수치).
로그 분석은 AEO(답변 엔진 최적화) 성과를 직접 보여 주지 않습니다.
로그에서 본 것 | 읽을 수 있는 것 | 이것만으로 말할 수 없는 것 |
|---|---|---|
GPTBot 요청 증가 | 학습용 수집이 늘었다 | ChatGPT 답변 인용이 늘었다 |
OAI-SearchBot 요청 증가 | 검색용 수집 대상에 들어 있다 | 실제 답변의 출처로 채택됐다 |
ChatGPT-User 요청 증가 | 사용자 질문 과정에서 페이지가 열렸다 | 답변에 회사명이 언급됐다 |
검색용 봇에 403 응답이 많음 | 보안 설정이 막고 있을 수 있다 | 운영사가 사이트를 일부러 뺐다 |
봇이 막혀 있는지는 응답 코드부터 확인합니다
검색용 AI 봇이 막혀 있는지는 robots.txt 설정과 서버·CDN의 응답 코드를 함께 봐야 알 수 있습니다. robots.txt에서 허용했더라도 방화벽이나 봇 관리 기능이 403을 돌려주면 봇은 페이지를 읽지 못합니다.
먼저 robots.txt에 OAI-SearchBot, Claude-SearchBot, PerplexityBot을 막는 Disallow 규칙이 있는지 보고, 그다음 로그에서 이 봇들의 요청이 403이나 429 응답에 몰려 있는지 확인합니다.
OpenAI 문서는 robots.txt를 바꾼 뒤 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다.
로그 수집부터 robots.txt와 서버 설정 수정까지 한 팀에 맡기고 싶다면 리드젠랩 팀 소개에서 어떤 직무가 함께 일하는지 확인해 보세요.
자주 묻는 질문
GPTBot이 자주 오면 ChatGPT가 우리 회사를 추천하나요?
GPTBot 방문 빈도로는 ChatGPT의 추천 여부를 알 수 없습니다. 추천은 답변이 우리 회사를 후보로 제시했는지 따로 분류해야 계산할 수 있으니 질문 목록부터 정해 보세요.
OAI-SearchBot이 로그에 없으면 ChatGPT 검색에 안 나오나요?
로그에 OAI-SearchBot이 없다는 것만으로 ChatGPT 검색에서 빠졌다고 단정할 수는 없습니다. CDN에서 막힌 요청은 원본 로그에 남지 않으니 CDN 기록과 실제 검색 답변을 함께 확인하세요.
로그에 찍힌 GPTBot이 진짜 OpenAI 봇인지 어떻게 아나요?
사용자 에이전트 이름만으로는 알 수 없고 IP를 대조해야 합니다. OpenAI가 공개한 봇별 IP 목록과 로그의 IP를 비교해 목록에 없는 요청은 집계에서 빼 두세요.
AI 봇 로그, 봇 종류부터 나눠서 보세요
AI 봇 로그는 학습용, 검색용, 사용자 요청용 봇을 나눠 읽어야 방문 수 증가를 인용 증가로 착각하지 않습니다.
리드젠랩은 워드프레스 설정과 스키마, Core Web Vitals를 코드 수준에서 직접 고치는 팀이라, 로그에서 찾은 403 응답이나 robots.txt 오류를 보고서로만 넘기지 않고 같은 팀 안에서 수정합니다. 자체 분석 플랫폼 SOHA로 질문별 언급과 출처 인용을 나눠 기록하고 있어 봇 방문 추이 옆에 실제 답변 데이터를 놓고 비교할 수 있습니다.
최근 한 달 치 서버나 CDN 로그와 robots.txt 주소를 보내 주시면, 봇 종류별 방문과 응답 코드를 나눠 보고 막힌 경로가 있는지 확인해 드립니다.