AI 해킹 우려에 AI 크롤러 차단? 금융사 robots.txt 판단 기준

먼저 보는 세 줄

• AI 해킹 우려 때문에 AI 크롤러를 일괄 차단하면 공격은 막지 못하고 공식 상품 안내와 공지만 AI 답변 출처에서 빠질 수 있습니다.

• robots.txt는 규칙을 지키는 크롤러에게 보내는 안내문이라서 금융사 보안 장치로 쓸 수 없고, 로그인·조회 화면은 인증과 접근 통제로 보호해야 합니다.

• 금융사는 공개 정보 페이지와 기능 화면을 나눈 뒤 GPTBot, OAI-SearchBot, Googlebot 같은 크롤러별로 허용 범위를 따로 정하는 편이 안전합니다.

은행 연쇄 해킹 공격 서버에서 AI 침투 테스트 도구 흔적이 나왔다는 보도가 나온 뒤, 금융사 보안 회의에서 "AI 봇은 일단 다 막자"는 말이 나오는 건 자연스러운 반응일 겁니다.

금융위원회도 10월 4일 서비스에 꼭 필요하지 않은 외부 접근은 막고 노출 자산을 다시 점검하라고 지시했습니다. 웹 방화벽(WAF) 설정 화면에서 '봇 차단'을 켜기 직전이라면, 그 스위치가 무엇까지 막는지 먼저 확인해 보세요.

아래에서는 가상의 저축은행 A가 홈페이지에 봇 일괄 차단 규칙을 걸려는 상황을 예시로 들어 판단 순서를 정리했습니다. 저축은행 A는 설명을 위한 가상의 회사입니다.

아르텍스 AI 해킹, 금융권에서 확인된 것과 아직 모르는 것

이번 금융권 AI 해킹에서 확인된 것은 공격에 쓰인 서버에서 AI 침투 테스트 도구의 흔적이 나왔다는 보도까지이고, AI가 공격 전 과정을 스스로 수행했는지는 확인되지 않았습니다.

주간경향 보도에 따르면 아르텍스(ARTEX)는 깃허브에 공개된 LLM 기반 자율형 침투 테스트 시스템입니다. 같은 기사에서 보안업계는 이번 공격을 크리덴셜 스터핑 같은 기존 수법을 자동화하고 규모를 키운 사례로 분석했습니다.

뚫린 곳도 공개 정보 페이지가 아니었습니다. 신한은행 대출모집인용 서비스, KB국민은행 직원용 모바일 업무 시스템, 하나은행 영업지원 시스템처럼 인증이 필요한 기능 화면이었습니다.

뉴스핌 보도에 따르면 금융위원장은 10월 4일 서비스에 꼭 필요하지 않은 외부 접근을 차단하고 노출 자산을 다시 점검해 보고하라고 지시했습니다. 이 지시의 대상은 외부에 열린 전산 자산이고, 검색엔진이나 AI 검색이 읽어 가는 공개 안내 페이지를 막으라는 내용은 기사에 없습니다.

AI 크롤러를 허용하면 해킹 위험이 커지나요?

공개 정보 페이지에 AI 크롤러를 허용하는 것만으로 로그인이나 조회 기능을 뚫는 경로가 새로 생기지는 않습니다.

GPTBot이나 OAI-SearchBot 같은 크롤러는 공개된 페이지를 읽어 가는 프로그램입니다. 반대로 공격 도구는 처음부터 규칙을 지킬 이유가 없으므로 크롤러 허용 여부와 상관없이 접근을 시도합니다.

Google의 robots.txt 안내는 robots.txt 지시를 따를지는 크롤러에 달려 있고, 다른 크롤러는 따르지 않을 수도 있다고 설명합니다. 정보를 크롤러로부터 보호하려면 서버의 파일을 비밀번호로 보호하는 등 다른 방법을 쓰라고도 적고 있습니다.

💡 robots.txt에 숨길 경로를 적어 두면 안전한가요? robots.txt는 누구나 열어 볼 수 있는 파일이라 숨기고 싶은 관리자·조회 경로를 적으면 그 경로를 오히려 알려 주는 셈이 됩니다. 보호가 필요한 화면은 인증과 접근 통제로 막아야 합니다.

GPTBot·OAI-SearchBot·Googlebot과 공격 도구는 이렇게 다릅니다

AI 크롤러는 용도마다 이름이 다르기 때문에, 이름별로 무엇을 하고 막으면 무엇이 사라지는지 확인한 뒤에 정책을 정해야 합니다.

OpenAI 크롤러 안내에 따르면 OAI-SearchBot은 ChatGPT 검색 기능에 웹사이트를 보여 주는 데 쓰이고, 막으면 ChatGPT 검색 답변에 사이트가 표시되지 않습니다. GPTBot은 모델 학습에 쓰일 수 있는 콘텐츠를 수집하며, 두 설정은 서로 독립적입니다.

OpenAI는 각 크롤러의 IP 목록을 JSON 파일로 공개하고 있습니다. 구글도 크롤러 확인 방법을 공식 문서로 안내하는데, 접속 IP를 역방향 DNS로 조회해 googlebot.com, google.com, googleusercontent.com 도메인인지 보고 다시 정방향으로 조회해 원래 IP와 같은지 확인하는 방식입니다.

이름만 보고 판단하면 안 되는 이유가 여기에 있습니다. 공격 트래픽이 크롤러 이름을 흉내 낼 수 있으니, 허용 정책은 검증된 IP와 DNS를 기준으로 걸어야 합니다.

금융사 홈페이지 가운데 어떤 영역을 공개로 두고 어떤 영역을 막을지부터 정리하고 싶다면 리드젠랩 GEO·AEO 서비스 구성에서 구조 진단 범위를 확인해 보세요.

외부 접근 차단 지시 이후, 공개 페이지와 기능 화면을 나누는 4단계

금융사가 AI 크롤러 정책을 정할 때는 크롤러 이름보다 홈페이지 영역 구분을 먼저 해야 합니다.

1. 영역을 나눕니다. 상품 안내, 금리·수수료 공시, 공지, FAQ 같은 공개 정보 영역과 로그인, 대출 조회, 직원·협력사용 화면 같은 기능 영역을 URL 단위로 목록에 올립니다.

2. 공개 영역은 검색·AI 검색 크롤러를 허용합니다. Googlebot과 OAI-SearchBot처럼 검색 노출에 쓰이는 크롤러는 공개 정보 영역에서 열어 두고, 학습용 GPTBot 허용 여부는 회사 정책에 따라 따로 정합니다.

3. 기능 영역은 인증과 접근 통제로 막습니다. 로그인 없이 조회되는 화면이 없는지, 협력사용 화면에 다중요소인증이 걸려 있는지 확인하고 요청량 제한을 둡니다. robots.txt는 이 단계의 보호 수단이 아닙니다.

4. 크롤러를 검증하고 기록합니다. 구글의 역방향 DNS 확인이나 OpenAI가 공개한 IP 목록으로 진짜 크롤러만 허용 목록에 넣고, 정책을 바꾼 날짜를 남겨 둡니다.

저축은행 A라면 WAF의 봇 일괄 차단 규칙을 공개 정보 영역에는 적용하지 않고, 대출 조회와 로그인 영역에 요청량 제한과 인증 강화를 거는 쪽으로 정리할 수 있습니다.

robots.txt 바꾼 뒤 AI 답변 출처에서 빠졌는지 확인하세요

크롤러 정책을 바꿨다면 그 뒤 AI 답변에서 자사 페이지가 출처로 계속 인용되는지 질문 단위로 기록해 두어야 합니다.

리드젠랩이 2026년 10월 20일 SOHA로 은행 해킹 관련 비브랜드 질문 12개를 5개 AI 엔진에 3회씩 물어 얻은 응답 180개 가운데, 금융사 자사 도메인이 출처에 들어간 응답은 31개였습니다. 사고 직후처럼 고객 질문이 몰릴 때 공식 페이지가 출처에서 빠지면 그 자리는 언론, 블로그, 정부기관 페이지가 채웁니다.

정책 변경 전에 자주 묻는 질문 10~20개를 정해 언급률과 출처 인용률을 기록하고, 변경 뒤 같은 질문으로 다시 비교해 보세요. 언급률은 답변에 회사 이름이 나온 비율이고 출처 인용률은 자사 URL이 출처로 채택된 비율이라 둘을 따로 봐야 합니다. AEO(답변 엔진 최적화) 성과를 보고할 때도 두 숫자를 합치지 않습니다.

정책 변경 전후로 어떤 지표를 재고 어떤 순서로 점검하는지는 AVO 6단계 프레임워크에서 볼 수 있습니다.

자주 묻는 질문

금융사 홈페이지에서 GPTBot을 막아야 하나요?

GPTBot 차단은 학습 수집을 거부하는 선택이고, ChatGPT 검색 노출은 OAI-SearchBot 설정으로 따로 정해집니다. 학습 사용을 원하지 않으면 GPTBot만 막고, ChatGPT 검색 노출이 필요하다면 OAI-SearchBot은 공개 정보 영역에서 허용해 두세요.

AI 크롤러를 모두 막으면 AI 해킹을 막을 수 있나요?

AI 크롤러를 모두 막아도 AI 해킹을 막는 효과는 기대하기 어렵습니다. 공격 도구는 robots.txt를 따르지 않으므로, 기능 화면의 인증 강화와 접근 통제, 요청량 제한이 실제 대응 수단입니다.

WAF 봇 차단을 켰더니 검색 유입이 줄었어요. 어디부터 보나요?

WAF가 Googlebot이나 OAI-SearchBot까지 막고 있는지부터 확인하세요. 서버 로그에서 해당 크롤러 요청이 차단 응답을 받았는지 보고, 공개 정보 영역에는 검증된 크롤러 예외 규칙을 넣으면 됩니다.

ChatGPT-User가 robots.txt를 무시하면 위험한가요?

ChatGPT-User는 사용자가 ChatGPT에서 특정 페이지를 열어 달라고 요청할 때 방문하는 에이전트라 사람이 브라우저로 방문하는 것과 성격이 비슷합니다. 이 경우에도 보호가 필요한 화면은 로그인과 접근 통제가 막아야 하므로, robots.txt 준수 여부보다 인증 설정을 먼저 점검하세요.

AI 크롤러 정책, 보안팀과 마케팅팀이 함께 정하세요

AI 크롤러 차단은 해킹을 막는 장치로 쓸 수 없고, 잘못 걸면 공식 정보가 AI 답변에서 사라집니다. 공개 정보 영역은 검증된 크롤러에 열고 기능 화면은 인증으로 막는 식으로 영역부터 나누세요.

리드젠랩은 금융사 홈페이지의 공개 영역 구조와 robots.txt, 스키마를 코드 단계에서 직접 다루기 때문에 보안팀이 정한 접근 정책 안에서 크롤러 예외 규칙과 페이지 구조를 함께 정리할 수 있습니다. 직접 개발해 운영하는 SOHA로 정책 변경 전후에 같은 질문을 다시 돌려, 자사 페이지가 AI 답변 출처로 남아 있는지 질문별로 확인합니다.

봇 차단 규칙을 바꾸기 전이라면 지금 robots.txt와 공개 페이지 목록을 보내 주세요. 어떤 크롤러를 어느 영역에 열어 둘지, 변경 뒤 무엇을 측정할지 함께 정리해 드립니다.

• 리드젠랩에 AI 크롤러 정책 점검 문의하기

• SOHA로 우리 사이트가 AI 답변 출처에 남아 있는지 확인하기

함께 보면 좋은 글

• AI가 읽기 좋은 웹사이트 구조 체크리스트 17

• AI 검색 노출 하락 진단과 리커버리

• AI가 병원 글은 인용하는데 병원 이름은 말하지 않는 이유