GEO A/B 테스트, AI 유입이 늘어도 구글 유입은 줄 수 있다

실험 전에 알아 둘 세 가지

• GEO A/B 테스트는 AI 유입이 늘었는지와 구글 유입이 줄지 않았는지를 같은 기간에 함께 봐야 결과를 믿을 수 있습니다.

• SearchPilot이 공개한 Omio 실험에서는 AI 유입에 도움이 된 변경이 구글 유기적 세션을 6.5% 줄였을 가능성이 나타나 그 변경을 적용하지 않았습니다.

• 그래서 실험을 시작하기 전에 판정용 지표 하나와 적용을 멈출 손실 기준을 먼저 적어 두는 것이 안전합니다.

AI 검색 대응을 위해 페이지 상단에 요약을 넣자는 제안을 받았는데, 이게 구글 순위에는 어떤 영향을 줄지 묻는 담당자가 많습니다. 대행사 보고서에 AI 유입이 늘었다는 그래프만 있고 구글 유입 그래프는 빠져 있다면 더 불안해지죠.

GEO와 AEO(답변 엔진 최적화) 작업도 페이지를 바꾸는 일이라, 바꾼 결과가 채널마다 다르게 나올 수 있습니다. 한쪽 숫자만 보고 전체 페이지에 적용하면 늘어난 AI 유입보다 줄어든 구글 유입이 더 클 수도 있습니다.

아래에서는 도시별 안내 페이지 600개를 운영하는 렌터카 예약 사이트가 페이지 상단에 요금 비교 요약을 넣으려는 상황을 예시로 듭니다. 특정 회사가 아닌 설명용 가상 예시입니다.

GEO 효과는 어떻게 실험하나요?

GEO 효과는 비슷한 페이지를 두 묶음으로 나눠 한쪽만 바꾸고, AI 유입과 구글 유입을 같은 기간에 함께 비교하는 방식으로 실험합니다.

SearchPilot은 비슷한 페이지 수천 개를 통계적으로 비슷한 대조군과 변경군으로 나누고, LLM 추천 유입과 검색 유입을 함께 측정하는 방식을 GEO A/B 테스트 사례에서 설명합니다. 같은 기간에 두 묶음을 비교하기 때문에 계절이나 알고리즘 업데이트처럼 모든 페이지에 똑같이 닥치는 변화를 어느 정도 걸러 낼 수 있습니다.

예시 사이트라면 도시 페이지 600개 가운데 300개에만 요금 비교 요약을 넣고, 나머지 300개는 그대로 둡니다.

GEO를 하면 구글 유입이 줄 수도 있나요?

줄 수 있습니다. SearchPilot이 공개한 Omio 실험에서 AI 유입에 도움이 된 변경 하나는 구글 유기적 세션을 줄였을 가능성이 나타나 적용을 멈췄습니다.

여행 예약 서비스 Omio의 페이지로 두 가지를 실험했고, 결과는 아래와 같았습니다.

두 번째 실험을 멈춘 이유는 구글 유기적 검색이 Omio의 가장 큰 유입원이었기 때문입니다. 원문은 감소 원인으로 내용 중복이나 AI 개요 노출 증가 같은 가능성을 들었지만 확정하지는 않았습니다.

이 사례는 SearchPilot의 고객 사례이고 실험 기간, 지역, 표본 수, 신뢰 수준은 공개되지 않았습니다. 18%와 6.5%를 다른 사이트에서 기대할 수 있는 효과로 읽지 말고, 같은 변경이 채널마다 반대로 움직일 수 있다는 근거로만 쓰는 편이 맞습니다.

예시 사이트가 넣으려는 요금 비교 요약도 두 번째 실험과 성격이 비슷합니다. 실험 없이 600개 페이지에 한 번에 넣었다면 구글 유입이 줄었는지 확인할 방법이 없었을 겁니다.

GEO A/B 테스트 지표는 역할을 나눠 정합니다

GEO A/B 테스트 지표는 승패를 정하는 주 지표 하나, 손실을 막는 지표, 방향만 보는 지표로 역할을 나눠 미리 정해 둡니다.

SearchPilot의 Will Critchlow는 2026년 9월 18일 보조 지표에 관한 글에서 모든 SEO 실험에는 주 지표가 하나만 있어야 한다고 썼습니다. 노출처럼 빨리 움직이는 지표는 해석에 쓰고 판정에는 쓰지 말며, LLM 유입처럼 양이 적은 지표는 주 지표와 함께 읽으라고 권합니다.

AI 유입은 아직 양이 적어 주 지표로 두면 결론이 나지 않는 경우가 많습니다.

측정과 페이지 수정을 어떤 순서로 묶어 진행하는지는 리드젠랩 AVO 6단계 프레임워크에서 확인해 보세요.

실험 전에 적용 중단 기준부터 적어 두세요

적용 중단 기준은 실험을 시작하기 전에 문서로 남겨야, 결과를 본 뒤 기준을 바꾸는 일을 막을 수 있습니다.

1. 바꿀 것을 하나로 정합니다. 예시 사이트라면 요금 비교 요약 추가 하나만 바꾸고 제목이나 이미지는 그대로 둡니다.

2. 지표의 역할을 적습니다. 주 지표, 손실 방지 지표, 방향 지표를 위 표처럼 나눠 실험 문서 첫 줄에 기록합니다.

3. 판정 규칙을 미리 씁니다. 주 지표가 오르고 손실 방지 지표가 유의하게 떨어지지 않으면 적용, 유의하게 떨어지면 수정안을 다시 만든다는 식으로 정합니다.

4. 구글 지침에 맞게 실험을 세팅합니다. 검색 로봇과 사람에게 다른 내용을 보여 주지 않고, 실험이 끝나면 실험용 요소를 바로 걷어 냅니다.

4번은 구글이 A/B 테스트 권장 사항(2025년 12월 10일 갱신)에서 직접 적어 둔 내용입니다. 별도 URL로 시험안을 띄운다면 noindex 대신 rel=canonical로 원래 URL을 가리키고, 리디렉션이 필요하면 301이 아닌 302를 쓰라고 안내합니다. AI 봇에게만 다른 버전을 보여 주는 방식도 같은 이유로 실험 설계에서 빼 두세요.

💡 AI 유입이 늘었는데 구글 유입이 조금 줄었다면 적용해도 될까요? 미리 정한 손실 방지 기준 안이라면 적용할 수 있고, 기준을 넘었다면 수정안을 만들어 다시 실험합니다. 결과를 본 뒤 기준을 낮추는 것은 피하세요.

페이지가 적은 사이트는 전후 비교와 대조 페이지로 확인합니다

같은 유형의 페이지가 수십 개뿐이라 두 묶음으로 나누기 어렵다면, 바꾼 페이지와 바꾸지 않은 페이지를 같은 기간 나란히 놓고 전후를 비교하는 방법으로 대신합니다.

분할 실험은 비슷한 페이지가 많아야 통계적으로 의미 있는 차이를 볼 수 있습니다.

전후 비교만 했다면 "요약을 넣은 뒤 AI 유입이 늘었다"처럼 시점 관계로 쓰고, 요약 때문에 늘었다고 단정하지 마세요. 같은 기간 구글 업데이트나 광고 집행이 있었다면 보고서에 한 줄로 남겨 두는 것이 좋습니다.

페이지 규모에 맞는 측정 방식을 정하고 실행하는 범위는 리드젠랩 GEO 서비스 안내에서 볼 수 있습니다.

자주 묻는 질문

GEO를 하면 SEO가 나빠질 수 있나요?

GEO용 변경이 SEO 성과를 떨어뜨릴 수 있다는 사례가 공개돼 있습니다. 다만 모든 GEO 작업이 그렇다는 뜻은 아니므로, 변경을 넓게 적용하기 전에 일부 페이지에서 구글 유입을 손실 방지 지표로 두고 먼저 확인해 보세요.

GEO 실험 지표로 AI 유입만 보면 안 되나요?

AI 유입만 보면 구글 유입이 줄어든 것을 놓칠 수 있어 부족합니다. AI 유입은 양이 적어 결론이 잘 나지 않으니, 승패는 전체 유기적 세션으로 정하고 AI 유입은 방향을 보는 지표로 두는 편이 안정적입니다.

GEO A/B 테스트는 얼마나 오래 돌려야 하나요?

실험 기간은 페이지 유입량에 따라 달라서 정해진 기간은 없습니다. 미리 정한 주 지표에서 차이가 나왔는지로 끝낼 시점을 정하고, 구글 권장 사항대로 실험이 끝나면 실험용 요소를 바로 걷어 내세요.

GEO A/B 테스트, 중단 기준부터 정하고 시작하세요

GEO A/B 테스트는 AI 유입과 구글 유입을 같은 기간에 함께 보고, 어디까지 손실이면 적용하지 않을지 시작 전에 정해 두는 것으로 결과를 믿을 수 있게 됩니다.

리드젠랩은 AI 답변 측정 플랫폼 SOHA를 직접 개발해 운영하기 때문에, 실험 전후에 같은 질문 세트로 답변 속 언급과 출처 인용을 따로 기록하는 일을 실험 일정에 맞춰 조정할 수 있습니다. 대표 포함 15인 팀 안에 데이터와 기술 직무가 함께 있어서, 지표 설계와 페이지 수정, 결과 해석을 한 팀에서 이어서 맡습니다.

바꾸려는 페이지 유형과 대략적인 페이지 수를 알려 주시면 분할 실험이 가능한지, 어떤 지표를 주 지표와 손실 방지 지표로 둘지 정리한 실험 설계안을 드립니다.

• 리드젠랩에 GEO 실험 설계 상담하기

• SOHA로 실험 전 AI 답변 기준값 측정하기

함께 보면 좋은 글

• Search Console 생성형 AI 실적 읽는 법, 3개월 250% 데이터 공개

• 노출은 늘고 클릭은 줄 때, 제로클릭 구간 성과 증명법

• 척추병원 GEO 사례, AI 질문 88개 중 26개에서 70개로 늘린 석 달