AI 크롤러, 차단할 것인가 허용할 것인가 – SEO 전문가가 알려주는 사이트 운영 전략
최근 웹사이트 운영자와 디지털 마케팅 종사자 사이에서 중요한 논의가 이어지고 있습니다. AI 시대를 맞아 ‘어떤 봇(bot)을 허용하고, 어떤 것은 차단할 것인가’가 검색 노출과 자원 활용 효율에 직접적인 영향을 미치고 있기 때문입니다. 호스팅 서비스 업체 Hostinger가 66억 건의 웹페이지 요청을 분석한 결과, AI 크롤러의 유형에 따라 웹사이트 접근 허용률이 극명하게 갈린 것으로 나타났습니다. 이 글에서는 콘텐츠 운영자와 마케터가 실질적으로 참고할 수 있는 데이터 기반 인사이트를 정리하고, 대응 전략을 제시합니다.
1. 모델 학습용 AI 크롤러, 대부분 차단 추세
GPT와 같은 대형 언어 모델(LLM)의 성능 향상에 활용되는 GPTBot(오픈AI), ExternalAgent(메타)의 웹사이트 접근률은 짧은 시간 안에 급락했습니다. 예를 들어 GPTBot은 분석 초기 84%의 웹사이트에 접근이 가능했으나, 이후 12%로 급감했습니다.
이는 블로그, 언론사뿐 아니라 일반 기업 사이트들까지 자발적으로 AI 학습용 크롤러를 robots.txt 등을 통해 차단하고 있다는 것을 보여줍니다. 특히 뉴스 콘텐츠 제공자 입장에선 콘텐츠를 가져가기만 하고 트래픽을 유입시키지 않는 훈련용 크롤러에 반발하는 경향이 강해졌습니다. 이로 인해 GPTBot은 클라우드플레어 기준으로 ‘가장 많이 차단된 봇’ 목록에 이름을 올리기도 했습니다.
2. AI 어시스턴트용 크롤러는 허용 확대 중
반면 ChatGPT 검색 기능에 활용되는 OpenAI의 OAI-SearchBot이나 애플, 틱톡의 어시스턴트용 크롤러는 점차 웹사이트 접근을 넓히고 있습니다. OAI-SearchBot의 평균 커버리지는 55.67%, TikTok은 25.67%, Applebot은 24.33%를 기록했습니다.
이들 봇은 사용자의 특정 질문에 응답하기 위해 콘텐츠를 검색하는 방식으로 작동하며, 이는 사용자의 의도와 직결된 검색 결과로 이어질 수 있어 사이트 측 입장에서도 일정 수준의 수용 가치를 지님을 의미합니다. 즉, 검색 질의에 노출되기를 원하는 운영자라면 이들 봇을 허용하는 것이 방문자 유입에 도움이 됩니다.
3. 전통 검색 크롤러는 안정세 유지
구글(Googlebot), 빙(Bingbot) 등 기존 검색엔진의 크롤러는 상대적으로 안정적인 수준을 유지했습니다. Googlebot은 72%로 가장 높은 접근률을 기록했으며, Bingbot도 57.67% 수준을 유지했습니다. 이러한 봇은 대부분의 콘텐츠 운영자에게 여전히 가장 중요한 유입 경로 중 하나로 여겨지고 있기 때문에 차단 비중이 적습니다.
4. SEO 및 마케팅 툴 크롤러는 점차 감소세
Ahrefs, Semrush, Moz와 같은 SEO 툴에 포함된 크롤러는 평균 커버리지가 줄어들고 있습니다. 이들은 주로 SEO 분석 목적의 무거운 크롤링을 수행하기 때문에, 트래픽 부담 문제로 많은 사이트에서 차단 대상이 되고 있습니다. 특히 GPTBot이 한 달간 5억 건 이상의 요청을 보낸 것으로 보고된 사례처럼, 리소스 소모 이슈는 실제로 콘텐츠 서비스 유지에 큰 부담이 될 수 있습니다.
5. 허용과 차단, 이제는 전략이 필요하다
Hostinger는 이러한 데이터 흐름을 바탕으로 AI 크롤러에 대한 ‘전략적 분류 대응’을 권고합니다. 단순히 모두 차단하거나 모두 허용하는 방식이 아니라, ‘콘텐츠를 사용해 검색 결과에 노출시켜줄 어시스턴트용 크롤러’는 허용하고, ‘학습만 하고 이득 환원이 없는 훈련용 크롤러’는 차단하는 방식으로 설정하는 전략이 필요합니다.
특히 콘텐츠 마케팅 측면에서 AI 검색 결과에 자신의 콘텐츠가 노출되길 원한다면 OpenAI의 OAI-SearchBot만 특별히 허용하고 GPTBot은 차단하는 방식으로 robots.txt를 설정하는 것을 검토해야 합니다.
요약 및 실행 가이드
- AI 크롤러는 목적에 따라 구분되어야 합니다. 검색 기반 도움을 주는 봇은 허용, 학습 목적인 봇은 제한하는 것이 최신 트렌드입니다.
- robots.txt 설정을 철저히 관리하십시오. OpenAI는 각 봇별로 정확한 이름과 작동 방식을 공개하고 있으므로, 의도에 맞게 선별적 설정이 가능합니다.
- 서버 로그를 수시로 모니터링하십시오. 어떤 봇이 웹사이트에 영향을 주고 있는지 확인해야 전략 수립이 가능합니다.
- 리소스 이슈가 우려된다면 CDN 기반의 제한도 고려해보십시오.
AI 검색 시대에 콘텐츠가 자연스럽게 노출되기 위해서는 봇 접근 관리 또한 하나의 ‘검색 최적화 전략’으로 받아들여야 합니다. 단순 크롤링 차단은 브랜드의 AI 존재감까지 원천차단할 수 있음을 기억해야 합니다.
