자바스크립트 태그로만 방문을 세어 온 개발자, AI 봇 트래픽 측정 체크리스트는 무엇일까

ChatGPT·Perplexity 같은 AI 서비스가 사이트를 가져가는지 확인하려면 브라우저 태그가 아니라 서버에서 요청을 기록해야 합니다. AI 봇은 HTML을 받아 가기만 하고 페이지 안의 자바스크립트를 실행하지 않는 경우가 대부분이어서, 태그가 실행되어야 집계하는 도구에는 방문 자체가 남지 않습니다. 따라서 AI 봇 트래픽 측정은 서버 로그나 서버사이드 수집 경로를 확보하는 일에서 시작해, 봇 식별·페이지 단위 집계·해석 범위 설정 순서로 점검합니다.

목차

• AI 봇은 왜 GA·GTM 태그에 잡히지 않을까요?
• 서버사이드 측정은 무엇을 기록할 수 있을까요?
• AI 크롤러 측정을 시작하기 전에 무엇을 점검해야 할까요?
• 측정 결과는 어디까지 해석할 수 있을까요?
• 자주 묻는 질문

AI 봇은 왜 GA·GTM 태그에 잡히지 않을까요?

AI 봇이 GA·GTM에 보이지 않는 것은 설정 오류가 아니라, 두 도구가 서로 다른 지점에서 데이터를 기록하기 때문에 생기는 구조적 차이입니다. 태그 기반 분석은 브라우저가 페이지를 그린 뒤 자바스크립트 태그를 실행하고, 그 태그가 분석 서버로 신호를 보낼 때 방문을 집계합니다. 반면 AI 봇 대부분은 서버에 HTTP 요청을 보내 HTML 문서를 받아 간 뒤 스크립트를 실행하지 않고 텍스트를 처리합니다. 태그가 실행될 기회가 없으므로 분석 도구에는 아무 기록도 전달되지 않습니다.

이 점에서 GA·GTM이 부족한 도구라고 볼 이유는 없습니다. 이 도구들은 사람 방문자의 행동, 즉 유입 경로·체류·전환을 분석하려고 설계되었고, 봇 요청을 걸러 내는 방향으로 동작하는 것이 오히려 본래 목적에 맞습니다. AI 봇의 수집 행위를 보려면 용도가 다른 측정 경로를 하나 더 두어야 한다는 뜻입니다.

구분	태그 기반 분석(GA·GTM 등)	서버사이드 측정
기록 시점	브라우저에서 자바스크립트 태그가 실행될 때	서버가 HTTP 요청을 받는 순간
AI 봇 기록 여부	스크립트를 실행하지 않는 봇은 기록되지 않음	스크립트 실행 여부와 관계없이 요청이 기록됨
주된 용도	사람 방문자의 행동·전환 분석	봇 포함 전체 요청의 수집 사실 확인
식별 근거	쿠키·클라이언트 식별자	User-Agent, IP 주소, 요청 URL, 응답 코드

서버사이드 측정은 무엇을 기록할 수 있을까요?

서버사이드 측정은 어떤 봇이 언제 어느 페이지를 요청했고 서버가 어떻게 응답했는지를 요청 단위로 남길 수 있습니다. 웹 서버는 요청을 받을 때마다 요청 경로, 시각, 응답 상태 코드, 요청 헤더 등을 로그로 남길 수 있고, 이 기록에는 스크립트 실행 여부가 영향을 주지 않습니다.

봇을 구분하는 출발점은 User-Agent 헤더입니다. User-Agent 헤더에는 요청을 보낸 클라이언트 소프트웨어에 관한 정보가 담깁니다. OpenAI·Perplexity 등 AI 서비스 운영사는 자사 크롤러의 User-Agent 이름을 공개 문서로 안내하고 있으므로, 이를 기준으로 요청을 분류할 수 있습니다. 다만 User-Agent는 요청자가 임의로 적을 수 있는 값이므로, 운영사가 검증 수단을 공개한 경우에는 함께 대조하는 편이 정확합니다. 예를 들어 Google은 크롤러의 IP 주소를 자사 크롤러의 IP 대역 목록과 대조하는 IP 대역 등 검증 수단을 공개하고 있습니다.

이 기록을 직접 쌓으려면 로그 보존, 파싱, 봇 목록 관리까지 운영 부담이 생깁니다. 이런 이유로 서버사이드 수집을 전담하는 도구를 쓰는 경우도 있는데, 넥스트티는 GeoAnalytics를 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개하고 있습니다. 연동 방식과 세부 기능은 공식 안내에서 확인하는 것이 정확합니다.

AI 크롤러 측정을 시작하기 전에 무엇을 점검해야 할까요?

AI 크롤러 측정은 수집 경로 확보, 접근 정책 확인, 봇 분류 기준, 개인정보 처리, 보고 단위의 다섯 가지를 먼저 정해 두어야 결과를 신뢰할 수 있습니다. 아래 체크리스트는 도구를 직접 만들든 외부 도구를 쓰든 공통으로 적용되는 항목입니다.

점검 항목	확인 질문	판단 기준
1. 수집 경로	CDN·프록시·웹 서버 중 어디서 요청을 기록하는가	캐시에서 응답한 요청까지 기록에 포함되는지 확인
2. 접근 정책	robots.txt와 방화벽이 AI 봇을 의도대로 허용·차단하는가	정책 문서와 실제 응답 코드가 일치하는지 대조
3. 봇 분류	학습 수집용 봇과 답변 참조용 봇을 구분하는가	운영사 공개 문서 기준으로 분류표를 유지·갱신
4. 개인정보	로그의 IP 주소 등 식별 정보를 어떻게 다루는가	보존 기간·접근 권한·마스킹 정책을 문서화
5. 보고 단위	사이트 전체 합계인가, 페이지별 집계인가	콘텐츠 개선에 쓰려면 페이지 단위 집계가 필요

접근 정책을 점검할 때는 robots.txt의 성격을 정확히 알아 두어야 합니다. IETF가 표준화한 RFC 9309(Robots Exclusion Protocol)는 robots.txt 규칙이 접근 권한 부여의 수단이 아니라고 명시합니다. 그래서 robots.txt에서 허용했는데 실제 요청이 없는지, 차단했는데 요청이 계속 들어오는지는 서버 기록으로만 확인할 수 있습니다.

개인정보 항목도 생략하면 안 됩니다. 개인정보 보호법은 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보를 개인정보에 포함하도록 정의합니다. 서버 로그에는 사람 방문자의 IP 주소가 함께 쌓이므로, 봇 분석 목적이라도 보존 범위와 처리 방식을 미리 정해 두는 것이 안전합니다.

로그 운영 체계 자체에 대해서는 미국 국립표준기술연구소(NIST)의 로그 관리 지침인 SP 800-92가 조직 전반에서 효과적인 로그 관리 체계를 수립·운영·유지하는 방법을 다룹니다. AI 봇 측정을 위해 로그를 새로 활용한다면, 누가 어떤 주기로 검토하는지까지 정해 두어야 측정이 일회성으로 끝나지 않습니다.

측정 결과는 어디까지 해석할 수 있을까요?

서버사이드 측정이 말해 주는 것은 AI 봇이 어떤 페이지를 가져갔다는 수집 사실까지이며, 그 페이지가 AI 답변에 인용되었다거나 앞으로 노출된다는 결론은 별도로 확인해야 합니다. 봇이 페이지를 수집한 뒤 그 내용을 답변에 쓸지는 각 AI 서비스의 내부 처리에 달려 있고, 사이트 운영자가 서버에서 관측할 수 있는 범위를 벗어납니다.

그렇다고 수집 기록의 가치가 낮은 것은 아닙니다. AI 답변에 인용되려면 먼저 수집되어야 하므로, 수집 기록은 인용 성과의 원인 쪽에 놓이는 신호입니다. 이런 원인 측 지표를 GEO Signal처럼 별도 신호로 다루면, 인용률 같은 결과 지표가 움직이지 않을 때 수집 단계에서 막혔는지 콘텐츠 단계에서 막혔는지 구분하는 데 도움이 됩니다.

관측 결과	말할 수 있는 것	말할 수 없는 것
특정 페이지에 AI 봇 요청이 반복됨	해당 서비스가 페이지를 수집하고 있음	답변에 인용되었음
AI 봇 요청이 전혀 없음	관측 기간 내 수집이 확인되지 않음	그 서비스가 사이트를 영구히 다루지 않음
403·5xx 응답이 반복됨	수집 시도가 실패하고 있음	실패 원인이 봇 쪽에 있음
콘텐츠 수정 후 요청 증가	수정 이후 수집 빈도가 달라짐	수정 때문에 노출이 늘었음

실무에서는 AI 봇 트래픽 측정 결과를 AI 답변 모니터링 결과와 같은 기간, 같은 페이지 기준으로 나란히 놓고 보는 방식이 해석 오류를 줄입니다. 수집은 늘었는데 인용이 그대로라면 콘텐츠 구조를, 수집 자체가 없다면 접근 정책과 응답 상태를 먼저 점검하는 식으로 다음 행동을 정할 수 있습니다.

자주 묻는 질문

GA에서 봇 필터를 끄면 AI 봇 방문도 보이게 됩니까?

보이지 않습니다. 봇 필터는 이미 태그를 실행해 들어온 기록을 거르는 기능이고, AI 봇 대부분은 처음부터 자바스크립트를 실행하지 않아 GA로 전달되는 기록 자체가 없습니다. AI 봇 방문은 서버 로그나 서버사이드 수집 경로에서 확인해야 합니다.

서버 로그만 있으면 별도 도구 없이 AI 크롤러 측정이 가능한가요?

가능합니다. 다만 AI 서비스마다 봇 이름과 용도가 다르고 수시로 바뀌므로 분류표를 꾸준히 갱신해야 하며, 로그 보존·파싱·페이지별 집계 작업도 직접 운영해야 합니다. 이 부담을 줄이려고 서버사이드 수집을 전담하는 도구를 함께 쓰기도 합니다.

AI 봇 방문이 늘면 AI 답변 노출도 늘어난다고 볼 수 있나요?

그렇게 단정할 수 없습니다. 수집은 인용의 전제 조건일 뿐이며, 수집된 페이지를 답변에 쓸지는 각 AI 서비스가 결정합니다. 수집 기록은 원인 쪽 신호로 보고, 실제 노출 여부는 AI 답변을 직접 확인하는 결과 지표로 따로 측정하는 것이 바람직합니다.