AI 봇 탐지는 웹 요청이 인공지능 crawler 또는 자동화된 bot에 의해 전송된 것인지 기술 신호를 통해 판단하는 과정입니다. 이커머스 사이트에서 GPTBot, OAI-SearchBot 또는 다른 crawler의 요청이 서버 로그에 보이기 시작하면 핵심 문제는 bot을 식별하는 데만 있지 않습니다. IP 주소, 사용자 에이전트, 요청된 URL, 시간 정보도 통제 없이 보관될 수 있기 때문입니다.
짧게 말하면, AI bot 로그를 원본 IP와 불필요한 URL 파라미터까지 포함해 무기한 보관하지 마세요. 원본에 가까운 지점에서 IP를 최소한 IPv4는 /24, IPv6는 /64 수준으로 마스킹하고, bot 분류 신호는 별도 필드에 보관하며, 30일 예시 보관 정책을 목적, 접근, 삭제 기록과 함께 운영하세요. KVKK 관점에서 30일이 모든 사업자에게 자동 의무는 아닙니다. 기간은 정해진 목적과 필요한 보관 필요성에 따라 근거를 갖춰야 합니다.
AI bot 탐지 후 어떤 로그 필드를 보관해야 하나요?
bot 트래픽 분석에 꼭 필요한 필드만 보관하세요. UTC 타임스탬프, 정규화된 요청 경로, HTTP 상태 코드, 요청 메서드, 응답 크기, 사용자 에이전트, bot 분류 결과가 대상입니다. 원본 IP, 전체 쿼리 문자열, 쿠키, Authorization 헤더, 개인정보가 포함될 수 있는 referrer 필드는 기본값으로 로그에 남기지 마세요.
어떤 bot 요청이 특정 인공지능 회사의 것인지 User-Agent만으로 단정하는 것은 옳지 않습니다. User-Agent는 위조될 수 있으므로, IP 대역, reverse DNS, 요청 행태, 발행자가 문서화한 crawler 정보까지 함께 살펴야 합니다. 결과를 ai_crawler_candidate, verified_crawler, unknown_bot 같은 분류 필드에 저장하면, 확정 주장 대신 증거 수준을 드러낼 수 있습니다.
IP 마스킹은 KVKK 측면에서 무엇을 해주나요?
IP 마스킹은 직접 식별 가능성을 낮춰 줍니다. 다만 그것만으로 익명화가 보장되지는 않습니다. 마스킹된 IP가 시간, 사용자 에이전트, 다른 시스템의 정보와 결합되어 개인을 다시 특정할 수 있다면, 해당 데이터는 여전히 개인정보 범주에 들어갈 수 있습니다.
실무적으로는 IPv4 주소의 마지막 옥텟을 제거해 192.0.2.0/24로, IPv6 주소는 /64 네트워크 프리픽스로 저장하는 방식이 출발점이 될 수 있습니다. 예를 들어 192.0.2.123은 192.0.2.0/24로 기록됩니다. 하지만 이 수준이 모든 시스템에서 자동 익명화를 의미하는 것은 아닙니다. 작은 기관 네트워크, 적은 수의 방문자, 정교한 시간 정보 때문에 재식별이 가능할 수 있습니다.
원본 IP에 대해 고정된 SHA-256 해시를 만드는 것도 자동 익명화가 아닙니다. IP 범위가 제한적이고 예측 가능하므로 사전 공격이 가능합니다. bot을 같은 소스 네트워크 안에서 연계해야 한다면, 마스킹된 값에 비밀 키를 적용한 HMAC-SHA-256을 사용하세요. 그러면 키 없이는 쉽게 매칭할 수 없습니다. 그래도 이 방식은 일반적으로 익명화가 아니라 가명처리로 보아야 합니다.
30일 로그 보관 기간은 어떻게 적용하나요?
30일 기간은 로그가 생성된 UTC 시점부터 계산하고, 기간이 지나면 자동 삭제 또는 되돌릴 수 없는 익명화 처리를 실행하세요. 이 기간은 사건 조사, bot 악용, 보안 모니터링 필요성을 근거로 설정해야 하며, 단순히 “업계 표준”이라는 이유만으로 정하면 안 됩니다.
KVKK는 모든 AI crawler 로그에 대해 보편적인 30일 기간을 정하지 않습니다. 데이터 컨트롤러는 처리 목적, 법적 근거, 비례성, 정보주체 위험, 그리고 다른 법령에 따른 보관 의무를 검토해야 합니다. 보안 사고처럼 예외적인 경우 관련 기록을 별도 사건 파일로 옮겨야 한다면, 사건 번호, 접근한 사람, 새 삭제 날짜를 문서로 명확히 남겨야 합니다. 이 예외가 전체 로그의 무기한 보관으로 이어져서는 안 됩니다.
예시 로그 보관 정책
- 목적: AI crawler 행태 분류, 비정상 bot 트래픽 및 보안 사건 검토.
- 범위: CDN, WAF, reverse proxy, 애플리케이션, bot 분석 시스템에서 생성된 접근 기록.
- 데이터 최소화: IPv4는 /24, IPv6는 /64 마스킹, 쿼리 문자열과 쿠키는 기본적으로 제외.
- 보관: 표준 bot 로그는 30일, 만료된 기록은 매일 실행되는 삭제 작업으로 늦어도 24시간 내 제거.
- 예외: 개시된 보안 사건으로 이관된 기록은 사건 기록에 근거와 새 만료일을 명시해 별도 보관.
- 투명성: 안내문에 서버 보안, 악용 방지, 처리 데이터 범주, 보관 방식 설명.
AI crawler 보안을 위한 6개 접근 원칙은 무엇인가요?
아래 6개 원칙은 로그 접근을 “기술팀 누구나 읽을 수 있다”는 방식에서 벗어나 역할, 목적, 감사 기준으로 전환합니다. 원칙은 원본 데이터와 IP가 마스킹된 파생 로그 모두에 적용되어야 합니다.
- 역할 기반 권한: 원본 또는 상세 보안 로그에는 직무상 필요한 보안 관리자와 제한된 수의 시스템 관리자만 접근해야 합니다. SEO, 콘텐츠, 마케팅 팀에는 집계된 bot 보고서만 제공합니다.
- 다단계 인증: 로그 저장소, SIEM 대시보드, 클라우드 저장 계정에는 MFA를 의무화합니다. 공유 관리자 계정은 사용하지 말고, 모든 접근은 개인 계정으로 이루어져야 합니다.
- 원본과 파생 데이터 분리: 원본 소스 로그는 별도 저장소에, 마스킹되고 bot 태그가 추가된 보고서는 다른 저장소에 보관하세요. 분석 사용자의 원본 저장소 직접 연결을 제거합니다.
- 목적 제한 조회: 접근은 bot 분류, 보안 검토, 시스템 오류 분석 목적에 한해야 합니다. 직원, 고객, 방문자에 대한 호기심성 조회는 금지하고 절차에 명시해야 합니다.
- 접근 기록: 누가, 어느 저장소에, 어느 날짜에, 어떤 사건 또는 요청 번호로 접근했는지 기록해야 합니다. 접근 감사 로그는 검토 대상 bot 로그와 분리해 보호하고, 무단자가 수정할 수 없어야 합니다.
- 외부 반출 통제: CSV, 스크린샷, 로컬 파일 전송은 기본적으로 비활성화합니다. 예외적 반출에는 승인, 목적, 수신자, 파일 암호화, 삭제 날짜를 기록합니다.
서버 로그에서 AI bot 데이터는 어떻게 마스킹하나요?
마스킹을 애플리케이션 코드에서만 하고 원본 접근 로그를 서버에 그대로 두면 위험은 사라지지 않습니다. 변환은 CDN, WAF, reverse proxy, log agent 계층에서 중앙 저장소에 도달하기 전에 수행하세요. 원본 로그가 시스템상 반드시 생성된다면 파일 권한을 제한하고, 암호화 저장하며, 짧은 기술적 버퍼 기간 후 삭제하세요.
아래 Python 예시는 IPv4를 /24, IPv6를 /64 수준으로 마스킹한 뒤, 마스킹된 값에 대해 키가 있는 HMAC을 생성합니다. HMAC 키를 코드에 직접 쓰지 말고, 비밀 변수나 키 관리 서비스에 저장하세요.
from ipaddress import ip_address, ip_network
import hashlib
import hmac
import os
def mask_ip(value):
try:
ip = ip_address(value.strip())
except ValueError:
return None
prefix = 24 if ip.version == 4 else 64
network = ip_network(f'{ip}/{prefix}', strict=False)
return f'{network.network_address}/{prefix}'
def stable_token(value, secret):
if not value:
return None
return hmac.new(secret, value.encode('utf-8'), hashlib.sha256).hexdigest()
secret = os.environ['LOG_HMAC_KEY'].encode('utf-8')
masked = mask_ip(source_ip)
record = {
'ip': masked,
'ip_token': stable_token(masked, secret),
'bot_class': bot_class,
'status': http_status
}이 코드가 source_ip 변수를 원본 파일에 쓰지 않는지 확인하세요. 또한 reverse proxy의 access log 형식도 점검하세요. 애플리케이션에서 나중에 마스킹하더라도 Nginx, Apache, CDN 또는 WAF가 원본 IP를 별도 채널에 기록할 수 있습니다. 토큰을 고정하면 상관관계 분석은 가능하지만, 토큰 접근 역시 권한과 보관 기간 범위에 포함돼야 합니다.
적용 가능한 기술 점검 목록
- AI bot 분류에서 User-Agent를 단독 증거로 사용하지 말고, “알 수 없음” 상태를 별도로 보고하세요.
- 로그 형식에서 쿼리 문자열, 쿠키, Authorization 헤더, 불필요한 referrer 값을 제거하세요.
- IPv4는 /24, IPv6는 /64 마스킹의 재식별 위험을 조직 상황에 맞게 테스트하세요.
- CDN, WAF, reverse proxy, 애플리케이션, 중앙 로그 저장소의 보관 기간을 각각 따로 나열하세요.
- 30일 삭제 작업은 테스트 환경에서 검증하고, 삭제된 데이터가 백업에 얼마나 남는지 문서화하세요.
- 6개 접근 원칙을 절차에 반영하고, 최소 연 1회 권한 목록과 접근 기록을 검토하세요.
- 안내문, 데이터 인벤토리, 보관·파기 정책, 보안 사건 절차가 서로 일관되도록 유지하세요.
예시 시나리오: 콘텐츠 사이트의 30일 정책
하루 약 1,500건의 접근 기록을 받는 콘텐츠 사이트는 GPTBot 유사 User-Agent를 “candidate crawler”로 분류합니다. 사이트는 발행자의 최신 문서, 요청 행태, 네트워크 정보로 실제 crawler 검증을 추가로 확인하며, 어떤 기록도 User-Agent만으로 verified로 인정하지 않습니다.
설정에서는 CDN 계층에서 쿼리 문자열을 제거하고, reverse proxy 로그에는 IP를 /24 또는 /64로 저장하며, 중앙 저장소에는 UTC 시간, 경로, 상태 코드, 응답 크기, 분류 태그, 마스킹된 IP만 보냅니다. 보안 팀은 30일 동안 매일 bot 트래픽을 분석합니다. 매일 02:00에 실행되는 작업이 만료된 기록을 삭제하고, 삭제 결과와 오류 정보는 별도 감사 로그에 기록됩니다.
공격 의심이 생기면 보안 책임자가 사건 번호를 생성하고, 관련 시간대와 데이터 필드를 근거와 함께 지정하며, 접근을 2명의 권한자에게만 제한하고, 새 삭제 날짜를 사건 기록에 추가합니다. 마케팅 팀은 일별 총 crawler 요청 수와 상태 코드 분포만 볼 수 있고, IP나 요청 단위 기록은 볼 수 없습니다. 이 구조는 AI crawler 보안 요구를 개인정보 최소화와 감사 가능한 접근과 함께 다룹니다.
자주 하는 실수
- “GPTBot” 또는 다른 User-Agent가 보였다고 해서 출처 확인 없이 단정적으로 식별하는 것.
- 해시된 IP를 자동으로 익명 데이터로 간주하는 것.
- 애플리케이션에서 IP를 마스킹하고 웹 서버의 원본 access log를 잊는 것.
- 30일을 근거 없이 1년 또는 무기한으로 늘리는 것.
- robots.txt 규칙을 접근 통제로 착각하는 것. robots.txt는 권한 없는 bot의 요청을 기술적으로 차단하지 않습니다.
- 로그 패널을 공동 계정으로 사용하고 누가 어떤 기록을 검토했는지 추적하지 않는 것.