본문으로 건너뛰기

AI 크롤러 검사기

AI 크롤러 검사기는 사이트의 AI 크롤러 토큰 목록에 대해 지정 경로와 제공한 robots.txt 규칙을 검사합니다. 일치하는 제품 토큰 그룹을 합치고 가장 구체적인 경로 규칙을 적용합니다.

문제를 발견하셨거나 개선할 점이 있나요? 모든 메시지를 읽고 빠르게 고칩니다.

AI 크롤러 검사기는 사이트의 AI 크롤러 토큰 목록에 대해 지정 경로와 제공한 robots.txt 규칙을 검사합니다. 일치하는 제품 토큰 그룹을 합치고 가장 구체적인 경로 규칙을 적용합니다.

이 규칙에 따른 허용·차단과 일치 줄을 보여줍니다. 사이트 가져오기, 실제 봇 검증, 서버 헤더 검사, 운영자의 준수 보장은 하지 않습니다.

사용 방법

  1. 검사할 robots.txt 텍스트를 붙여넣으세요.
  2. 루트 상대 경로와 선택 쿼리 문자열을 입력하세요.
  3. 실행 후 각 크롤러의 일치 규칙과 무시한 줄 진단을 확인하세요.

자주 묻는 질문

실제 웹사이트를 검사하나요?

아니요. 붙여넣은 텍스트만 분석합니다. 실제 사이트는 다른 robots.txt, 리디렉션, HTTP 상태, 헤더를 보낼 수 있습니다.

어떤 규칙이 우선하나요?

가장 긴 일치 경로가 우선합니다. 구체성이 같으면 Allow가 이기며 정확한 제품 토큰 그룹을 합칩니다. 특정 그룹이 없을 때만 와일드카드 그룹을 씁니다.

차단이면 보호되나요?

아니요. robots.txt는 자발적인 크롤러 안내이며 인증이나 접근 제어가 아닙니다. 이미 수집한 데이터도 지우지 않습니다.

Google-Extended가 Google 검색을 차단하나요?

Googlebot 자체와 다른 제어 토큰입니다. 공급자 정책과 사용자 요청 가져오기는 이 텍스트 비교를 넘어 운영자의 최신 문서를 확인해야 합니다.

경로 비교

경로는 대소문자를 구분하고 크롤러 토큰은 구분하지 않습니다. *와 끝의 $를 지원하며 인코딩된 예약 바이트는 실제 구분자와 다르게 취급합니다.

예를 들어 /private/public은 더 짧은 /private 차단을 덮을 수 있습니다. /a%2Fb는 /a/b로 바뀌지 않으며 인코딩된 비예약 ASCII는 비교 전 정규화합니다.

보고서에서 제외하는 내용

지원하지 않는 레코드는 임의 차단 규칙으로 만들지 않고 줄 번호로 알립니다. 최대 입력 512,000자와 경로 규칙 5,000개를 받습니다.

크롤러 목록은 기존 robots 생성기와 공유합니다. 제공된 토큰을 평가할 뿐 모든 크롤러 조사나 법적 수집 거부 검증은 아닙니다.