robots.txt 생성기 — robots.txt 만들기, 검사, 다운로드
모두 허용, 스테이징, WordPress 프리셋과 AI 크롤러 섹션(학습은 차단, AI 검색은 유지)으로 robots.txt를 만들고, 사이트를 색인에서 빠지게 만드는 실수를 경고받으세요.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
https://yourdomain.com/robots.txt 주소로 제공되도록 도메인 루트에 업로드하세요. 하위 폴더에 둔 파일은 무시됩니다.
모든 작업이 브라우저에서 실행됩니다. 입력한 내용은 전송되거나 저장되지 않습니다. 모든 무료 도구 보기.
문제를 발견하셨거나 개선할 점이 있나요? 모든 메시지를 읽고 빠르게 고칩니다.
이 무료 robots.txt 생성기는 크롤러가 사이트에서 가장 먼저 읽는 파일을 만듭니다. 규칙을 적용할 사용자 에이전트를 고르고, 허용·차단할 경로를 나열하고, 사이트맵을 추가한 뒤 다운로드하세요. 프리셋은 사람들이 실제로 검색하는 상황을 다룹니다. 모두 허용, Google과 AI 검색은 유지하면서 GPTBot이나 ClaudeBot 같은 AI 학습 크롤러 차단, 스테이징 사이트 잠금, 그리고 WordPress와 전자상거래의 합리적인 기본값입니다.
robots.txt는 작지만 치명적으로 잘못 만들기 쉽습니다. “User-agent: *” 아래의 “Disallow: /” 한 줄이 사이트를 검색에서 없애 버리며, 이 줄이 스테이징에서 운영 환경으로 넘어가는 일은 생각보다 훨씬 흔합니다. 생성기는 이 문제와 다른 흔한 오류를 경고하며, 아래 설명에서는 이 파일이 할 수 있는 것과 없는 것, 특히 색인이 아니라 크롤링을 제어한다는 사실을 다룹니다.
사용 방법
- 내 상황에 가장 가까운 프리셋을 고르거나 “모두 허용”에서 시작하세요.
- AI 크롤러에서 모두 허용, AI 학습은 차단하고 AI 검색은 허용, AI 모두 차단 중 하나를 고르고, 개별 봇을 체크하거나 해제해 세부 조정하세요.
- 규칙 그룹마다 적용할 사용자 에이전트(*는 전체)를 나열한 다음 허용하거나 차단할 경로를 적으세요. 경로는 /로 시작하며 사이트 루트 기준입니다.
- 사이트맵의 절대 URL을 추가하세요. 제한이 아니라 색인을 돕는 유일한 줄입니다.
- 출력 위에 표시된 경고를 읽으세요. 스테이징 사이트에서 의도적으로 크롤러를 차단하는 경우가 아니라면 고치세요.
- robots.txt를 다운로드해 도메인 루트에 올려 yourdomain.com/robots.txt에서 제공되게 하세요. Google Search Console의 robots.txt 보고서에서 확인하세요.
자주 묻는 질문
robots.txt로 Google에서 페이지를 삭제할 수 있나요?
아니요. 색인이 아니라 크롤링을 막습니다. robots.txt로 차단한 페이지도 다른 페이지가 링크하면 검색 결과에 (스니펫 없이) 나타날 수 있습니다. 페이지를 색인에서 빼려면 크롤링을 허용하고 noindex 메타 태그나 헤더를 추가하세요. Google이 페이지를 읽어야 그 지시를 볼 수 있습니다. robots.txt는 크롤링 예산을 아끼고 관리자, 검색 결과, 필터 조합 URL에 봇이 들어오지 못하게 하는 데 쓰세요.
검색에 영향을 주지 않고 AI 크롤러를 차단하려면 어떻게 하나요?
AI 크롤러 섹션에서 “AI 학습 차단, AI 검색 허용”을 고르세요. “User-agent: *”는 그대로 두고, 학습 크롤러(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot)에는 /를 차단하며, AI 검색과 사용자 요청 에이전트(OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User)는 명시적으로 허용하므로 어시스턴트가 계속 인용하고 링크할 수 있습니다. Google-Extended는 Gemini 학습만 제어하며 Googlebot과 검색에는 영향이 없습니다. robots.txt는 자발적인 규칙이라 규칙을 지키는 크롤러는 따르지만 스크레이퍼는 따르지 않습니다.
GPTBot, OAI-SearchBot, ChatGPT-User의 차이는 무엇인가요?
robots.txt로 따로 제어하는 OpenAI의 세 에이전트입니다. GPTBot은 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다. OAI-SearchBot은 ChatGPT 검색용으로 페이지를 색인하므로, 차단하면 그 답변과 링크에서 사라집니다. ChatGPT-User는 사용자가 ChatGPT에 요청할 때 페이지를 가져오며, OpenAI는 사용자가 시작한 이런 요청에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. Anthropic(ClaudeBot, Claude-SearchBot, Claude-User)과 Perplexity(PerplexityBot, Perplexity-User)도 같은 방식으로 나뉩니다.
Allow와 Disallow의 차이는 무엇인가요?
Disallow는 경로를 차단하고, Allow는 차단된 경로 안의 더 좁은 경로를 다시 엽니다. 예를 들어 /wp-admin/을 차단하면서 /wp-admin/admin-ajax.php는 허용할 수 있습니다. 규칙이 충돌하면 Google은 가장 구체적인(가장 긴) 일치 경로를 적용합니다. 빈 Disallow:는 모두 허용을 뜻합니다.
경로에 와일드카드를 쓸 수 있나요?
Google과 Bing은 *(임의의 문자열)와 $(URL 끝)를 지원합니다. Disallow: /*?sort=는 ?sort=가 들어간 모든 URL을, Disallow: /*.pdf$는 PDF를 차단합니다. 오래되었거나 작은 크롤러는 이를 문자 그대로 처리할 수 있으므로, 와일드카드 규칙은 대형 검색 엔진용으로만 쓰고 나머지는 단순하게 유지하세요.
robots.txt는 어디에 두나요?
각 호스트의 루트에 같은 프로토콜로 둡니다: https://www.example.com/robots.txt. 하위 폴더의 파일은 무시되며, example.com과 www.example.com은 각자 (보통 동일한) 파일이 필요합니다. UTF-8 일반 텍스트여야 하고 500 KB 미만이어야 합니다.
제 역할을 하는 robots.txt
대부분의 공개 사이트라면 파일 전체가 차단 없는 User-agent: *와 Sitemap 줄 하나면 됩니다. 사이트 내 검색 결과, 장바구니와 결제, 관리자, 필터와 정렬로 생기는 매개변수 조합처럼 정말로 끝이 없거나 검색에 쓸모없는 URL 영역에만 차단을 추가하세요. CSS, JavaScript, 이미지는 차단하지 마세요. Google은 페이지를 렌더링하므로 이것들이 필요하며, 차단하면 순위에 해가 될 수 있습니다.
사이트를 검색에서 사라지게 하는 실수
• 스테이징 파일(Disallow: /)을 운영 환경에 배포함. 배포할 때마다 robots.txt를 확인하세요.
• 사이트 렌더링에 필요한 CSS나 JS가 든 디렉터리를 차단함.
• noindex 대신 robots.txt로 페이지를 숨겨, 검색 결과에 URL만 남아 계속 노출됨.
• 사이트맵 줄이 404를 반환하거나 리디렉션되는 URL을 가리킴.
• /로 시작하지 않는 경로가 있는 규칙. 아무 경고 없이 무시됩니다.
목적별 AI 크롤러 (2026년 10월 확인)
• 학습: GPTBot(OpenAI), ClaudeBot(Anthropic), Google-Extended(Google, Googlebot이 읽는 제어 토큰), Applebot-Extended(Apple, Applebot이 읽는 제어 토큰), CCBot(Common Crawl, 많은 모델 개발사가 쓰는 공개 데이터 세트), Bytespider(ByteDance), Meta-ExternalAgent(Meta), Amazonbot(Amazon).
• AI 검색: OAI-SearchBot(ChatGPT 검색), Claude-SearchBot(Claude), PerplexityBot(Perplexity). 이들을 차단하면 해당 제품의 답변과 인용에서 페이지가 사라집니다.
• 사용자 요청: ChatGPT-User, Claude-User, Perplexity-User는 사람이 어시스턴트에게 읽어 달라고 요청했기 때문에 페이지를 가져옵니다. 운영사들은 이를 자동 크롤링과 다르게 취급하며, 일부는 robots.txt가 적용되지 않을 수 있다고 밝힙니다.
• anthropic-ai나 Claude-Web 같은 지원 종료된 이름도 오래된 파일에서 여전히 쓰이므로 차단 목록에 남겨 두었습니다. 해가 되지는 않습니다.
Google-Extended로는 사이트를 AI 개요나 AI 모드에서 뺄 수 없습니다. 이들은 일반 Googlebot 색인으로 만들어지므로, robots.txt로 빠지는 유일한 방법은 Googlebot을 차단하는 것이고 그러면 검색에서도 사라집니다. 매칭은 대소문자를 구분하지 않으며, 각 봇은 자신을 지정한 가장 구체적인 그룹을 따릅니다. robots.txt는 요청일 뿐이므로, 차단을 강제하려면 IP나 역방향 DNS로 크롤러를 확인할 수 있는 CDN이나 방화벽의 봇 규칙을 사용하세요.
관련 무료 도구
- 메타 태그 생성기 — 페이지 제목, 설명, 소셜 카드 정보를 입력하면 실시간 글자 수 카운터와 함께 올바르게 이스케이프된 완전한 <head> 블록을 만들어 줍니다.
- 스키마 마크업 생성기 — 양식을 채우면 Organization, LocalBusiness, Person, Article, Product, FAQ, Event, Breadcrumb용 유효한 JSON-LD가 만들어집니다. <head>에 복사해 넣으세요.
- 오픈 그래프 미리보기 — URL을 입력하면 Facebook, LinkedIn, X, Slack이 보여 줄 카드 그대로, 찾은 모든 태그와 빠진 항목까지 확인할 수 있습니다.