llms.txt 생성기·검사기 — AI 크롤러 robots.txt 규칙 포함
양식, URL 목록, 사이트맵으로 사양에 맞는 llms.txt를 만들고, 기존 파일을 검사하고, AI 크롤러용 robots.txt 규칙을 생성하세요.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
섹션 3개에 링크 6개. llmstxt.org 구조와 일치합니다. /llms.txt 경로로 제공되도록 사이트 루트에 업로드하세요.
모든 처리는 브라우저 안에서 이루어집니다. 사이트에서 아무것도 가져오지 않으며, 붙여 넣은 내용은 업로드되지 않습니다. 모든 무료 도구 보기.
문제를 발견하셨거나 개선할 점이 있나요? 모든 메시지를 읽고 빠르게 고칩니다.
이 llms.txt 생성기는 AI 어시스턴트와 에이전트에게 사이트가 무엇이고 어떤 페이지가 중요한지 알려 주는 마크다운 파일을 만듭니다. llms.txt 제안(llmstxt.org)은 사이트 이름이 담긴 H1, 인용문 형식의 한 줄 요약, 선택적 메모, 그리고 링크를 "- [name](url): notes" 형식으로 나열하는 H2 섹션을 요구하며, 에이전트가 건너뛸 수 있는 페이지는 "Optional" 섹션에 넣습니다. 양식을 채우거나 사이트맵이나 URL 목록을 붙여 넣으면 정확히 그 구조로 파일이 작성됩니다.
검사기는 기존 llms.txt를 한 줄씩 확인하고, 세 번째 탭은 중요한 AI 크롤러용 robots.txt 규칙을 작성하며 모델 학습용 봇과 AI 검색, 사용자 요청 기반 수집기를 구분합니다. 둘 다 현실적으로 바라보세요. llms.txt는 일부 AI 도구만 읽고 많은 도구가 무시하는 제안이며, robots.txt는 잠금장치가 아니라 규칙을 지키는 크롤러만 따르는 요청입니다.
사용 방법
- 사이트 이름과, 사이트가 무엇이고 누구를 위한 것인지 한 문장 요약을 입력하세요.
- 사이트맵 XML이나 URL 목록을 붙여 넣고 섹션 바꾸기를 클릭하거나, 링크를 제목 | URL | 메모 형식으로 한 줄에 하나씩 입력하세요.
- 섹션 이름을 바꾸고, AI가 질문에 답하는 데 도움이 되지 않는 페이지는 빼고, 있으면 좋은 페이지는 Optional로 옮기세요.
- llms.txt를 복사하거나 다운로드해 사이트 루트에 올려 https://yourdomain/llms.txt에서 열리게 하세요.
- AI 크롤러 탭을 열고 프리셋을 고른 뒤 봇별로 조정하고, 기존 robots.txt에 규칙을 추가하세요.
자주 묻는 질문
llms.txt란 무엇인가요?
llms.txt는 2024년 Jeremy Howard가 llmstxt.org에서 제안한 것으로, 웹사이트 루트에 두는 마크다운 파일입니다. 언어 모델에게 사이트의 짧고 엄선된 지도, 즉 이름, 요약, 가장 유용한 페이지 목록을 제공하며, 이상적으로는 깔끔한 .md 버전도 함께 제공합니다. 검색 크롤러가 아니라 어시스턴트나 에이전트가 콘텐츠를 필요로 하는 추론 시점에 읽도록 만들어졌습니다.
ChatGPT, Claude, Google은 llms.txt를 사용하나요?
주요 AI 회사 중 llms.txt를 순위나 크롤링 신호로 쓰겠다고 약속한 곳은 없으며, Google은 검색에 사용하지 않는다고 밝혔습니다. 현재 실질적으로는 사이트를 지정하면 이 파일을 가져오는 코딩 어시스턴트, 에이전트, 문서 도구에서 쓰이며, 그래서 개발자 문서 사이트들이 가장 먼저 도입했습니다. 게시하는 데 드는 비용은 적지만, 이것만으로 트래픽이 바뀌기를 기대하지는 마세요.
llms.txt와 llms-full.txt의 차이는 무엇인가요?
llms.txt는 색인으로, 메모가 달린 짧은 링크 목록입니다. llms-full.txt는 여러 문서 플랫폼이 쓰는 관례로, 문서 전체 텍스트를 하나의 마크다운 파일로 이어 붙여 도구가 한 번의 요청으로 모두 불러올 수 있게 합니다. 이 도구는 llms.txt를 생성합니다. llms-full.txt는 전체 문서가 모델의 컨텍스트에 들어가는 문서 사이트에만 쓰세요.
GPTBot과 다른 AI 크롤러는 어떻게 차단하나요?
크롤러의 사용자 에이전트와 Disallow: /가 있는 robots.txt 그룹을 추가하세요. 예: User-agent: GPTBot 다음 줄에 Disallow: /. 여러 사용자 에이전트를 연속된 User-agent 줄에 나열하면 그룹 하나를 공유할 수 있습니다. OpenAI(GPTBot), Anthropic(ClaudeBot), Google(Google-Extended 토큰), Apple(Applebot-Extended), Common Crawl(CCBot)의 학습용 크롤러는 이 규칙을 따른다고 밝히고 있습니다.
AI 크롤러를 차단하면 ChatGPT나 Claude 답변에서 내 사이트가 사라지나요?
어떤 봇을 차단하느냐에 따라 다릅니다. GPTBot과 ClaudeBot은 학습 데이터를 수집하며, 이들을 차단해도 OAI-SearchBot이나 Claude-SearchBot이 AI 검색 답변과 인용을 위해 페이지를 색인하는 것은 막지 않습니다. “학습 차단, 검색 허용” 프리셋을 쓰면 학습에서는 빠지면서 AI 검색에는 계속 노출됩니다. ChatGPT-User와 Perplexity-User 같은 사용자 요청 기반 수집기는 사람을 대신해 실시간으로 작동하며, OpenAI와 Perplexity는 이들에게 robots.txt가 적용되지 않을 수 있다고 밝힙니다.
Google-Extended가 Google 검색 순위에 영향을 주나요?
아니요. Google-Extended는 별도 크롤러가 아니라 robots.txt 토큰이며, 가져오는 작업은 여전히 Googlebot이 합니다. 이를 차단하면 Google이 콘텐츠를 Gemini 모델 학습이나 Gemini 답변의 근거로 쓰지 않으며, Google은 이것이 Google 검색(Googlebot 규칙으로 제어되는 AI 개요 포함)의 포함 여부나 순위에 영향을 주지 않는다고 밝힙니다.
llms.txt 형식 참조
• 1행: "# Name". H1은 유일한 필수 요소이며 정확히 하나만 있어야 합니다.
• 그다음 선택적 "> summary" 인용문: 에이전트가 아래 내용을 모두 이해하는 데 필요한 핵심 사실.
• 그다음 링크 사용법을 설명하는 선택적 자유 텍스트(문단이나 목록, 단 제목은 안 됨).
• 그다음 "## Section" 제목을 원하는 만큼 두고, 각각 뒤에 모든 항목이 링크로 시작하는 마크다운 목록을 둡니다: "- [Page name](https://url): optional note".
• "## Optional"이라는 섹션에는 더 짧은 컨텍스트가 필요할 때 건너뛸 수 있는 링크를 넣습니다. 관례상 맨 마지막에 둡니다.
제안은 또한 중요한 페이지의 깔끔한 마크다운 사본을 같은 URL 뒤에 .md를 붙여 제공하도록 권장합니다(page.html.md, 폴더는 index.html.md). llms.txt에서 이 .md 버전을 링크하면 에이전트가 내비게이션과 스크립트 없는 텍스트를 얻을 수 있습니다.
목적별 AI 크롤러
• 학습: GPTBot(OpenAI), ClaudeBot(Anthropic), Google-Extended(Google, 토큰만), Applebot-Extended(Apple, 토큰만), CCBot(Common Crawl), Meta-ExternalAgent(Meta), Bytespider(ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• AI 검색과 답변: OAI-SearchBot(ChatGPT 검색), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• 사용자 요청 기반 수집: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. 사람이 요청했기 때문에 페이지를 가져오며, OpenAI와 Perplexity는 robots.txt가 적용되지 않을 수 있다고 하고 Anthropic은 Claude-User가 이를 따른다고 합니다.
• 의도적으로 목록에서 뺀 것: Googlebot, Bingbot, Applebot. 일반 검색(그리고 Google AI 개요와 Bing Copilot 답변)을 담당하므로 차단하면 검색 결과에서 사라집니다.
Bytespider는 robots.txt를 무시한다는 보고가 많습니다. 규칙을 따르지 않는 봇에는 확인된 봇 신원이나 IP 대역으로 매칭할 수 있는 CDN이나 방화벽의 봇 규칙을 사용하세요.
어떤 프리셋을 고를까
모든 AI 허용은 AI 답변에 최대한 노출되기를 원하는 문서, 제품, 마케팅 사이트에 적합합니다. 학습 차단, 검색 허용은 모델 학습에 기여하지 않으면서 ChatGPT 검색, Claude, Perplexity에서 인용되고 링크되기를 원하는 퍼블리셔와 창작자에게 적합합니다. 모든 AI 차단은 유료, 비공개, 라이선스 콘텐츠에 적합하지만 AI 검색 도구에서 사라지는 대가를 치릅니다.
변경 사항은 소급 적용되지 않습니다. 이미 수집된 콘텐츠는 기존 데이터 세트에 남습니다. 크롤러는 robots.txt를 주기적으로(보통 하루 이내) 다시 읽고, AI 검색 색인은 각자의 일정에 따라 업데이트됩니다.
관련 무료 도구
- robots.txt 생성기 — 모두 허용, 스테이징, WordPress 프리셋과 AI 크롤러 섹션(학습은 차단, AI 검색은 유지)으로 robots.txt를 만들고, 사이트를 색인에서 빠지게 만드는 실수를 경고받으세요.
- 메타 태그 생성기 — 페이지 제목, 설명, 소셜 카드 정보를 입력하면 실시간 글자 수 카운터와 함께 올바르게 이스케이프된 완전한 <head> 블록을 만들어 줍니다.
- 스키마 마크업 생성기 — 양식을 채우면 Organization, LocalBusiness, Person, Article, Product, FAQ, Event, Breadcrumb용 유효한 JSON-LD가 만들어집니다. <head>에 복사해 넣으세요.
- MCP 설정 생성기 — MCP 서버를 한 번만 정의하면 Claude Desktop, Claude Code, Cursor, VS Code, Windsurf, Codex용 정확한 설정 파일이나 명령어를 얻을 수 있습니다.