robots.txtとは？
robots.txt は、Webサイトのルート（https://yoursite.com/robots.txt）に配置されるテキストファイル。Webクローラー（Googlebot・Bingbot等）に対して、サイト内のどのパスをクロールして良いか、禁止するかを指定します。SEOとLLMOの両方に関わる最重要設定ファイルです。
基本フォーマット
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://yoursite.com/sitemap.xml
LLMO時代のrobots.txt
主要AI提供企業は、検索取得、ユーザー操作による取得、モデル学習を別のuser-agentに分けています。目的を区別せず「AIボット」と一括設定しないことが重要です。
| ボット | 所属 | 用途 | 公式ドキュメント |
|---|---|---|---|
| GPTBot | OpenAI | ChatGPT 学習用 | OpenAI: Overview of OpenAI Crawlers |
| OAI-SearchBot | OpenAI | ChatGPT Search 用 | 同上 |
| ChatGPT-User | OpenAI | ChatGPT がユーザー要求で URL を取得する際 | 同上 |
| Claude-SearchBot | Anthropic | Claudeの検索品質向上 | Anthropic Support: Does Anthropic crawl data from the web |
| Claude-User | Anthropic | ユーザー要求に応じたページ取得 | 同上 |
| ClaudeBot | Anthropic | モデル学習・改善 | 同上 |
| PerplexityBot | Perplexity | Perplexity 検索 | Perplexity 公式: Perplexity Crawlers |
| Perplexity-User | Perplexity | ユーザー操作に応じたページ取得 | 同上 |
| Google-Extended | Gemini Apps・Vertex AI 生成系 API 用（Google 検索には影響しない／2023-09-28 導入） | Google for Developers: Google's common crawlers | |
| Applebot-Extended | Apple | Apple Intelligence 学習用 | Apple: About Applebot |
User-agent: * ですでに許可されており、個別の拒否ルールがなければ、各検索・学習ボット名を重ねて書かなくても許可扱いです。個別記述は、検索取得を許可しつつ学習を拒否するなど、目的別に方針を変える場合に使います。なお、OpenAIはChatGPT-Userについてrobots.txtが適用されない場合があるとし、PerplexityもPerplexity-Userは一般にrobots.txtを無視すると案内しています。クロール可能であることは回答への掲載や引用を保証しません。
Tufe Companyのrobots.txt例
User-agent: *
Allow: /
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# モデル学習を許可しない場合の例。法務・コンテンツ方針に合わせて判断。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Sitemap: https://tufecompany.co.jp/sitemap.xml
よくある質問
Q. AIに学習されたくない場合は？
各社の学習用ボットを Disallow: / で拒否できます。検索取得用・ユーザー取得用ボットとは別に判断してください。なお、robots.txtはアクセス制御や認証ではなく、準拠するクローラーへの指示です。非公開情報は認証で保護します。
Q. robots.txtとllms.txtの違いは？
robots.txtはクロール許可・拒否の公開指示です。llms.txtはサイト概要と主要URLを示す提案仕様で、クロールを制御しません。llms.txtは任意であり、両方の設置が必須という根拠はありません。
Q. 自社のrobots.txt対応度を確認するには？
AI検索 技術準備度チェックで、Googlebotと主要な検索ボットがトップページへ到達できるかを確認できます。ユーザー起点の取得エージェントと学習用ボットは参考情報として分けて表示します。
関連用語
Tufe Companyのソリューション
- LLMO無料診断
- AI検索統合パック（¥2,980） — AI向けrobots.txt完成版付き