robots.txtとは？（robots.txt）意味と使い方を実務目線で解説

robots.txtはサイトのルートに配置されるテキストファイル。クローラーに対してアクセス可能/不可のページを指定する。LLMO時代では、ChatGPT・Claude・PerplexityのAIクローラーを明示的に許可することが重要。

robots.txtとは？

robots.txt は、Webサイトのルート（https://yoursite.com/robots.txt）に配置されるテキストファイル。Webクローラー（Googlebot・Bingbot等）に対して、サイト内のどのパスをクロールして良いか、禁止するかを指定します。SEOとLLMOの両方に関わる最重要設定ファイルです。

基本フォーマット

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://yoursite.com/sitemap.xml

LLMO時代のrobots.txt

2024年以降、AIクローラー対応が必須になりました。主要なAIボット:

ボット	所属	用途
GPTBot	OpenAI	ChatGPT学習
ChatGPT-User	OpenAI	ChatGPTユーザーの検索時
OAI-SearchBot	OpenAI	ChatGPT Search
ClaudeBot	Anthropic	Claude学習・検索
anthropic-ai	Anthropic	代替識別子
PerplexityBot	Perplexity	Perplexity検索
Google-Extended	Google	Gemini/AI Overview学習
Applebot-Extended	Apple	Apple Intelligence

これらを明示的に許可 することで、AI検索からの引用機会を最大化できます。

Tufe Companyのrobots.txt例

User-agent: *
Allow: /
Disallow: /api/

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://tufecompany.co.jp/sitemap.xml

よくある質問

Q. AIに学習されたくない場合は？

各AIボットを Disallow: / で拒否できます。ただし、検索系ボット（OAI-SearchBot・PerplexityBot）まで禁止すると、AI検索でのブランド露出機会を失うので注意。

Q. robots.txtとllms.txtの違いは？

robots.txt は「どこをクロールして良いか」の指示。llms.txt は「サイトの要約と構造」の提示。両方セットで設置するのが現代のベストプラクティス。

Q. 自社のrobots.txt対応度を確認するには？

LLMO無料診断で、AI向け robots.txt の設定状況を5軸診断の1つとして採点します。

Tufe Companyのソリューション

LLMO無料診断
AI検索統合パック（¥2,980） — AI向けrobots.txt完成版付き

robots.txtとは？