「AI に学習されたくない」をサイト側が表明する方法は、これまで会社ごとに違いました。Google には Google-Extended、OpenAI には GPTBot、Anthropic には ClaudeBot と、robots.txt に相手の名前を1つずつ並べる必要があり、新しい事業者が増えるたびに追記が要りました。
2026年10月30日、Google と Microsoft はそれぞれ、IETF（Internet Engineering Task Force）の AIPREF 作業部会の案に基づく共通のトークンを robots.txt で読むと発表しました。1つの記述で、参加する AI 事業者すべてに学習の拒否を伝えられる仕組みです。
この記事では、両社の発表と Google の技術文書、Microsoft の実装ガイドを一次出典として、共通トークンの書き方、既存の指定との関係、できないこと、日本の著作権法での位置づけ、そしてサイト運営者が 2027年までに決めることを整理します。
※ 出典: Google 検索セントラル ブログ — ウェブサイト向けの共有 AI トレーニング コントロールのサポート（2026年10月30日）／Microsoft Bing Blogs — Your content, your choice: clearer preferences for training and grounding（2026年10月30日）（取得 2026-11）
結論 — 先に要点だけ
- 共通トークンは
User-agent: __usage_ai-trainingのグループとして書く。 新しい文法は無く、通常の robots.txt の Disallow と Allow で範囲を決める。 - 効き始めるのは 2027年。 Google は「2027年初頭」、Microsoft は「2027年2月1日」からクロール時に読む。それまでは会社別の指定が引き続き必要。
- 既存の Google-Extended や GPTBot の行は消さない。 Google は会社別の指定が共通トークンと並行して機能し続けると明言している。
- 検索の掲載には影響しない設計。 ただし Google では、Google-Extended を明示的に許可しないと Gemini アプリのグラウンディングの対象から外れる。
- 拒否は「希望」であって強制ではない。 robots.txt は従うかどうかをクローラー側が決める仕組みで、参加しない事業者や既に集めたデータには及ばない。
何が発表されたか — 2026年10月30日の各社の表明
Google と Microsoft の発表は同じ日で、どちらも IETF の AIPREF 作業部会に出された Internet-Draft（draft-kelley-aipref-training-preference-signal）を参照しています。各社の公式文書で確認できた内容を表にまとめます。
| 事業者 | 表明した内容 | 対応時期 | 確認した文書 |
|---|---|---|---|
| robots.txt の共通「ポリシー トークン」で学習の拒否を読む。拒否があり、かつ Google-Extended の指定が無ければ、Google-Extended を Disallow したものと解釈する | 2027年（クローラー文書では「2027年初頭」） | 検索セントラル ブログ、クローラー一覧 | |
| Microsoft | 共通の AI Training 設定を robots.txt とページ単位で読む。別途、ページ単位の AI Grounding 設定を新設する | 2027年2月1日からクロール時に適用 | Bing Blogs の発表と実装ガイド |
| OpenAI | 同日に対応を表明したと業界メディアが報道。クローラー文書には取得時点で共通トークンの記載なし | 未確認 | OpenAI のクローラー文書（記載なし） |
| Anthropic | 同日に対応を表明したと業界メディアが報道。ヘルプには取得時点で共通トークンの記載なし | 未確認 | Anthropic のヘルプ（記載なし） |
※ 出典: Google — Google の共通クローラー（Google-Extended の項、2026年10月30日更新）／Microsoft Bing Blogs（2026年10月30日）（取得 2026-11） ※ 出典: Search Engine Roundtable — Google Adopts New AI Training Control（2026年10月30日）／OpenAI — Overview of OpenAI Crawlers／Anthropic — Does Anthropic crawl data from the web（取得 2026-11）
Google のクローラー文書には、2026年10月30日の更新で「Google は AIPREF の共有された機械可読な学習設定シグナル（user-agent: __usage_ai-training）を 2027年初頭にサポートする予定」という注記が加わりました。ブログ本文は「2027年」とだけ書いているので、時期の目安はこの注記が最も具体的です。
Google のブログは、この提案が EU AI 法に基づく汎用 AI（GPAI）モデル提供者向けの行動規範と整合すると述べています。行動規範は robots.txt を、ウェブ パブリッシャーが機械可読の意思を示す主要な方法と認めているためです。EU 向けにコンテンツを出している会社は、この背景も押さえておく価値があります。
OpenAI と Anthropic については、業界メディアの Search Engine Roundtable が、同日に両社も対応を表明したと伝えています。ただし本記事の取得時点では、OpenAI のクローラー文書にも Anthropic のヘルプにも共通トークンの記載はありません。両社の扱いは、公式文書に記載が出てから判断してください。
共通トークンの書き方 — 通常の robots.txt のグループとして書く
共通トークンは、robots.txt に新しい命令を足すものではありません。__usage_ai-training という名前のユーザーエージェントがいると見なして、通常どおり Disallow と Allow で範囲を書きます。Microsoft の実装ガイドに載っている3つの形をそのまま示します。
# サイト全体で AI の学習を拒否する
User-agent: __usage_ai-training
Disallow: /
# 特定のパス配下だけ学習を拒否する
User-agent: __usage_ai-training
Disallow: /example-path/
# 明示的に許可する（既定が許可なので、書かなくても同じ）
User-agent: __usage_ai-training
Allow: /
※ 出典: Microsoft Bing Blogs — 実装ガイド「3. Publish your settings by March 1, 2027」（取得 2026-11）
Google の robots.txt の仕様では、ルールが競合したときはパスの長い（より具体的な）ルールが優先され、同じ長さなら制限の緩いほうが採用されます。また、クローラーは自分のユーザーエージェントに最も具体的に一致した1つのグループだけを読み、ほかのグループは無視します。ユーザーエージェント名の大文字小文字は区別されません。
※ 出典: Google — Google による robots.txt の仕様の解釈（Order of precedence for rules／for user agents）（取得 2026-11）
この「1つのグループだけ」の原則は、共通トークンと会社別の指定を両方書くときに効いてきます。たとえば Google-Extended のグループがあれば、Google はそちらを読み、__usage_ai-training のグループはその判断には使いません。だからこそ Google は「共通トークンで拒否していて、かつ Google-Extended の指定が無いとき」に限って、Google-Extended を Disallow したものと解釈すると書いています。会社別の指定が優先する設計です。
書き方の例 — 全社に拒否を伝えつつ、Google だけ学習を許す
# 参加する AI 事業者すべてに学習の拒否を伝える
User-agent: __usage_ai-training
Disallow: /
# Google だけは学習とグラウンディングを許可する（会社別の指定が優先）
User-agent: Google-Extended
Allow: /
この書き方は、Google のブログにある「業界共通のシグナルで広い選択を示しつつ、個別の事業者には会社別の指定で指示を調整できる」という説明に沿ったものです。Google-Extended を明示的に許可したサイトは、Gemini アプリのグラウンディング経由で回答に表示され、クリックを受ける対象になります。
※ 出典: Google 検索セントラル ブログ（2026年10月30日）（取得 2026-11）
Google はどう解釈するか — Google-Extended との関係
| 状態 | Google の解釈 | 検索への影響 |
|---|---|---|
| 共通トークンで拒否、Google-Extended の指定なし | Google-Extended を Disallow したものと解釈（2027年初頭から） | なし |
| 共通トークンで拒否、Google-Extended を Allow | Google-Extended の指定を優先し、学習とグラウンディングを許可 | なし |
| 共通トークンなし、Google-Extended を Disallow | 従来どおり、Gemini の学習とグラウンディングから除外 | なし |
| どちらも書かない | 学習とグラウンディングを許可（既定） | なし |
※ 出典: Google — Google の共通クローラー（Google-Extended の項）／Google 検索セントラル ブログ（2026年10月30日）（取得 2026-11）
Google-Extended は専用のユーザーエージェント文字列を持たず、既存の Google のクローラーが取得した内容を Gemini モデルの学習と、Gemini アプリおよび Vertex AI でのグラウンディングに使ってよいかを制御するトークンです。Google 検索への掲載や順位には影響しないと文書に明記されています。AI Overviews と AI モードの表示は Google-Extended の対象として挙げられておらず、nosnippet や Search Console の除外設定など別の手段で扱います。この使い分けはAI クローラー一覧と robots.txt の書き方で整理しています。
Microsoft はどう解釈するか — 学習とグラウンディングを分ける
Microsoft の発表は、共通トークンの採用に加えて、独自の設計を2つ足しています。1つは共通の AI Training 設定をページ単位でも書けるようにしたこと、もう1つは AI Grounding（グラウンディング） という別の設定を新設したことです。
Microsoft の定義では、学習（Training）は「生成 AI モデルの学習済みパラメータを変更するためにコンテンツを使うこと」、グラウンディング（Grounding）は「AI が生成する回答に情報を与える入力としてコンテンツを使うこと」です。従来の検索結果のための索引化と順位付けは、グラウンディングに含まれません。
| 設定 | 置き場所 | 値 | 意味 |
|---|---|---|---|
| AI Training | robots.txt（サイトまたはパス単位） | Disallow／Allow | 共通トークンのグループで指定。既定は Allow |
| AI Training | ページ（meta または HTTP ヘッダー） | ai-training:disallow | ページ単位の指定が robots.txt より優先 |
| AI Grounding | ページ（meta または HTTP ヘッダー）のみ | ai-grounding:disallow | 生成回答への利用を止める |
| AI Grounding | 同上 | ai-grounding:disallowextended | Microsoft 自身の体験（Copilot、AI モード、AI Overview、Microsoft 365）に限って許し、第三者向けのグラウンディング提供（Web IQ、Foundry の API）には使わせない |
※ 出典: Microsoft Bing Blogs — 実装ガイド「1. Choose your training and grounding preferences independently」「2. Understand what each preference covers」（取得 2026-11）
ページ単位の書き方は次のとおりです（学習とグラウンディングをそれぞれ拒否する例）。
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow
<meta name="Bingbot" content="ai-grounding:disallow">
X-Robots-Tag: Bingbot: ai-grounding:disallow
Microsoft は、これらの設定が Bing の検索結果の対象には影響しないこと、ライセンスや支払いの取り決めを生むものではないこと、そしてコンテンツの利用を決める設定であってクロールのアクセスを決めるものではないことを明記しています。Allow を書いても、Bingbot のクロールを止める robots.txt のルールは上書きされません。設定はクロールされて初めて発見されるため、公開しただけでは効きません。どちらを選んでも、掲載・流入・支払いが約束されるわけではないとも書かれています。
Microsoft の移行スケジュール — NoArchive と NoCache を使っている会社は要対応
Microsoft は 2023年から、NoArchive と NoCache のメタタグを学習とグラウンディングの拒否として扱ってきました。新しい設定はこれを置き換えます。日付を表にします。
| 日付 | 何が起きるか | 対象 |
|---|---|---|
| 2026年12月15日 | Bing Webmaster Tools で、グラウンディングの暫定設定を記録できるようになる | この日時点で NoArchive か NoCache を使っているサイトだけ |
| 2027年2月1日 | クロール時に新しい AI Training と AI Grounding の設定を読み始める | すべてのサイト |
| 2027年3月1日 | この日までに新しい設定を公開し、暫定設定を記録する。以後、NoArchive と NoCache は学習・グラウンディングの意思として読まれない | NoArchive／NoCache を使っているサイト |
| 2027年9月30日 | 暫定設定の期限。再クロールで新しい設定が見つかれば、その時点で置き換わる | 同上 |
※ 出典: Microsoft Bing Blogs — 「4. Plan the transition」（取得 2026-11）
NoArchive や NoCache を使っていないサイトは、移行の作業は不要です。使っているサイトで新しい設定が見つかった場合、残っている NoArchive と NoCache は無視されます。学習については Webmaster Tools の暫定設定が無いので、robots.txt かページの設定で公開する必要があります。
この仕組みでできないこと — 4つの限界
共通トークンは便利ですが、万能ではありません。各社の文書から読み取れる限界を4つに整理します。
- 強制力は無い。 Google の文書は、robots.txt の指示はクローラーの振る舞いを強制できず、従うかどうかはクローラー次第だと書いています。参加を表明していない事業者や、行儀の悪いボットには効きません。
- 既に集められたデータには及ばない。 共通トークンは「以後の学習」に対する意思表示です。OpenAI も GPTBot の拒否について、生成 AI 基盤モデルの学習に使うべきでないという意思表示になると説明しています。
- 検索用・利用者操作のクローラーは別の話。 OpenAI の OAI-SearchBot や Anthropic の Claude-SearchBot は検索の表示に関わるクローラーで、学習の拒否とは別に判断します。利用者の操作で動く ChatGPT-User や Claude-User には robots.txt が効かない場合があると各社が書いています。
- 標準として確定していない。 Google は、AIPREF の残りの語彙については議論が続いており、IETF の作業部会で改良と標準化を進めると書いています。Microsoft も最終標準に向けた作業が続くと述べています。今の書き方は変わる可能性があります。
※ 出典: Google — robots.txt の概要（instructions cannot enforce crawler behavior）／OpenAI — Overview of OpenAI Crawlers／Anthropic — クローラーのヘルプ（取得 2026-11）
Cloudflare を使っている会社は、もう1つ確認点があります。Cloudflare の AI Crawl Control には「Managed robots.txt」があり、有効にすると学習用の主なクローラーを止める記述と Content Signals Policy が robots.txt に差し込まれます。取得時点の Cloudflare の文書には共通トークンの記載が無いので、自分で書いた robots.txt と差し込まれた内容が矛盾しないかを、各社の対応が始まる前に見ておいてください。
※ 出典: Cloudflare Docs — Track robots.txt（AI Crawl Control）（取得 2026-11）
日本の著作権法ではどう位置づくか — 文化庁の考え方
日本では、著作権法第30条の4が、情報解析（AI の学習を含む）のための複製を原則として許しています。ただし書で「著作権者の利益を不当に害することとなる場合」は除かれます。robots.txt の拒否がこのただし書にどう関わるかは、文化庁の文化審議会著作権分科会法制度小委員会が 2024年3月15日にまとめた「AI と著作権に関する考え方について」に整理があります。
要点は3つです。
- 著作権者が反対の意思を示していることだけをもって、ただし書に該当するとは考えられない。
- 一方で、robots.txt への記述や ID・パスワードによる認証など、AI 学習のための複製を防ぐ機械可読な技術的措置を取ることは自由で、著作権法上の制限は無い。
- そうした技術的措置が取られ、かつ情報解析用に整理したデータベースの著作物が将来販売される予定があると推認される場合には、措置を回避して収集する行為がただし書に該当し得る。
同じ文書の脚注は、当時の robots.txt では「AI 学習用クローラーだけを全部止める」技術的な方式が無いという限界を指摘し、将来そうした方式が確立されることへの期待を書いています。今回の共通トークンは、まさにこの限界に応える動きと読めます。なお、この文書自体は法的な拘束力を持たないと冒頭に明記されています。
※ 出典: 文化庁 — AI と著作権に関する考え方について（文化審議会著作権分科会法制度小委員会、令和6年3月15日）PDF（取得 2026-11）
実務での受け取り方は、「robots.txt に書けば法的に守られる」ではなく、「会社としての意思を機械可読で残し、将来の判断材料にする」です。法的な評価が必要な場面では、弁護士など専門家に相談してください。
サイト運営者が決める5つのこと — サイト類型別の判断表
技術的な正解は1つではありません。問い合わせや売上につなげたい会社サイトと、記事そのものが商品のメディアでは答えが変わります。
| サイトの型 | 共通トークン（学習） | Google-Extended | Bing のグラウンディング | 考え方 |
|---|---|---|---|---|
| BtoB の会社サイト・サービス紹介 | 拒否してよい | 許可を検討 | Allow | AI の回答で自社が引かれることが見込み客との接点になる。学習だけ止め、グラウンディングは残す |
| 店舗・クリニックのサイト | 拒否してよい | 許可を検討 | Allow | 営業時間や所在地が AI の回答に正しく出ることが来店につながる |
| 有料記事・データが商品のメディア | 拒否 | 拒否 | Disallow か DisallowExtended | 学習もグラウンディングも止め、別途ライセンスで提供する選択肢がある |
| 採用サイト・IR サイト | 拒否してよい | 許可を検討 | Allow | 候補者や投資家が AI 経由で正しい情報を得られる状態を優先 |
| 社内向け・会員向けの非公開ページ | robots.txt ではなく認証で守る | 同左 | 同左 | 文化庁の文書も認証を技術的措置の例に挙げている |
決めることは次の5つです。
- 学習を拒否するか、許すか。 自社の情報が将来のモデルに正しく学ばれることを望む会社もあり、ここは経営判断。
- Google のグラウンディングを許すか。 拒否するなら共通トークンだけで足りる。許すなら Google-Extended の Allow を明示する。
- Bing のグラウンディングをどこまで許すか。 Allow、DisallowExtended、Disallow の3段階から選ぶ。
- ページ単位の例外を作るか。 プレスリリースや製品仕様のように学習されてよいページがあれば、Allow の例外か Microsoft のページ単位設定で分ける。
- 誰がいつ見直すか。 各社の対応時期が 2027年にまたがるため、robots.txt の担当者と確認日を決めておく。
すぐ使える3点セット — チェックリスト・雛形・失敗パターン
セルフチェックリスト（10項目）
- 現在の robots.txt に、Google-Extended・GPTBot・ClaudeBot など会社別の学習用の指定があるか確認した
- 共通トークンのグループを追加する位置と、Disallow の範囲（全体かパスか）を決めた
- 会社別の指定を残すことを決め、消す予定の行が無いことを確認した
- Google-Extended を Allow するかどうかを、グラウンディングの希望と合わせて決めた
- NoArchive か NoCache を使っているページがあるかを棚卸しした
- Bing のグラウンディング設定（Allow／DisallowExtended／Disallow）を決めた
- 学習されてよい例外ページ（プレスリリース等）を一覧にした
- Cloudflare など CDN の管理型 robots.txt が差し込む内容を確認した
- 2027年2月1日と3月1日を社内のカレンダーに入れた
- 変更後に robots.txt を公開 URL で開いて、文法の崩れが無いことを確認する担当を決めた
コピペで使える robots.txt の雛形（BtoB の会社サイト向け）
# AI の学習は、参加する事業者すべてに拒否を伝える（2027年から各社が読み始める）
User-agent: __usage_ai-training
Disallow: /
Allow: /press/
# Google は学習とグラウンディングを許可する（AI の回答経由の接点を残す）
User-agent: Google-Extended
Allow: /
# 会社別の学習用クローラーは、各社の対応が揃うまで従来どおり書く
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# 検索用のクローラーは止めない（AI 検索に出るために必要）
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
/press/ の行は、プレスリリースだけ学習を許す例です。パスの長いルールが優先されるため、Disallow: / と同居できます。Google-Extended を Allow する行は、Google のグラウンディングを望まないなら削ってください。GPTBot・ClaudeBot・OAI-SearchBot・Claude-SearchBot の役割は、各社のクローラー文書に基づきます。
※ 出典: OpenAI — Overview of OpenAI Crawlers／Anthropic — クローラーのヘルプ（取得 2026-11）
失敗パターン5つ
- 共通トークンを書いて、会社別の行を消す。 2027年の対応開始まで効かない期間ができ、その間は学習の拒否が無い状態になる。
- 共通トークンで拒否したつもりで、Google-Extended を Allow のまま残す。 Google は会社別の指定を優先するので、Google の学習は止まらない。意図どおりなら問題ないが、認識のずれが起きやすい。
- 検索用のクローラーまで止める。 OAI-SearchBot や Claude-SearchBot を Disallow すると、AI 検索の表示から消える。学習の拒否とは別に判断する。
- NoArchive を残したまま新しい設定を書かない。 Microsoft では 2027年3月1日を過ぎると NoArchive は学習・グラウンディングの意思として読まれなくなり、既定の Allow に戻る。
- robots.txt の文法を崩す。 グループの区切りや綴りを間違えると、そのグループ全体が無視される。変更後は必ず公開 URL で確認する。
2027年までの進め方 — 5ステップ
- 今月中に現状を棚卸しする。 robots.txt、各ページの robots メタタグ、CDN の管理型設定の3つを書き出す。
- 方針を決めて記録する。 上の判断表で5つの問いに答え、決めた理由を社内文書に残す。
- 共通トークンを追加し、会社別の指定は残す。 対応開始前に書いても害は無く、開始とともに効き始める。
- NoArchive／NoCache を使っていれば、Microsoft の移行手順を進める。 2026年12月15日以降に Bing Webmaster Tools で暫定設定を記録し、2027年3月1日までにページの設定を公開する。
- 2027年に各社の対応開始を確認する。 Google のクローラー文書と Microsoft の案内を見て、記述の変更が無いかを再確認する。
※ 出典: Microsoft Bing Blogs（2026年10月30日）／Google — Google の共通クローラー（取得 2026-11）
公式資料集
- Google 検索セントラル ブログ — ウェブサイト向けの共有 AI トレーニング コントロールのサポート（日本語）
- Google — Google の共通クローラー（Google-Extended と共通トークンの注記）
- Google — Google による robots.txt の仕様の解釈
- Google — robots.txt の概要
- Microsoft Bing Blogs — Your content, your choice（発表と実装ガイド）
- OpenAI — Overview of OpenAI Crawlers
- Anthropic — クローラーとブロック方法のヘルプ
- 文化庁 — AI と著作権に関する考え方について（PDF）
- Cloudflare Docs — Track robots.txt（AI Crawl Control）
IETF の Internet-Draft 本文は、IETF Datatracker で draft-kelley-aipref-training-preference-signal を検索すると読めます。Google と Microsoft の発表はいずれもこのドラフトにリンクしています。
よくある質問
Q. 共通トークンを書けば、今すぐ AI の学習を止められますか？
すぐには効きません。Google は 2027年初頭、Microsoft は 2027年2月1日から読み始めると発表しています。それまでは Google-Extended や GPTBot など各社ごとの既存の指定が引き続き必要です。共通トークンを先に書いておいても害は無く、各社の対応開始とともに効き始めます。
Q. 共通トークンで学習を拒否すると、検索や AI の回答に出なくなりますか？
各社の発表では、検索結果への掲載には影響しないとされています。Google は Google-Extended が検索の掲載や順位に影響しないと明記し、Microsoft も Bing の検索結果の対象から外れないと書いています。ただし Google では、Google-Extended を明示的に許可しないと Gemini アプリのグラウンディングの対象にならない点に注意が必要です。
Q. 既存の Google-Extended や GPTBot の設定は消してよいですか？
消さないでください。各社の対応時期が揃っておらず、Google も既存の会社別の指定は共通トークンと並行して機能し続けると発表しています。共通トークンを追加し、会社別の指定は残す形が安全です。
Q. robots.txt に拒否を書けば、日本の著作権法上は学習に使えなくなりますか？
文化庁の考え方では、反対の意思を示すことだけでは著作権法第30条の4のただし書に該当しないとされています。一方で robots.txt などの技術的な措置は自由に取ることができ、データベースの販売と組み合わさる場合などにはただし書に該当し得ると整理されています。法的な効果は限定的でも、意思表示を機械可読で残す意味はあります。
Q. 自社サイトが今どの AI クローラーを許可しているか、簡単に確かめる方法はありますか？
robots.txt を公開 URL で開き、User-agent の行を上から読むのが最も確実です。学習用（Google-Extended・GPTBot・ClaudeBot など）と検索用（OAI-SearchBot・Claude-SearchBot など）を分けて書き出すと、今の方針が見えます。Cloudflare を使っていれば、AI Crawl Control の robots.txt タブで、どのクローラーが robots.txt を取得しているかも確認できます。
次の一歩
まず、自社の robots.txt を公開 URL で開き、学習用の指定が今どうなっているかを書き出してください。次に、上の判断表で「学習を拒否するか」「Google と Bing のグラウンディングを許すか」の2点を決めれば、雛形をそのまま使えます。
AI 検索での引用を増やす方向に進めたい場合は、LLMO・AI 検索対策のハブと無料の LLMO 簡易診断から現状を確認できます。
robots.txt の設計、Search Console や Bing Webmaster Tools の設定、CDN との整合まで含めて相談したい場合は、お問い合わせからサイトの URL と現在の方針をお送りください。現状の robots.txt を読み、どの行を足し、どの行を残すべきかを書面で返します。契約を前提にしたやり取りではありません。
更新履歴
- 2026-11-04: 初版公開