AI クローラー一覧と robots.txt の書き方【2026年10月】— 学習用・検索用・利用者操作の3区分で決める BtoB の設定
OpenAI・Anthropic・Google・Apple・Meta の公式ドキュメントで AI クローラーを「学習用・検索用・利用者操作」の3区分に整理し、BtoB サイトが robots.txt でどこまで許可するかの判断表と、そのまま貼れる設定例を載せます。各社の仕様は 2026年10月時点。
Tag
30件の記事
OpenAI・Anthropic・Google・Apple・Meta の公式ドキュメントで AI クローラーを「学習用・検索用・利用者操作」の3区分に整理し、BtoB サイトが robots.txt でどこまで許可するかの判断表と、そのまま貼れる設定例を載せます。各社の仕様は 2026年10月時点。
Google は 2026年5月に優先ソースを AI モードと AI による概要へ広げ、8月に自社サイトへ置けるボタンの実装手順、9月に検索プロフィールのバッジ文書を公開しました。対象になる条件、3つの実装方法のコード、検索プロフィールの現在地を公式文書だけで整理します。
Google は 2026年8月31日、Search Console の「生成 AI パフォーマンスレポート」と「Search generative AI control(除外設定)」を全サイトに展開しました。レポートで読める指標、除外したときに起きること、除外を決める前の判断表を公式資料だけで整理します。
Cloudflare を「CDN の会社」と思っているなら、その認識は 2026 年でほぼ完全に古くなりました。2026 年 8 月の Agents Week では AI エージェントの実行基盤・決済・ブラウザ・MCP 対応など大型発表が連続し、9 月 15 日には AI クローラーの扱いがデフォルトで変わります。「作る側(エージェント基盤として何が作れるか)」と「守る側(自社サイトの AI クローラー設定をどうすべきか)」の両面を、Cloudflare 公式の一次出典だけで整理。サイト運営者向けの 9/15 前チェックリストと、サイト類型別の方針判断表つき。
ChatGPT・Perplexity に流れたユーザーの「実際の検索量」をどう測るか。DataForSEO の AI Keyword Data API、Profound の Prompt Volumes、独自スクレイピング、それぞれの精度と限界、実装手順を整理する。
無料 LLMO 診断で何が分かり、何が分からないか。レポートの読み方、改善優先 3 件をどう実行するか、買い切り版・月額版へのステップアップ判断軸を提示する。
歯科クリニック、士業(司法書士・税理士)、EC事業者で、LLMO 改善の打ち手は同じではない。業種固有の規制(医療広告ガイドライン等)と JSON-LD 設計、引用されやすい一次情報の作り方を業種別に整理する。
国内外の LLMO 計測ツールは「実問合せ型」「シミュレーション型」「スクレイピング型」の 3 方式に分かれる。それぞれの精度・コスト・限界を整理し、自社の投資判断に必要な観点を提示する。
Share of Voice(SoV)は元々マス広告の指標だったが、AI 検索時代には「LLM 応答テキスト内での言及シェア」として再定義されている。Tufe SoV と海外 SaaS(Brand UP/Profound)の算出ロジックの違い、自社実装ガイドまでをまとめる。
Claude の使い方を業務目線で1日で判断できるよう整理。Opus / Sonnet / Haiku の使い分け、API 料金とコスト最適化、議事録・契約レビューなど業務での使いどころ、ChatGPT・Gemini との違いまで。Anthropic 公式の一次出典で構成しています。
Claude を業務に入れる側と Claude に引用される側を統合して語る実装ガイド。llms.txt / 構造化データ / E-E-A-T / 業種別 SOP まで、Anthropic 公式仕様と Google Search Central 指針を一次出典に整理。
SEO/AI/MEO業界に流通する根拠不明な数字 30件を、政府統計・公式ドキュメント・一次調査で訂正する。SNS MAU、API価格、Map Pack CTR、IS自動化率、HBR コスト比など、誰もが見たことのある俗説を出典付きで正します。
ChatGPT / Perplexity / Claude に引用される確率を 8 軸 100 点満点で採点する Citation Readiness Score の算出方法と、各軸の改善方向を解説。
llms.txt の正しい書き方、AI 検索に引用されるための構造、placement 失敗パターンを実例で解説。基本版テンプレと完成版生成ツールも紹介。
ChatGPT / Perplexity / Claude / Google AI Overview に対応するための、SMB 向け 30 日アクションプラン。週次のタスク・必要な投資・成果指標まで実行レベルで提示。
LLMO/GEO対策を自社でやるか外注するか。それぞれのメリット・デメリットと、外注が向いている企業の特徴を正直に整理しました。
LLMO対策の前と後で、ChatGPTやPerplexityの回答がどう変わるのか。AI検索の引用が増える典型的な変化パターンを、業界調査データとともに整理します。
ChatGPTやPerplexityなどAI検索からの流入を問い合わせにつなげるLLMOの打ち手を、検証済みの公的・調査データと業種別モデルケースで解説します。
LLMO/GEO対策を外注する際、何を基準に業者を選べばいいのか。サービスの種類、費用相場、選定基準を整理しました。
LLMO対策は業種によってアプローチが変わります。士業、医療機関、実店舗の3業種について、具体的な対策内容と実際の表示事例を紹介します。
LLMO対策は大企業だけのもの?むしろ中小企業にこそ、AI検索最適化の機会が残されています。その理由を3つ、公的・業界データとともに整理します。
構造化データはGoogleだけでなくAI検索にも効きます。JSON-LDとllms.txtを組み合わせて、検索エンジンとAIの両方から評価されるサイトの作り方を解説します。
ChatGPTやPerplexityが回答を生成するとき、引用するサイトには共通パターンがあります。AI検索に選ばれるコンテンツの特徴と、その作り方を実例つきで解説します。
ChatGPTやPerplexityで検索する人が急増する2026年。従来のGoogle SEOだけでは不十分な時代に、マーケティング戦略をどう再設計すべきかを解説します。
ChatGPTやPerplexityに自社を表示させるためのLLMO対策。概念はわかったけど何をすればいいのか。技術的な実装手順をステップバイステップで解説します。
AIがあなたのサイトを正しく理解するための新しい標準、llms.txt。robots.txtのAI版とも言えるこのファイルの書き方と設置手順をステップバイステップで解説します。
AI検索で自社が紹介される企業と、まったく出てこない企業の違いは何か。Perplexity、Gemini、ChatGPTそれぞれの情報の取得のしかたを踏まえ、業界調査データから見えてきた『表示される企業』の共通パターンを解説します。
ChatGPTやPerplexityに「おすすめの会社は?」と聞いたとき、紹介される側に立つための実践的なLLMO対策を、自社の経験をもとに解説します。
LLMO(大規模言語モデル最適化)とGEO(生成エンジン最適化)。この2つの概念を混同している人が多いので、違いと使い分けを整理します。
従来のSEOだけではAI検索に対応できない時代が来ました。LLMO(大規模言語モデル最適化)とGEO(生成エンジン最適化)を加えた三位一体の戦略を、実践レベルで解説します。