AIクローラー制御2026：robots.txt設計ガイド

TL;DR: AIクローラーが乱立した2026年、robots.txtはGoogle向けだけでは不十分。GPTBot・Anthropic-AI・PerplexityBot・Googlebot-Extendedそれぞれに対応したUser-agent設定が必要で、「許可するか拒否するか」はビジネス目標によって変わる。本記事ではコピー&ペーストで使えるテンプレ3パターンと判断フレームワークを提供する。

はじめに：AI クローラー robots.txt 設計が複雑化した理由

2023年以前のrobots.txtは、Googlebotと数種類の検索エンジンbotを制御するだけで十分だった。しかし2024〜2026年にかけて、OpenAI・Anthropic・Perplexity・Appleなど主要AI企業が独自クローラーを次々と公開し、その数は10種類以上に達した。

問題は3つある。

1. User-agent名が直感的でない: 「Claude」のクローラーが「ClaudeBot」だと思ったら「anthropic-ai」という名称だった、といった混乱が頻発する
2. 許可/拒否の判断基準がない: 全拒否にするとAI検索での引用機会を失い、全許可にするとコンテンツが無断学習される可能性がある
3. robots.txtとllms.txtの役割分担が不明確: 両方を設定すべきか、どちらを優先すべきかわからない

この記事は、この3つの問題を解決するために書いた。

主要AIクローラー一覧（2026年版）

以下は2026年時点で確認されている主要AIクローラーの一覧だ。User-agent名は大文字/小文字の区別があるため、公式ドキュメントに準拠した表記を使う。

ポイント: AnthropicのクローラーはAnthropicが目的で2種類存在する。anthropic-aiはモデル学習用、ClaudeBotはClaude.aiがリアルタイムでWeb検索する際に使うbotだ（Anthropic公式ドキュメント）。

「学習クローラー」と「検索クローラー」の違い

AIクローラーには大きく2種類ある。

学習クローラー（Training Crawlers）: AIモデルの学習データを収集するbot。拒否してもリアルタイムのAI検索結果に直接は影響しないが、長期的にはモデルの知識から自社情報が欠落する可能性がある。

検索クローラー（Search/RAG Crawlers）: PerplexityBot・OAI-SearchBot・ClaudeBotのように、ユーザーの質問に対してリアルタイムで回答を生成する際にWebを参照するbot。これらを拒否すると、そのAI検索エンジンの回答で自社コンテンツが引用されなくなる。

自社コンテンツがLLMに引用される機会を最大化したいなら、少なくとも検索クローラーは許可しておく方が得策だ。

許可/拒否の判断フレームワーク

「全部ブロック」でも「全部許可」でもなく、コンテンツ種別とビジネス目標に応じた判断が正解だ。

判断マトリクス

コンテンツ種別ごとの判断基準

許可を推奨するコンテンツ:

• ブログ記事・技術解説（GEO的には許可で引用機会を増やすべき）
• 製品ページ・サービス紹介（ブランド露出を増やす）
• FAQ・ヘルプページ（AI回答での引用価値が高い）

拒否を検討するコンテンツ:

• 有料会員限定コンテンツ（/members/, /premium/）
• 内部管理ページ（/admin/, /dashboard/）
• 個人情報を含むページ
• E-Eコマースの注文・カート関連ページ

GEO戦略全体については「GEO vs SEO 2026」で詳しく解説している。AI検索での引用を最大化するには、クローラーへのアクセス許可だけでなく、コンテンツ設計そのものが重要だ。

robots.txt 設定テンプレ（3パターン）

パターン1: 全許可（AI引用・認知獲得を最優先）

AI検索エンジン全般での引用を最大化したい場合。スタートアップ・個人ブログ・マーケティングコンテンツに適している。

User-agent: *
Disallow:

# 管理・内部ページのみ除外
User-agent: *
Disallow: /admin/
Disallow: /dashboard/
Disallow: /api/
Disallow: /_next/

パターン2: 全拒否（コンテンツ保護を最優先）

有料コンテンツやクローズドな情報を守りたい場合。ただしAI検索での引用は期待できなくなる。

# 従来の検索エンジンは許可
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# AIクローラーを全拒否
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Googlebot-Extended
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: meta-externalagent
Disallow: /

パターン3: 選択的許可（推奨・バランス型）

学習クローラーをブロックしつつ、検索クローラーは許可してAI検索での引用機会を残すパターン。多くのサイトに適している。

# ===== 通常検索エンジン =====
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ===== AI検索クローラー（許可：AI検索で引用される）=====
# PerplexityBot: Perplexity AIのリアルタイム検索
User-agent: PerplexityBot
Allow: /

# OAI-SearchBot: ChatGPT Searchのリアルタイム参照
User-agent: OAI-SearchBot
Allow: /

# ClaudeBot: Claude.aiのリアルタイムWeb検索
User-agent: ClaudeBot
Allow: /

# ===== AI学習クローラー（要判断・デフォルトでブロック）=====
# GPTBot: OpenAI モデル学習用
User-agent: GPTBot
Disallow: /

# anthropic-ai: Anthropic モデル学習用
User-agent: anthropic-ai
Disallow: /

# Googlebot-Extended: Google AI モデル学習用
User-agent: Googlebot-Extended
Disallow: /

# Applebot-Extended: Apple Intelligence学習用
User-agent: Applebot-Extended
Disallow: /

# Bytespider: ByteDance AI学習用
User-agent: Bytespider
Disallow: /

# cohere-ai: Cohere AI学習用
User-agent: cohere-ai
Disallow: /

# meta-externalagent: Meta AI学習用
User-agent: meta-externalagent
Disallow: /

# ===== 共通除外パス =====
User-agent: *
Disallow: /admin/
Disallow: /dashboard/
Disallow: /api/private/
Disallow: /members/

robots.txt の配置場所: サイトルートに /robots.txt として配置する（例: https://example.com/robots.txt）。W3C RFC 9309準拠の標準仕様だ。

meta タグによる補完設定

robots.txtはサイト全体のクロール制御に使うが、ページ単位で細かく制御したい場合はHTMLのmetaタグを使う。

AI向けmeta robots設定

<meta name="robots" content="noai, noimageai">


<meta name="robots" content="noimageai">


<meta name="googlebot-extended" content="noindex">

noai と noimageai について: これらはIANA登録済みのdirectiveではなく、業界慣行として使われている非公式の値だ（2026年時点）。主要AIクローラーの遵守状況はまちまちで、法的効力もrobots.txtと同様に「紳士協定」の範囲内になる。

ページ種別ごとの設定例

robots.txt と llms.txt の役割分担

よく混同されるrobots.txtとllms.txtは、目的が異なる別々のファイルだ。

簡潔に言えば：robots.txtは「来るな」「来ていい」を言う、llms.txtは「ここが大事なページだ」を伝える。

llms.txtの詳細な実装方法については別記事で解説している。両方を組み合わせることで、アクセス制御と内容案内の両立が可能だ。

構造化データでAI引用を促進する方法も合わせて設定すると、AIクローラーにページの意味を正確に伝えられる。

設定後の確認方法

robots.txt の検証

# Google Search Console の robots.txt テスター（推奨）
# URL: https://search.google.com/search-console/robots-testing-tool

# ローカル確認
curl https://example.com/robots.txt

Google Search Consoleのrobots.txtテスターで、対象のUser-agent名（例: GPTBot）を入力すると、そのbotが各URLにアクセスできるかを確認できる（公式ドキュメント）。

クロールログによる確認

サーバーのアクセスログで、設定したUser-agentが実際にアクセスしているか確認できる。

# Apache / Nginx のアクセスログで GPTBot を検索
grep "GPTBot" /var/log/nginx/access.log | tail -20

# anthropic-ai の確認
grep "anthropic-ai" /var/log/nginx/access.log | tail -20

FAQ

GPTBotをrobots.txtでブロックするとSEOに影響はありますか？

GooglebotとGPTBotは別のbotなので、GPTBotをブロックしてもGoogle検索のランキングには影響しない。ただし、ChatGPT SearchやGPT-4のリアルタイム検索（OAI-SearchBot）は別のUser-agentで動作しているため、GPTBotのみブロックしてもChatGPT Searchでの引用は影響を受けない場合がある。正確には両者を区別して設定することが重要だ。

Anthropic-AIとClaudeBotの違いは何ですか？

AnthropicのクローラーはUser-agent名で2種類に分かれる。anthropic-ai（小文字）はClaudeのモデル学習データ収集用のbot。ClaudeBot（大文字C）はClaude.aiがユーザーの質問に答える際にリアルタイムでWebを参照するbot。GEO的にClaude.aiでの引用を期待するならClaudeBotは許可し、モデル学習のみ拒否するならanthropic-aiのみDisallowにする。Anthropic公式ドキュメントにIPレンジとUser-agentの詳細が記載されている。

AIクローラーを拒否すると検索結果の引用から除外されますか？

「学習クローラー」と「検索クローラー」を区別する必要がある。PerplexityBot・OAI-SearchBot・ClaudeBotのようなリアルタイム検索クローラーを拒否した場合、そのAI検索エンジンでの引用機会は実質的になくなる。一方、GPTBot（学習用）を拒否しても、ChatGPT Searchがリアルタイムでページを参照する動作（OAI-SearchBot）は別のbotが担うため、即時にChatGPT Searchから除外されるわけではない。AI検索での引用最大化についてはLLM引用の観測方法も参照。

robots.txtとllms.txtはどう使い分けるべきですか？

robots.txtはクローラーのアクセス制御（許可/拒否）、llms.txtはLLMへのコンテンツ案内（優先ページ・コンテキスト）と役割が異なる。robots.txtでアクセスを許可しつつ、llms.txtで重要ページを案内するのが理想的な組み合わせだ。llms.txtはアクセス制御の効力を持たないので、コンテンツ保護にはrobots.txtが必須。llms.txt実装ガイドに詳細な設定方法を記載している。

PerplexityBotをブロックする方法はありますか？

robots.txtに以下を追加するだけで完了する。User-agent: PerplexityBot に続けて Disallow: / を記述する。ただしブロックすると、Perplexity AIの検索結果で自社コンテンツが引用される機会がなくなる点に注意が必要だ。Perplexityは公式ドキュメントでrobots.txtの遵守を明示しており、設定は比較的信頼できる。

まとめ：2026年のAIクローラー制御設計指針

AIクローラー制御の設計は、以下の3ステップで整理できる。

Step 1: 目的を決める

• AI検索での引用・認知獲得を優先する → 検索クローラーは許可
• コンテンツの独自性・有料モデルを守る → 学習クローラーは拒否

Step 2: クローラーの種類を区別する

• 学習クローラー（GPTBot, anthropic-ai, Googlebot-Extended等）
• 検索クローラー（PerplexityBot, OAI-SearchBot, ClaudeBot）

Step 3: テンプレを適用して確認する

• 本記事の「パターン3: 選択的許可」をベースにカスタマイズ
• Google Search Consoleのrobots.txtテスターで動作確認

GEO戦略全体の設計については「GEO vs SEO 2026」が出発点になる。クローラー制御はGEOの土台であり、コンテンツ設計・構造化データと組み合わせて初めて効果を発揮する。

References

• OpenAI GPTBot 公式ドキュメント
• Anthropic Web Crawlers 公式ドキュメント
• Perplexity PerplexityBot 公式ドキュメント
• Google クローラーの概要（公式）
• RFC 9309 - Robots Exclusion Protocol（W3C標準）