AIクローラー制御2026:robots.txt設計ガイド
GPTBot・Anthropic-AI・PerplexityBot・Googlebot-Extended の正式 User-agent 名と許可/拒否の判断フレームワーク、コピペで使える robots.txt テンプレ3パターン。
AI開発の検証室 編集部
読了時間 約21分
読み込み中...
2 件の記事が見つかりました
GPTBot・Anthropic-AI・PerplexityBot・Googlebot-Extended の正式 User-agent 名と許可/拒否の判断フレームワーク、コピペで使える robots.txt テンプレ3パターン。
AIクローラーにサイトを正しく読んでもらうllms.txtの仕様・ファイル例・Next.js実装を日本語で完全解説します。`llms.txt` は、LLMがサイトを効率よく理解するためのMarkdownファイル