タグ

# AIクローラー

2 件の記事が見つかりました

GPTBot・Anthropic-AI・PerplexityBot・Googlebot-Extendedの正式User-agent名と許可/拒否の判断フレームワーク、コピー&ペーストで使えるrobots.txtテンプレを完全解説。AI クローラー robots.txt の設計指針2026年版。

Growth Lab編集部

25分公開 2026/7/31

AIクローラーにサイトを正しく読んでもらうllms.txtの仕様・ファイル例・Next.js実装を日本語で完全解説します。`llms.txt` は、LLMがサイトを効率よく理解するためのMarkdownファイル

Growth Lab編集部

20分公開 2026/6/29