速報：AI学習の可否をrobots.txtでまとめて指定へ Google・Microsoft・OpenAIが共通の仕組みに対応表明
Googleは2026年10月30日、Webサイトがrobots.txtで、複数のAI企業に対してAI学習への利用の意向を一度に伝えられる共通の仕組みに対応する計画を発表しました。標準化団体IETFのAIPREFワーキンググループの作業に基づくもので、他のAI企業とともに2027年の対応を目指します。Microsoftも、この共通の設定に対応すると発表しました。
ITmedia NEWSによると、OpenAIも同日に対応方針を発表し、今後数カ月以内の対応を目指します。Anthropicは既に草案への対応の実装を始めています。仕組みは、robots.txtの「User-Agent」行に「__usage_ai-training」というトークンを書き、その下の「Disallow」で学習への利用を拒否、「Allow」で許可する意向を示すものです。クロール自体を禁止するものではありません。草案は個人名義で提出されたもので、現時点ではIETFの正式な地位を持ちません。
何が変わるか： これまでAI企業ごとにクローラーを見分けて書き分けていたルールを、共通の指定で一度に伝えられるようになります。Googleは、共通の設定で学習を拒否し、Google-Extendedを明示していないサイトについて、Google-Extendedを拒否したものとして扱う予定です。各社独自の設定も引き続き使えます。Microsoftは、2027年3月1日以降、NoArchiveとNoCacheを学習やグラウンディング（AIが回答を作る際にWebの内容を参照すること）の設定として読まなくなるため、それまでに新しい設定へ移るよう求めています。
誰に効くか： 自社サイトの内容をAIの学習に使われるかどうかを選びたいWebサイトの運営者。NoArchiveやNoCacheを使っているサイト。