OpenAI、Google、Microsoft、Anthropic の4社が、ウェブサイトが AI の学習を断るための robots.txt の印を『__usage_ai-training』1つにそろえると報じられている。Unite.ai と FourWeekMBA が伝えた。OpenAI には『Helping websites express AI training preferences』という題のページがあるとされるが、本文は確かめられていない。この記事は報道をもとにしており、一次情報では確認できていない。
報道どおりなら、フロンティアの大手のラボが学習を断るやり方を共通にするのは初めてになる。ただし、4社が実際にこの印に従い始める時期は、すでに対応している社から2027年中の社まで大きく違うと伝えられている。
何が変わるのか：会社ごとの書き分けから、1つの印へ
これまで、学習に使われたくないサイトは、会社ごとに決めたクローラーやユーザーエージェントの名前を robots.txt に1つずつ並べるしかなかった。たとえば OpenAI の GPTBot、Google の Google-Extended、Anthropic の ClaudeBot である。新しいクローラーが出るたびに書き足さなければならず、名前を知らない会社の分は抜けてしまう。
報道によれば、『__usage_ai-training』は特定の会社ではなく、用途を指定する印である。1行書けば、この印に従うと約束した会社すべてに『学習には使うな』と伝えられることになる。中小のサイトや、数の多いクローラーを追いかける余裕のない報道機関にとって、手間が大きく減る。
『学習』と『答えの根拠』を分けて断れる
報じられた中で実務への影響がいちばん大きいのは、学習に使うことと、検索やエージェンティック検索で答えの根拠にすることを、分けて扱える点である。
今の会社ごとのやり方では、クローラーを丸ごと止めると、検索や回答の引用元にも出なくなるおそれがあった。サイトの側は『学習には使われたくないが、AI の答えの出典としては表示されたい』という選び方が難しかった。印を用途ごとに分ければ、学習は断り、根拠に使うことは許す、という書き方ができるとされる。AI の答えが流入の入り口になりつつある今、多くの出版社が求めてきた形である。
ただし、『根拠に使う』の範囲をどこまでと決めるのか、要約や長い引用がそこに入るのかは、報道からは分からない。
ばらばらの始まりの時期が、当面の穴になる
伝えられるところでは、すでにこの印を読んでいる社もあれば、従い始めるのは2027年中という社もある。その間は、共通の印を書いただけでは、まだ対応していない会社の学習を止められない。サイトの側は当分、『__usage_ai-training』に加えて、会社ごとのクローラー名を並べる今の書き方も残すことになる。
また、robots.txt はもともと守らせる力のない約束事である。4社がそろえても、これに加わらない会社や、名乗りを偽るクローラーには効かない。報道は4社の名前を挙げているが、Meta、xAI、中国の各ラボなどがこれに続くかは伝えられていない。
確かめられていないこと
一次情報で確かめられていない点は次のとおりである。印の正確な書き方と、『学習』と『根拠』の区別をどう書くのか。4社のうち、どの社がいつから従うのか。この印をどの場で決めたのか。すでに集めて学習に使ったデータにも及ぶのか。OpenAI のページの本文と、Google、Microsoft、Anthropic のそれぞれの説明が出るまでは、ここに書いた中身は報道の段階にとどまる。
それでも方向ははっきりしている。学習を断るやり方は、会社ごとの決まりから業界で共通の印へ移りつつある。残る問題は、それがいつ、どこまで実際に守られるかである。
