米国の連邦裁判所で証拠のルールを作る委員会で、生成AIを作る側の企業が「偽の画像を技術で見抜くことはできなくなる」と認めたと報じられている。複数の報道によれば、10月15日の会合で、OpenAIの政策担当弁護士(policy counsel)のShira Anderson氏がこう述べた。
AI images are only getting better, and I do not think that there will be a scientific way going forward to detect them.
訳: AI画像は良くなる一方で、この先それを検出する科学的な方法が出てくるとは思わない。
画像を作るモデルを出している会社の法務担当者が、司法の公式の場で、検出の技術に期待するなと言った形になる。報道によれば、同じ会合に出たMetaも、検出には限界があるという同じ趣旨の立場をとった。Anderson氏は、検出の仕組みについて次のようにも述べたという。
I do not think it'll ever be bulletproof
訳: (検出の仕組みが)完璧になることはないと思う
この2つの発言を合わせて読むと、言っていることは「検出の技術はまだ足りない」ではない。「検出の技術は、この先も決め手にはならない」である。そう受け止めるなら、法廷がすべきことは、技術で真贋を判定することから、偽物だと疑われた証拠について本物だと示す責任を誰に負わせるかを決めることへ移る。今回の会合は、その移り変わりがはっきり表に出た場になったと報じられている。
なぜ作る側が「見抜けない」と言うのか
AIで作った画像を見分ける方法は、大きく2つある。1つは、画像そのものの不自然さを統計的に見つける方法である。もう1つは、作る側が出力に透かしや来歴の情報を埋め込んでおく方法である。前者は、生成モデルがよくなるほど見つける手がかりが減っていく。Anderson氏の「AI画像は良くなる一方で」という言い方は、このいたちごっこで検出する側が勝てないことを指している。
後者の透かしにも、作る側の協力が要るという限界がある。Googleは音声や映像のアバターにSynthIDを、MetaはリアルタイムのアバターにVideo Sealを入れている。しかし、透かしを入れないモデル、特に手元で動かすオープンウェイトのモデルで作られた画像には、そもそも手がかりがない。OpenAI自身の文章の透かしの数字も、この弱さを示している。EUで導入したtextGrainは、手を加えていない文章なら約92%を見つけられるが、単語の25%を同義語に置き換えると約17%まで下がるとOpenAIは公表している。仕組みは画像とは違うが、加工すれば消えるという性質は共通している。
そのうえ、OpenAIのAPIには10月半ば、未発表のモデルID『aurora』が3つ現れた。テスターの比較では3つとも画像を出したと伝えられており、新しい画像モデルの前触れではないかという見方がある(OpenAIは確認していない)。作る側が画像の品質を上げ続けている最中に、その会社の法務担当者が検出の限界を認めたことになる。
争点は「本物か」から「誰が示すか」へ
米国の連邦証拠規則では、証拠を出す側が「これは本人の主張するとおりのものだ」と示せば、真正性(本物であること)の基準は満たされる。この基準は低く、写真なら、その場にいた証人が「この写真は見たとおりだ」と言えば足りることが多い。偽物かどうかは、その後で陪審が重みを量る問題として扱われてきた。
ディープフェイクの時代には、この仕組みに2つの方向から穴が開く。1つは、精巧な偽物が低い基準をそのまま通り抜けてしまうこと。もう1つは逆向きで、本物の証拠に「これはAIで作った偽物だ」と言い張って疑いをかけられることである。後者は「嘘つきの配当」と呼ばれる。
報道によれば、委員会ではここ数年、偽物だと争われた証拠の扱いを変える規則案が議論されてきた。その中心にあるのは、相手方が「偽物かもしれない」と示す一定の根拠を出したら、証拠を出した側が本物であることをより重い基準で示さなければならない、という責任の配分である。検出の技術で白黒がつけられるなら、こうした配分を細かく決める必要は小さい。鑑定にかければ済むからである。作る側が「この先も見分けられない」と認めたことで、どの段階で、どれだけの疑いがあれば、どちらに証明を負わせるかという手続きの設計が、議論の中心に残った。
判事931人のうち15人――足りないのは技術より事例
ただし、この問題が法廷でどれくらい差し迫っているかについては、慎重な見方を支える数字も示されたと報じられている。委員会に出された判事への調査では、回答した931人のうち、証拠がAIで作られた偽物だと実際に争われた経験があるのは15人だったという。2%に満たない。
Bloomberg Lawは、AIの証拠をめぐる規則案は合意が得られず先送りになったと伝えている。報道から読み取れる構図は次のとおりである。技術の側では「見分けられない」ことがほぼ前提になった。しかし法廷の側では、そのせいで裁判が壊れた例がまだ少ない。規則を先に変えれば、まだ起きていない問題のために、すべての証拠の手続きを重くするおそれがある。待てば、事例が積み上がった時点で手遅れになるおそれがある。委員会は今回、待つ方を選んだことになる。
ここで、931人中15人という数字を「問題は小さい」と読むのは早い。偽物だと争われるには、まず誰かが偽物だと気づくか、疑う必要がある。作る側が「科学的には見分けられなくなる」と言っている状況で、争われた件数の少なさは、偽物が少ないことよりも、偽物が気づかれずに通っていることを示している可能性がある。これは調査の数字からは確かめられない。
証明の負担はどこへ行くか
検出に頼れないとき、本物を示す手段は、画像そのものの外にある来歴に移る。誰が、いつ、どの機器で撮り、どう保管し、誰の手を経たか。撮影した機器が署名した来歴の情報や、保管の記録、撮った人の証言が、画像の画素より重くなる。そうなると、来歴を整えられる側が有利になる。企業や捜査機関は記録をそろえやすいが、たまたま事件を撮った個人の携帯の写真は、本物でも立証が重くなりやすい。責任の配分をどう決めるかは、手続きの技術論であると同時に、誰が証明のコストを負うかという公平の問題でもある。
もう1つの論点は、生成する企業そのものの責任である。今回の発言は、検出の責任を作る側が引き受けないという表明とも読める。透かしをどこまで入れるか、来歴の情報を出力にどう付けるかは、今は各社の任意にとどまる。EUではAI法第50条が文章の透かしを実際に変えさせたが、米国の連邦の証拠規則は、生成する側に何かを義務づける道具ではない。法廷が責任の配分を決めても、偽物を作る側の振る舞いは変わらない。
確かめられていないこと
この記事は報道にもとづいており、委員会の議事録や会合の記録そのものには当たれていない。Meta側の具体的な発言の文言、規則案の条文と番号、判事の調査を誰がいつ行ったかの詳細、次にいつこの議題を扱うかは、確認できていない。Anderson氏の発言も、報道が伝えた引用によるものである。
それでも、方向ははっきりしている。生成AIを作る会社が、見分ける技術に期待しないよう司法に伝えたと報じられている。法廷が今後決めなければならないのは、AIが作った画像かどうかを当てることではない。疑いがかけられたとき、本物であることを誰が、どこまで示すかである。その規則づくりは、今回は先送りされたという。




