OpenAI が10月6日に出した数学の原稿の大量公開を、数学者が自分たちで確かめ直す拠点がある。GitHub の mathcommunity/oai-math-revised だ。その更新履歴に、OpenAI の原稿1本の取り下げが記録された。さらにプルリクエスト#38では、ある原稿が先行研究をきちんと引いているかについて、専門家の間で公開の議論になっている。拠点が10月24日に Terence Tao のブログで紹介されてから、まだ日は浅い。それでも、合わせて719本ある原稿をどこまで信じてよいかが、1本ずつ具体的な形で問われ始めた。
拠点で何が起きたか
oai-math-revised は、Abhinav Nellore、Johannes Schmitt、Soledad Villar、Rachel Ward の4人が立ち上げた。4人は Tao のブログへのゲスト投稿で、OpenAI が github.com/openai/math に出した原稿は『分かりにくく』、引用も『不完全』だと書いた。そのうえで、学生、ポスドク、教授に査読と管理への参加を呼びかけている。
今回の2つの動きは、この呼びかけが実際の作業になったことを示す。1つは取り下げだ。OpenAI はすでに10月7日、符号の誤りを理由に原稿3本を自ら取り下げ、公開は722本から719本になっていた。今回の取り下げは、外の数学者が運営する拠点の側で記録されたもので、OpenAI 自身の撤回とは別になる。もう1つが#38の議論だ。こちらは証明が正しいかではなく、原稿に入っている考えのどこまでが新しく、どこからが既存の研究によるものか、という帰属をめぐる争いである。
なぜ『引用』が争点になるのか
数学の論文では、考えの出どころを正しく示すことが、証明の正しさと並ぶ基本の規範になる。この点は、OpenAI の公開の直後から繰り返し指摘されてきた。Sophie Huiberts は10月13日、同じく Tao のブログへのゲスト投稿『This is normal bad work』で、公開された原稿を専門の規範に照らして『普通に出来の悪い仕事』と呼んだ。理由として挙げたのは、考えの出どころの帰属が不適切なこと、結果が『サラミ切り』されていること、証明が読み解きにくいことである。10月14日に結果が出た First Proof の第3回でも、査読者は正しさや書き方と並べて、先行研究の帰属を採点の観点に入れていた。
#38は、こうした一般的な批判を、特定の原稿のどの箇所が何を引くべきだったかという個別の論点に落とし込んだものと言える。批判が論考から査読の記録に変わったことになる。
Lean では確かめられないもの
OpenAI は、原稿の約42%（約300本）を Lean で確かめたとしている。ただ、形式検証が保証するのは、証明が論理として正しいことまでだ。その考えが誰のものか、既存の結果をどれだけなぞっているかは、Lean のカーネルには分からない。Thomas Hales は10月9日のゲスト投稿で Lean のカーネルそのものの信頼性を問うたが、今回の争点はさらにその外側にある。正しくても新しくない、あるいは先行研究を引かずに新しく見せている原稿は、機械の検証をすり抜けてしまう。
しかも量が多すぎる。約4,000問から生まれた372の結果群、719本の原稿を、数学者が手作業で1本ずつ読み、それぞれの分野の文献と突き合わせる必要がある。Andrej Karpathy が10月11日、人間による確認が追いつかない例としてこの数学の原稿を挙げたのも、この非対称が理由だった。拠点が査読と管理を手伝う人を募っているのは、この作業の重さの表れでもある。
残る問い
取り下げが1本、帰属の異議が1件というのは、719本に比べれば小さな数だ。ただ、外部の数学者が組織だって読み始めてすぐに出てきた結果でもある。査読が進むにつれて同じような指摘が積み重なるのか、それとも少数にとどまるのか。それが、この大量公開の評価を決めることになる。
OpenAI の側にも、まだ答えていないことがある。どの社内のモデルがこれらの結果を出したのか、OpenAI は今も名前を明かしていない。Simons 財団、Anthropic、OpenAI が10月15日に始めた1,500万ドルの事業は、AI の助けを借りた結果を評価する仕組みづくりを支えるものだ。oai-math-revised で起きているのは、まさにその評価の作業である。数学の共同体が組み立てつつある査読のやり方に、原稿を出した会社がどう応えるかが次の焦点になる。
