AI で経済学の論文を監査した件をめぐる論争に、監査された本人が初めて加わった。不平等と課税の研究で知られる Gabriel Zucman が、X に続けて投稿し、Emmanuel Saez と自分の研究に向けられた AI の監査に反論した。Zucman はこの件を、カリフォルニア州の富裕税の投票と結びつけた。監査がどの研究を相手にし、いつ公の場に出たのかを考えれば、学問の作法だけの話では済まない、という立場である。
監査を広めた Tyler Cowen の側は、Marginal Revolution のリンク集などを通じて改訂版を出した。ただし、結論を出したプロンプトとコードは、今もはっきりとは公開していない。本紙は、論争の中心がもう「監査の結論が当たっているか」ではないとみる。問われているのは、専門家が確かめていない AI の監査を、投票を前にした公の議論の証拠として認めてよいかである。
当人の反論が、論争の性質を変えた
これまでの論争は、Cowen と、Jason Furman ら AI の監査のやり方を疑う経済学者のあいだで進んでいた。本紙は前回まで、残っている論点として「監査された本人が答えるか」と「監査のプロンプトとデータが出るか」の2つを挙げてきた。今回、1つ目に答えが出た。
監査された本人が出てくると、論争の性質が変わる。第三者どうしなら、手法についての学問の議論にとどまる。しかし、研究の主が「この監査は、自分の研究が使われている政策の争いのただ中に投げ込まれた」と言えば、監査は政策をめぐる争いの道具として読まれる。Saez と Zucman の研究は、超富裕層への課税の議論で最もよく引かれる数字の土台になっている。カリフォルニア州の富裕税の投票でも、その数字は賛成と反対の両方の側から使われる。
Zucman の投稿の前には、Saez と Zucman の数字を以前から批判してきた歴史家の Phil Magness も、この監査について投稿していた。監査が、もともとあった党派の対立の上に乗ったことを示している。
改訂版は出たが、再現の材料はそろっていない
Cowen の側は改訂版を出した。誤りを認めて直したことは評価できる。しかし、改訂そのものが新しい問いを生む。どこを、何を根拠に直したのか。そして、同じ問いを同じモデルに投げれば同じ結論になるのか。
これに答えるには、少なくとも、使ったモデルとその版、プロンプトの全文、エージェントに渡したデータとコード、そして何回走らせて、どの出力を選んだのか、が要る。言語モデルの出力は、同じ入力でも揺れる。何回か走らせていちばんもっともらしい答えを選べば、それは監査というより編集である。これらがはっきりと公開されていない以上、改訂の前の版も後の版も、外の人には同じ条件では確かめられない。
ネットには、題名からみて監査を再現しようとするサイト（saez-zucman-audit-replication）も立っている。第三者が再現を試みること自体が、元の監査の材料が足りていないことを物語る。本来なら、監査を出した側が最初から出しておくべきものである。
AI の数学で起きたことが、経済学でも起きている
この1か月、本紙は数学で同じ型の争いを追ってきた。OpenAI は数学の原稿を大量に出したが、成果を出したモデルの名前を明かさず、プロンプトも出さないとした。数学者たちは GitHub に拠点を作って原稿を書き直し、AGMAI は、ラボが自分で選んだ数学者に確かめさせるやり方そのものに反対した。そこでの合意は、材料を公開し、確かめる側を共同体が決めることだった。
数学には、それでも Lean のような機械の検証がある。経済学の実証研究には、それがない。データの選び方、仮定の置き方、税の帰着の考え方、どれも専門家の判断が要る。AI の監査が「誤りを見つけた」と言っても、それが誤りなのか、解釈の違いなのかを分けるのは人間の専門家である。その確認を経ないまま、監査の結論が投票の前に出回れば、検証の済んでいない主張が、権威ある研究への反証として使われる。
Anthropic が10月27日に出した研究は、エージェントが専門家の判断を本人に気づかれずに動かすことを数字で示した。分析の選択の86%がエージェントの傾きに沿い、エージェントのおかげだと書いたのは15%だけだった。AI の監査を読む側も、同じように動かされうる。
本紙の見方：監査を名乗るなら、監査の作法に従え
AI で既存の研究を洗い直すこと自体は、歓迎すべきである。人間の査読が見逃した誤りを AI が拾えるなら、学問にとって得になる。Cowen が早くからそれを試したことには意味がある。
しかし「監査」を名乗るなら、監査の作法に従うべきだ。手順を公開し、誰でも再現できるようにし、結論の前に専門家に確かめさせる。改訂したなら、何をなぜ直したかを示す。投票が近い政策の争いに関わるなら、なおさらである。会計の監査人が手順を伏せたまま「不正の疑いあり」と発表すれば、それは監査ではなく告発になる。
次に見るべき点は2つある。Cowen の側が、プロンプト、コード、走らせた回数を出すか。そして、Saez と Zucman の研究を知る第三者の経済学者が、監査の指摘を1つずつ確かめるか。それまでは、この監査の結論を、富裕税をめぐる判断の根拠として扱うべきではない。
