【海外の反応】OpenAI、AI生成の数学的成果3件を撤回
姉妹サイトの新着
OpenAIは数学分野で数百件規模の「証明」を公開してきたが、そのうち3件に誤りが見つかり撤回したことが明らかになった。同時に新たな成果を6件追加しており、この件は海外掲示板Hacker Newsで大きな話題になった。スレでは、AIが生成した証明文は読みにくく検証に手間がかかるという指摘や、誤りを見つける負担が結局は人間の数学者に押し付けられているという批判、逆に約400件中3件なら誤り率としては悪くないという擁護論など、意見が割れた。
OpenAIが数学的成果3件を撤回
出典: github.com / 元記事はこちら
こうした誤りを指摘できる活発な数学コミュニティがなければ、間違ったまま放置されていただろう。Taoが指摘した通り、数学の自動化によってそのコミュニティ自体が危うくなっている。
OpenAIの態度はこうだ。『あらゆる数学の問題の答えを用意した。もう数学者は用済みだ。賞金と名声はサム・アルトマンに送ってくれ。ちなみにこの答えをチェックする数学者は何人か必要だが』
AIモデルが今後一切進歩しないと仮定すれば、の話だけどね。
それを指摘した人へのリンクある?形式証明を今もチェックしている最中みたいだから、その過程で見つかったんじゃないかな。
すごい時代だ。OpenAIのモデルは優秀すぎて、数百本もの数学論文を発表している。しかも最新モデルは過去に発表された論文の誤りまで見つけられる……※ただし今のところ撤回が必要になったのはOpenAI自身の論文だけだが。
LLMは人間が発表した数学論文の欠陥を日常的に見つけている。たいていはLeanで形式化する過程でね。
OpenAIがこの分野の論文を全部レビューしてくれる日を楽しみにしている。人類の知を本気で前進させようとしている人と、税金を無駄にしているだけの人をふるい分けるいい機会になる。後者は容赦なく公衆の面前で恥をかかせて笑い者にすべきだ。『似非知識人』よりもっと辛辣な言葉が必要だな。
こういう形で大量に出すなら、全部形式化すべきだ。手作業でレビューするには量が多すぎるし、AIが書いた文章は人間の論文に比べて読みにくい。
数学者ではないけど、自分が取り組んでいる問題にAIも取り組んでいるなら、多少欠陥や抜けがあってもできるだけ早く知りたいと思う。情報が少ない方が得することなんてあるだろうか。
どうやら文章の質がひどい(とにかく読みにくい)らしい。せめてAIに文章を直させることくらいできたはずなのに。今後は文章力の方にもっと投資するのかもね。
数学そのものより、マーケティング用の締め切りの方を気にしてるみたいだ。
ついに数学も『とりあえず壁に投げつけて、くっついたものを採用する』フェーズに入ったわけか……
それがコンピュータの仕組みそのものだから、AIで証明を生成する以上そうなるのは避けられない。
約400件中(今のところ)3件の間違いなら、まだかなりいい打率だと思う。
いや、それは違うと思う。数学者にとって、生涯で論文を2本以上撤回することになったら、それだけでキャリア上の大問題だ。
このペースで外挿すると来四半期末には1本も残らない計算になる。冗談だけど、これを読むのは骨が折れるし、あえて穴を探そうとする人がいても時間がかかるだろう。
2025年の典型的な人間の数学論文より、誤り率は低いんじゃないかな。
しかも新たに6件追加されている。見出しにそれも入れた方がいいんじゃないか。
進化なら進化のままに進ませればいい。流れは流れで道を見つける。力は力でいずれ均衡を取り戻す。
少し混乱してるんだけど、証明は全部Leanで検証されているんじゃなかった?だとしたら、仕上がりの質がどんな指標で低くても、テストに通るか通らないかの二択のはずで、後から『やっぱり違いました』となる余地はないはずじゃないか。
AIが既発表の論文を片っ端からチェックして結果の再現を試み始めたら、それはもう大惨事になるだろう。あらゆる分野で、例外なく。論文撤回ラッシュを見たいなら、まだ序の口だ。
(動画リンク)このヒューリスティックからすると、価値があるのはせいぜい片手で数えられる程度だろう。
証明にはいくつか興味深い抜けがある。045番はどこに消えたんだ?
『良い文章と物事の順序立て――それが些細なことであっても、達人と不器用な者を分ける』――レオポルト・モーツァルトが息子アマデウスに贈った言葉
なぜこんなに叩かれているのか分からない。これは結局のところ査読と同じことで、人間が書いた論文でも間違いは日常的に起きている。
つまり数学も、ここ数年オープンソースのプロジェクトやメンテナーが抱えてきたのと同じ問題に直面しているわけだ。まったく面白い時代だね。
彼らの行列積の上界についてもっと話題になっていないのが意外だ。(リンク)これは実用的な意味があるのか、それとも今のところ証明があるだけなのか?
これからもっと撤回することになるだろう。他にも誤りがあるのは間違いない。
質の悪いプルリクエストと同じだよ。
他サイトの新着
撤回された証明は実際にLeanでチェックされていたのか、いなかったのか?そこは重要なポイントだと思う。
『権威による証明』は人間の数学者が実際にコードを動かすまでしか通用しない。またプロンプトエンジニアリングに逆戻りだ。
結局、純粋にエネルギーと時間の無駄になるだけだろう……数学コミュニティはこれには関わりたくないと思うはずだ。
今のところの感触だと、文章の多くはまだ『スロップ』っぽくて、かなり急ごしらえで洗練されていないように感じる。
つい先日、『無人運転の数学』はそのうち『あ、コードにバグがありました、数学のXYZ系統はもう成立しません』みたいな状態に転がり落ちるんじゃないかと考えていたところだった。
これらの論文には誰の名前がクレジットされているんだ?
どうやって?Leanによる検証はどうなったんだ?
画期的なアイデアにたどり着く確率が1%しかないのに、このAI数学論文群のせいで査読にどれだけの時間が無駄になるか想像してみてほしい。
こうして私たちは今、LLMの大きな落とし穴を目の当たりにしている。検証の負担はレビュアー側に押し付けられ、手柄は提案者がすべて持っていく。
まさに文字通りの『ヴァイブス頼み(vibing)』だな。
とんだ時間の無駄だ。
この話題の背景と論点
OpenAIは近年、形式証明支援ツールLeanを用いて数学の未解決問題に次々と「解答」を発表しており、今回撤回された3件もその一連の成果に含まれる。スレ冒頭のレスが触れる「Tao」は数学者テレンス・タオを指し、AIによる証明の大量生産が、誤りを見抜ける専門家コミュニティ自体を先細りさせかねないとかねて警告してきた人物。論点になったのは、Lean検証を通過したはずの証明になぜ誤りが生じたのかという技術的な疑問と、大量の論文を人力でレビューする負担が誰に帰属するのかという構造的な問題の二つで、後者はオープンソース開発でメンテナーが疲弊してきた構図と重ねて語られていた。記事内の個々の数式・証明の妥当性そのものは検証できないため、スレで出た主張を事実として断定しているわけではない点に留意してほしい。
※本記事は海外掲示板 Hacker News のスレッド「OpenAI withdraws three mathematical results」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。