OpenAIの数学「成果」に研究者から異議、海外掲示板で物議に
姉妹サイトの新着
Hacker Newsで、OpenAIが発表した「ナビエ・ストークス方程式」をめぐる数学的進展が物議を醸している。独立に研究していた数学者Buckmaster氏とAlpöge氏は、OpenAIが自分たちの投稿後に同じ問いをモデルへ入力し始めていたことや、論文からAlpöge氏の名前を外すよう求められたことを公表した。スレでは、他者の研究に便乗して資金力で「先回り」した行為への批判と、AIを使った成果の功績を誰が持つべきかという議論、さらに有料サブスクリプションのデータが学習に使われた可能性をめぐる意見が交わされた。
AIによる数学のブレークスルーが物議を醸した経緯
出典: science.org / 元記事はこちら
この研究者たちを出し抜こうとしたのは、たとえ彼らの手法を直接使っていなかったとしても、かなり際どい行為だと思う。トレーニングデータ経由で意図せず彼らの成果を「拝借」していた可能性があるとなると、なおさら悪質だ。OpenAIのやり方は——彼らの言い分だけを見たとしても——控えめに言って品がない。
>>4
この意見に同意する。意地が悪いやり方だが、それでもモデルは売れた。
この意見に同意する。意地が悪いやり方だが、それでもモデルは売れた。
>>4
まさにそう思う。これは大炎上すると思う。OpenAIは謝罪の準備をしておいた方がいい……
まさにそう思う。これは大炎上すると思う。OpenAIは謝罪の準備をしておいた方がいい……
>>4
強く同意。主要AI企業の一つとして、これはあまりにも空気を読めていない。人間が(たとえAI支援ありでも)大きな問題に進展をもたらしているのを見たら、普通は場を譲るものだ。何百万トークンも使って横から奪いに行くようなことはしない。人類が手詰まりになっている重要な問題は他にいくらでもあるんだから、そっちを解いてほしい。
強く同意。主要AI企業の一つとして、これはあまりにも空気を読めていない。人間が(たとえAI支援ありでも)大きな問題に進展をもたらしているのを見たら、普通は場を譲るものだ。何百万トークンも使って横から奪いに行くようなことはしない。人類が手詰まりになっている重要な問題は他にいくらでもあるんだから、そっちを解いてほしい。
「ナビエ・ストークス方程式は、クレイ数学研究所が2000年にまとめた『ミレニアム懸賞問題』6つのうちの1つ」という記述について——正しくは7つのうちの1つ。1つはすでに解決済みだが、それでもミレニアム問題であることに変わりはない。
>>6
その『6つ』と『7つ』の食い違い、ちゃんと見てるよ。
その『6つ』と『7つ』の食い違い、ちゃんと見てるよ。
>>6
そう、妙な間違いだね。
そう、妙な間違いだね。
OpenAIはどうやらCodexを使って、BuckmasterとAlpögeの研究を土台に『自社の』反証を組み立てたようだ。https://cims.nyu.edu/~tristanb/statement.pdf
>>9
しかもそのチームによれば、OpenAIが自社モデルにこの問題を尋ね始めたのは、彼らの投稿が行われた後だったという。つまりOpenAIは着手する前に、この重要な手がかりと情報をすでに持っていたことになる。それを使って自分たちの『証明』を作ったかどうかは未解決の問題だが、OpenAIは明確に否定してもいない。
しかもそのチームによれば、OpenAIが自社モデルにこの問題を尋ね始めたのは、彼らの投稿が行われた後だったという。つまりOpenAIは着手する前に、この重要な手がかりと情報をすでに持っていたことになる。それを使って自分たちの『証明』を作ったかどうかは未解決の問題だが、OpenAIは明確に否定してもいない。
個人的な印象だが、科学研究が再び『貴族の道楽』化していくのは避けられない気がする。
>>10
どういう意味だい?そもそも数学は人類最古のオープンソースプロジェクトで、何千年も続いてきた。特定の国や機関、階級のものになったことは一度もない。
どういう意味だい?そもそも数学は人類最古のオープンソースプロジェクトで、何千年も続いてきた。特定の国や機関、階級のものになったことは一度もない。
自分にとっての『ブレークスルー』は、ニュートンが円周率を計算するために微積分を発明したようなことだ。今回のは、1200万ドル分のトークンを使って、昔ながらのやり方で円周率の桁を一つ増やしただけ、という感じがする。
>>11
そういうつもりだったか分からないけど、それはOpenAIというより数学そのものへの侮辱になってるよ。
そういうつもりだったか分からないけど、それはOpenAIというより数学そのものへの侮辱になってるよ。
>>11
なるほど、ミレニアム問題を解くのと円周率の桁を一つ増やすのが完全に同等だと。
なるほど、ミレニアム問題を解くのと円周率の桁を一つ増やすのが完全に同等だと。
今後、他の数学者がこういう経験をしたいとは思わないだろう。だからこの手のサービスから離れる流れが出てくるはずだ。
>>12
自分は数学者だ。こうしたツールが今後この職業にとって何を意味するのか、かなり不安に思っている。とはいえ……我々のほとんどはナビエ・ストークスほど有名な問題に取り組んでいるわけじゃない。仮にOpenAIがChatGPTとのやり取りをもとに自分の研究を出し抜けるとしても——1500万ドル分の計算資源を注ぎ込めば可能だろうけど——彼らがわざわざそんなことをするとは思えない。
自分は数学者だ。こうしたツールが今後この職業にとって何を意味するのか、かなり不安に思っている。とはいえ……我々のほとんどはナビエ・ストークスほど有名な問題に取り組んでいるわけじゃない。仮にOpenAIがChatGPTとのやり取りをもとに自分の研究を出し抜けるとしても——1500万ドル分の計算資源を注ぎ込めば可能だろうけど——彼らがわざわざそんなことをするとは思えない。
>>12
個人的には、これは自分の知る研究者や大学院生にとって分水嶺的な出来事だ。みんな作業中のリポジトリを非公開にしたり、進捗をLLMに入力しなくなったり、研究室単位でモデルを自前でホストする動きが出ている。
個人的には、これは自分の知る研究者や大学院生にとって分水嶺的な出来事だ。みんな作業中のリポジトリを非公開にしたり、進捗をLLMに入力しなくなったり、研究室単位でモデルを自前でホストする動きが出ている。
>>12
もしZDR(ゼロデータ保持)ポリシーの製品に移行すべきという話なら、それはもっともで同意する。でも『大工が空気圧ネイルガンをやめて手打ちのハンマーに戻るべき』みたいな話をしているなら、それはさすがに無理がある。これらはあくまで道具で、どんな道具でも使い手の腕次第で効果は変わる。
もしZDR(ゼロデータ保持)ポリシーの製品に移行すべきという話なら、それはもっともで同意する。でも『大工が空気圧ネイルガンをやめて手打ちのハンマーに戻るべき』みたいな話をしているなら、それはさすがに無理がある。これらはあくまで道具で、どんな道具でも使い手の腕次第で効果は変わる。
うーん、形式検証はちゃんと通っているのかな?Leanはエラーが無いと主張するだけで、前提条件が満たされていないケースは検出できないんじゃない?
>>15
証明の中で追加の公理や`sorry`を使っていないか、という質問?それはコンパイルしてLeanに使われている公理を一覧させれば簡単に確認できるよ。
証明の中で追加の公理や`sorry`を使っていないか、という質問?それはコンパイルしてLeanに使われている公理を一覧させれば簡単に確認できるよ。
この段階で、誰の手柄になるかなんて重要か?どちらもAIに作業の99%以上をやらせている。……つまり機械にもプライドがあるってこと?
>>16
適切な問い方をすること自体が仕事の99%かもしれない。それにOpenAIがユーザーの利用状況をこっそり覗き見て、資金力にものを言わせて先にブレークスルーを発表するというのは、単純に酷い話だ。
適切な問い方をすること自体が仕事の99%かもしれない。それにOpenAIがユーザーの利用状況をこっそり覗き見て、資金力にものを言わせて先にブレークスルーを発表するというのは、単純に酷い話だ。
>>16
仕事でAIを使わない人?ならなぜ報酬をもらえるの?自分で書いたコードに対してだけ報酬をもらうべきなのか?
仕事でAIを使わない人?ならなぜ報酬をもらえるの?自分で書いたコードに対してだけ報酬をもらうべきなのか?
>>16
機械の持ち主には株があって、その評価額は借金を返すために上がり続けないといけないからね。
機械の持ち主には株があって、その評価額は借金を返すために上がり続けないといけないからね。
>>2
『物理ベースのシミュレーションツールは多数あるが、設計問題全体のごく一部にしか対応しておらず、近似にも限界がある』とあるけど、より優れた数学が、より優れた物理モデルにつながる可能性はあると思う?
『物理ベースのシミュレーションツールは多数あるが、設計問題全体のごく一部にしか対応しておらず、近似にも限界がある』とあるけど、より優れた数学が、より優れた物理モデルにつながる可能性はあると思う?
>>20
あり得るとは思うけど、今のところ生成AIによる数学の成果は、既知の予想への反例を見つけることに留まっていて、新しい数学の構築にまでは至っていない。
あり得るとは思うけど、今のところ生成AIによる数学の成果は、既知の予想への反例を見つけることに留まっていて、新しい数学の構築にまでは至っていない。
>>3
つまりこの会社は、地球上のあらゆる人・組織に自社ソフトを使わせておきながら、その成果をどう発表しどうクレジットするかまで指図する権利を留保しておきたいってこと?なんて盤石なビジネスモデルなんだ、これで失敗するわけがないな。
つまりこの会社は、地球上のあらゆる人・組織に自社ソフトを使わせておきながら、その成果をどう発表しどうクレジットするかまで指図する権利を留保しておきたいってこと?なんて盤石なビジネスモデルなんだ、これで失敗するわけがないな。
>>22
サイトの一番下に『サム・アルトマン制作』って注意書きでも入れておけばいいのに。
サイトの一番下に『サム・アルトマン制作』って注意書きでも入れておけばいいのに。
>>22
それは元コメントにも記事にも書かれていないよ。ここや他の場所のコメントを読んでいると、自分がおかしくなったんじゃないかと思えてくる。みんなと同じ記事を読んでいるはずなのに。
それは元コメントにも記事にも書かれていないよ。ここや他の場所のコメントを読んでいると、自分がおかしくなったんじゃないかと思えてくる。みんなと同じ記事を読んでいるはずなのに。
他サイトの新着
>>3
『Buckmaster氏とAlpöge氏の利用データから非識別化されたデータが、我々のモデル改善に役立った可能性を排除できない』——まあ、無料版を使えばそのデータで学習される、というのは広く知られていることだと思っていたけど。
『Buckmaster氏とAlpöge氏の利用データから非識別化されたデータが、我々のモデル改善に役立った可能性を排除できない』——まあ、無料版を使えばそのデータで学習される、というのは広く知られていることだと思っていたけど。
>>23
Buckmasterの声明を読むと、彼らは有料サブスクリプションを使っていたと明記されていたはず。
Buckmasterの声明を読むと、彼らは有料サブスクリプションを使っていたと明記されていたはず。
>>54
有料アカウントであること自体はオプトアウトを意味しないよね?彼が実際にオプトアウトしていたと明言している箇所はある?もしそうでないなら、OpenAI側の説明がここまで曖昧なのも理解できない。『彼はオプトアウトしていなかった、これらのチャットを学習データに使うのは利用規約に沿っている、以上』と言えばよかっただけなのに(それが『公正』かどうかは別の議論として)。
有料アカウントであること自体はオプトアウトを意味しないよね?彼が実際にオプトアウトしていたと明言している箇所はある?もしそうでないなら、OpenAI側の説明がここまで曖昧なのも理解できない。『彼はオプトアウトしていなかった、これらのチャットを学習データに使うのは利用規約に沿っている、以上』と言えばよかっただけなのに(それが『公正』かどうかは別の議論として)。
>>54
有料サブスクリプションには、学習データとしての共有をオプトアウトする設定がある。デフォルトではオンになっていると思う。
有料サブスクリプションには、学習データとしての共有をオプトアウトする設定がある。デフォルトではオンになっていると思う。
>>3
『ただしAlpögeの名前は外すという条件で』——これは明白な研究不正だ。
『ただしAlpögeの名前は外すという条件で』——これは明白な研究不正だ。
>>24
OpenAIがなぜその名前を論文から外すことにこだわったのか、心当たりはある?
OpenAIがなぜその名前を論文から外すことにこだわったのか、心当たりはある?
>>34
それは『たとえ話』というものだよ。
それは『たとえ話』というものだよ。
>>60
これは数学における最重要問題7つのうちの1つだ。もっとマシなたとえを選んでくれ。
これは数学における最重要問題7つのうちの1つだ。もっとマシなたとえを選んでくれ。
>>60
元コメントが言いたいのは、そのたとえがあまり良くない、ということだと思う。
元コメントが言いたいのは、そのたとえがあまり良くない、ということだと思う。
>>43
同意!BuckmasterとAlpögeがAIを誘導していたというのは、正直あまり信じていない。これは単に、自分たちにもプロセスの中で貢献があり、評価に値すると主張するための言い方だと思う。
同意!BuckmasterとAlpögeがAIを誘導していたというのは、正直あまり信じていない。これは単に、自分たちにもプロセスの中で貢献があり、評価に値すると主張するための言い方だと思う。
>>68
つまり、トップクラスの数学者である彼らが『ナビエ・ストークスを解いて俺を金持ちにしてくれ、ミスなく頼む』って感じで頼んだと思ってるの?オッカムの剃刀にしては無理があるね。
つまり、トップクラスの数学者である彼らが『ナビエ・ストークスを解いて俺を金持ちにしてくれ、ミスなく頼む』って感じで頼んだと思ってるの?オッカムの剃刀にしては無理があるね。
この話題の背景と論点
クレイ数学研究所が2000年に選んだ「ミレニアム問題」は7つで、うち1つ(ポアンカレ予想)はペレルマンが2003年に解決済み。スレの>>6はこの数を正しく訂正している。今回の核心は「ナビエ・ストークス方程式の解の正則性」に関するOpenAIの発表で、独立に研究を進めていたBuckmaster氏とAlpöge氏が、OpenAI側が自分たちの手がかりを把握した後に同じ問いをモデルに投げていた可能性や、論文からAlpöge氏の名前を外す条件を出されたことを公表し波紋が広がった。スレで割れたのは、この行為を「品位に欠ける」と断じる側と、AIを使う以上は誰の功績かに固執すべきでないとする側の温度差。また有料サブスクリプションのデータが学習に使われた経緯は、オプトアウト設定の有無を含めて本人が明言しておらず、OpenAI側も明確な説明を避けている点は読者が誤解しやすい。
※本記事は5ch(Hacker News)スレッド「How An AI math breakthrough ignited a controversy」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。