AIは「圧縮アルゴリズム」にすぎないのか 海外で論争
姉妹サイトの新着
海外掲示板Lemmyのc/showerthoughtsで、「AIは結局圧縮アルゴリズムに過ぎない」という投稿が話題になっていた。投稿者は、AIは人類の知識を圧縮して小出しにしているだけで、AI自身が生成したデータを学習に使うと画質の劣化したjpegのように情報が崩れていく、という見方を示した。これに対し、AlphaFoldのタンパク質構造予測でのノーベル賞受賞や、研究者がLLMを使って科学的発見を先取りした例を挙げる反論が相次ぎ、AIの出力は本当に「新しい思考」と呼べるのかどうかで意見が分かれた。
AIは結局、圧縮アルゴリズムにすぎない。人類の知識を全部放り込んで、それを少しずつ解凍しているだけだ。問題は、AIが生成したものをまたAIに学習させると、あのjpegを10回保存し直したミームみたいに劣化していくこと。ひどくなると、もう何が書いてあるのか分からなくなる。AIは『思考の圧縮アルゴリズム』であって、新しいアイデアを生み出すことはできない。
(画像のみの投稿)
不可逆圧縮の一種として使えるのは確かだけど、それに最適な技術ではないし、AIにとっても最適な使い道ではないと思う。
この考え方を掘り下げた良いYouTube動画があるよ。3blue1brownの『圧縮こそが知能だ(Compression is intelligence)』というシリーズ。
うわ、ちょうど昨夜量子化とか重みについて調べてて、今朝まさに同じことを書こうと思ってたところだった。知識の不可逆圧縮だよね。これが危険なのは、ノイズに埋もれて十分に『増幅』されていないだけの、本当は正しい情報の断片がたくさんあるからだ。
あるケースでは、解決に近づいていた研究者の何人かが、OpenAIが自分たちの研究内容を盗み見ていたのではないかと疑っている。LLMには確かに、膨大な学習データから新しい相関関係を抽出する能力がある。けれど、それが本当に『新しい思考』と呼べるものなのかは、まだ分からない。
この議論を見るたびに思うのは、それが人間の思考でも同じことをしているだけじゃないと、どうして分かるのかということ。人間同士の場合は、説得力を持って『考えているように見える』なら、それだけで信じてもらえるという恩恵がある。
企業がLLMを無理やり押し付けてくるようになるずっと前から、LLMは問題解決のための道具として使われていた。だからといって、それに魔法のような自己認識や創造力が備わるわけじゃない。挙げられていた成果を出せたのは、使い方を知っている人間がいたからだ。
そのいくつかは、関わっていた科学者たち自身がLLMを研究に使っていて、どこを探せばいいか分かっていたから先を越された、という話だった。当時の分野内の見解では、もっと計算時間が必要だとされていたはず。
うちには辞書があるよ。基本的に同じようなものだ。
『それ』というのはAI全般のことで、LLMと同義ではない。例えばGoogle DeepMindのAlphaFoldはタンパク質の立体構造予測問題を解決し、開発チームはそれでノーベル賞を受賞した。
AIはすでに、新しいアイデアを生み出したことが実証されている。
この話題の背景と論点
ここで言われている「AIが生成したデータを学習に使い続けると劣化していく」という現象は、研究者の間で「モデル崩壊(model collapse)」として知られる実際の問題で、生成物を学習データに混ぜ続けると出力の多様性が失われていくことが報告されている。一方で反論に挙がったAlphaFoldは、タンパク質の立体構造を予測するAIで、開発チームは2024年のノーベル化学賞を受賞しており、圧縮やパターン抽出的な技術が新しい科学的知見につながった代表例とされる。スレでは「AIの処理は圧縮に基づく」ことと「新しい知見を生み出せる」ことが両立しうる点が十分に整理されないまま、比喩としての圧縮とLLMの実際の能力評価が噛み合わずに議論が進んだ。
※本記事は海外掲示板 Lemmy c/showerthoughts のスレッド「AI is just an compression algorithm」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。