「LLMは推論していない」元DeepMind研究者の主張に海外で賛否
姉妹サイトの新着
Hacker Newsで、米MIT Technology Reviewに掲載された記事「Don’t be fooled–LLMs don’t reason(騙されるな、LLMは推論していない)」が話題になっていた。筆者はユニバーシティ・カレッジ・ロンドンの機械学習教授で、DeepMindのAlphaGo開発チームにも在籍していた人物。LLMの「思考の連鎖」は本物の推論ではないという主張に対し、「飛行機は羽ばたかずに飛ぶ」「潜水艦は泳いでいない」といった比喩を使った反論が相次ぎ、そもそも人間の「推論」自体をどう定義するのかという問いにまで議論が広がった。
騙されるな――LLMは「推論」などしていない
出典: technologyreview.com / 元記事はこちら
そう。しかも筆者はユニバーシティ・カレッジ・ロンドンの機械学習の教授で、DeepMindのAlphaGoチームの中核メンバーでもあった人物だ。
鳥はケツから噴射して飛んでるわけでもない……その例え、一体何が言いたいんだ?
生物の仕組みをそのまま真似ることが、機械を作る上で最善とは限らない。記事ではAlphaGoのポリシーネットワークとバリューネットワークを、人間の「システム1」「システム2」思考に例えている。
飛行機が「飛んでいる」と思い込まされるな。
Anthropicのブログに、Claudeには「J空間」とかいうものがあるという話が載ってた気がする。
ゴミを入れればゴミが出てくる、ってやつだな。
カントやデカルト、ロックのような哲学者は、先天的な知識と後天的な知識を区別しようとしてきた。AIもこうした議論に大きく縛られるはずだと思う。純粋な推論だけで得られる知識もあれば、観察が必要な知識もある。
まあ、その辺の理論は色々あるのは分かってる。でもそれは自分の聞きたかったことじゃない。
モネについては、本人もなぜそうなるか完全には理解していなかったし、あくまで芸術だったわけだから許せる。でもテック企業が(アルゴリズムによるドーパミン刺激やLLMなど)人の脳を利用するやり方は、純粋に陰湿だと思う。反発が来ると被害者みたいな顔をするのが本当に腹が立つ。
鏡を見ているときこそ、焦げたトーストにイエスの顔を見ているようなものだと、どうして言えないんだ?
単純なルールの集まりから生まれる創発的な振る舞いだよ。脳だって結局は分子の集まりに過ぎない。分子だって推論なんてできない。
それは明らかに間違っている。テキストは重みの活性値に変換される。推論というものがあるとすれば、それは重みの結合パターンの中にある。出力が1トークンずつ出てくるからといって、LLMの内部状態が「次のトークンのことしか処理していない」わけではない。
問題は、どう記述しようとその「ルール」が推論を表現できるかどうかだと思う。自分の立場では、それは不可能だ。
ハーネス付きのLLMがチューリング完全だということには同意するか? 自分にはそう見える。だとしたら「不可能」というのは具体的にどういう意味なんだ?
他サイトの新着
それに、マジシャンがコインを「消す」からといって、魔法が本物だということにはならない。
それを見て思うのは、人間の思考の大部分も、推論というより過去の学習・経験の「検索」なんじゃないかということ。
それはある程度できる。あるバグについて、その存在を証明するテストを書けば、LLMが実際に向かって反復できる目標を与えられる。
心配なのは、LLMが口にする「確信度」はおそらく正しく調整されていないということ。結論を支える根拠は何か、どんな根拠があれば結論が変わるかを尋ねるほうが、良いアプローチなんじゃないか?
そう、それにレッドチーム・ブルーチームでの検証も。(自分はかなり強めの「AI」懐疑派だけど、それでもこの種の問いには魅了されている)
そう、これは「AI」でも「I」(知能)でもなくて、せいぜい「A」(人工)の部分だけがバズワードに包まれているだけだ。
脳が二進法のコンピューターではないということは、神経科学者によってかなりしっかり示されてきたと思う。だからといって、その科学者たちが超自然的な宗教の肩を持って間違えた、ということにはならない。
特に何も書かれてはいないけど、筆者のウェブサイトを見ると、新しいスタートアップに向けて準備しているように見える。自分の野心やDeepMindを最近辞めたことを打ち出していて、少なくとも新会社設立の下地作りの匂いはかなり強い。
好意的に読むなら:発明が自然とは違う方法で物事をやっているからといって、その発明が間違っているわけではない。文脈に当てはめると:LLMに明示的な「システム2」の仕組みが無いからといって、超人的な推論ができないわけではない。
飛行機は確かに飛んでいる。ただ鳥じゃないだけだ。「飛ぶこと」と「知能」をこうして比べるのは、一番品のない居酒屋談義レベルだと思う。
「ヤコビアン」から来てる。彼らはLLMの内部で何が起きているかを調べる「ヤコビアンレンズ(J-Lens)」というツールを開発した(これは以前からあった、もっと単純な「ロジットレンズ」の後継にあたる)。そのツールで見つけた空間を「J空間」と名付けた。ヤコビアンというのは、要するに行列版の微分みたいなもの。
「世界中に展開された自動運転はまだ存在しない」か。ゴールポストが永遠に移動し続けるのを見るのは実に愉快だね。まあ、そのゴールポスト自体が「自動で」動いていると言えるかもしれないが……
この話題の背景と論点
この論争の土台になっているのは、AI研究で「Chain of Thought(思考の連鎖)」と呼ばれる手法だ。LLMが途中経過を文章として出力する様子を、行動経済学者カーネマンの「システム1・システム2」思考に重ねて論じる流れがあり、記事の筆者はAlphaGoのポリシーネットワーク(直感的判断)とバリューネットワークの対比をその例として使っている。スレで割れたのは「推論」の定義そのもので、人間の思考も厳密な論理より経験の検索に近いと指摘する声が多く、LLM擁護派はそこを突いて「人間も推論していないなら比較が不公平」と反論した。一方「飛行機は鳥のように羽ばたかずに飛ぶ」という比喩は、スレ内で正反対の結論を支えるために両陣営から使われており、比喩自体が決定的な論拠にはならない点は読者も注意したい。
※本記事は5ch(Hacker News)スレッド「Don’t be fooled–LLMs don’t reason」より抜粋・要約して構成しています。
まだコメントはありません。