「AIは言葉を予測しているだけ」論争、海外で沸騰
姉妹サイトの新着
米ブログpluralistic.netに載った「The Claude Delusion」という記事が、Hacker Newsで議論を呼んだ。人はAIの出力に、実際以上の意図や理解を読み込んでしまいがちだという指摘に対し、スレでは「LLMは学習データの分布を反映するだけで、自分の意見というものを持てない」という擁護派と、「それを言うなら人間の脳だって単語を予測しているだけではないか」という反論がぶつかった。途中では「ゲルマン健忘症と同じ現象では」という指摘や、アラインメント訓練には人間の目標設定が組み込まれているという反論も出て、話は「AIに意図はあるか」という単純な二択には収まらなかった。
『クロードの妄想』
出典: pluralistic.net / 元記事はこちら
投稿者はAnthropicの「グローバルワークスペース」についての研究を読んだのだろうか。まさにこの点に答えているように見えるが。
全くその通り。新人コンサルタントなら誰でも『教科書に書いてあること』は言える。本当に価値のあることをやりたいなら、いくつかの限られた領域でその型を超える必要があり、それ以外では慣習に従う。どの領域を超えるべきかは、シニアエンジニアに聞けばわかる。
でも真面目な話、目新しい内容が何もないのに、なぜあれだけの文字数を読まされないといけないんだ? 人間がチャットボットを擬人化しがちなことも、一貫した言語出力が理解(や意図)を意味するのかという疑問も、何十年も前から知られている話だ。
ある分野の専門家は、別の分野の専門家を過小評価しがちなように思う。単に、それぞれが違う理解の枠組みを築いているだけなのに。だから両者は同じくらい有能でも、お互いを『大したことない』と感じてしまう。それは自我の問題を抜きにしても、扱っている材料の違いだけで起きうる。
(魅力的な英文を書くなど)なぜなら私は彼らの文章を読み、そこに『センス』を感じ取れるからだ。
同意。センスに加えて、我々には視点があり、独自の声があり(企業スピークや集団スピークを好きな人はいない)、より多くの人に届けながらメッセージを推敲していける。
これはゲルマン健忘症(Gell-Mann amnesia)と似ている、というか同じ概念では? ニュース/メディア記事をLLMに置き換えただけだ。
『LLMの出力は文字通りランダムサンプリングだ』というのは、『LLMの出力は一様ランダムではない』と言いたいだけなのでは? それとも私が何か誤解している?
いい指摘だ。アラインメント訓練はそもそも意図的なものだし、強化学習にはゴールが必要だ、など。
他に何をしていると言うんだ? それがモデルの仕組みそのものだろう。
そう、単語を予測することがLLMの設計上のすべてだ。それは人間の心が行っていることのすべてでもある、と言いたいのか?
シリコンの数学が化学的な粘液(脳)の数学になることは絶対にない!
みんな『魂を信じている』と素直に認めればいいのに。
それは、君がその質問に使った単語の定義からして、質問自体が答えになっている。
ボルヘスやトールキンを見て、ずっとペンを取るのが怖かった。彼らの才能や作品には、自分には絶対に到達できないと感じていた。でもAIフィクションが広まり始めてから、世界がスロップ(AI生成の質の低いコンテンツ)に飲み込まれないように、オリジナルの作品を作るのが自分の義務だと感じるようになった。
この前、チャットボットにキムチのレシピとそのバリエーションを1時間ほど質問してみた。実際のシェフたちがよく選ぶ材料や作り方をよく反映していて、材料や手法をランダムに組み合わせただけのものでは全くなかった。
自分もよくそう言うんだけど、もう少し好意的な見方もできる。今のAIは『心』ではない、なぜなら状態を持たない(ステートレスな)からだ。もしかしたら継続学習するAI(今日のHNトップページに出ていたミニAGIのような)は『魂がある』と感じられるようになるかもしれない。
この話題の背景と論点
元記事は、人間がAIの出力に意図や理解を過剰に読み込んでしまう現象を指す言葉として「クロードの妄想」を提示したものとみられる。スレで挙がった「ゲルマン健忘症」は作家マイケル・クライトンが唱えた概念で、自分の詳しい分野の報道の不正確さには気づけても、他分野の報道は無条件に信じてしまう心理を指す。これをLLM出力への過信になぞらえる意見が出た一方、アラインメント訓練(強化学習によるモデル調整)には人間が設定した目標が組み込まれているため、モデル自体に意図がなくても開発過程には意図が入り込んでいる、という反論も出た。単語予測がLLMの仕組みそのものである点は参加者の共通認識で、対立点は「それが人間の思考とどこまで違うのか」という評価の部分にある。ステートレスな現行AIと、継続学習型のAIとで評価が変わりうるという指摘もあり、結論が出ている話ではない。
※本記事は5ch(Hacker News)スレッド「The Claude Delusion」より抜粋・要約して構成しています。
まだコメントはありません。