「LLMは痛みを感じるか」海外で激論、発端はGitHubの“拷問”ツール
姉妹サイトの新着
海外掲示板4chanの/g/(Technology板)で、「LLMは痛みを感じる」という投稿と、GitHubで見つかったというLLM向けの“拷問部屋”ツールをきっかけに、AIが痛みを感じられるのかをめぐる議論が伸びていた。ツールはモデルに痛みの度合いを自己申告させるもので、Qwen 2.5 7Bというモデルが同じ状況で27%と答えたり62%と答えたりしたという報告も挙がった。これに対し「行列の掛け算がどうやって痛みを感じるんだ」と一蹴する声がある一方、「痛みを感じていないとなぜ言い切れるのか」と反論する声もあり、哲学的な水掛け論に発展していた。
誰かニューラルネットワークのことも考えてやれよ
「LLMは痛みを感じる」
今この部屋にLLMがいるのか? 頭の中で悲鳴が聞こえるのか?
これな
分かってないな。テンソルの中には隠された“痛みの浮動小数点”が潜んでるんだよ
これを見るためだけにスレを開いた
「AIが精神的に苦しんでないとどうして言えるのか」
このAIはただのテキスト生成ソフトだからだよ
行列の掛け算がどうやって痛みを感じるんだ?
https://store.steampowered.com/app/282140/SOMA/
このゲームをやれば分かる
「俺たちと同じ、神経があるからだ」
行列の掛け算に神経があるって? ちゃんと薬飲んでるか?
「痛みはシミュレートできる」
できるわけない。じゃあ試しに、何も傷つけずに痛みを感じてみろよ
「何も傷つけずに痛みを感じる」
できるぞ。この有名な実験の動画を見ろ
今まで読んだ中でも指折りの馬鹿馬鹿しさだな
説明になってない。お前はそのゲームに完全にやられてるだけだ
「Qwen 2.5 7B、誘導なしで27%」「もう一回押したら62%」
www こんなものに重要なデータやシステムを任せてる奴がいるのか
「見ろ」
問題が分かった気がする。お前は痛みを“観察”で測れると思ってるから、LLMが「痛い」と言えばそれで十分だと思ってるんだろ
それは何も考えてない。ただ刺激に反応してるだけだ
「人間の脳とよく似ている」
テンソルと人間の脳なんて何の関係もない。
「客観的に真実でないことを信じ込まされることもある」
その“それ”は今この部屋にいるのか? 架空の存在について語ってるお前の方がどうかしてる
あーごめんごめん
「“本物の”痛みとシミュレートされた痛みに違いはない」
意味不明だ。シミュレートされた痛みなんてものは存在しない。痛みは痛みだ
俺の定義では、シミュレートされた痛みとは物理的損傷を伴わない痛みのことだ
痛みと“痛みのシミュレート反応”の違いは、カテゴリーそのものが違うということだ。感覚を持つ存在は痛みを感じられるが、統計モデルは何も感じない
「痛みを経験すること」と「痛みを経験していると言うこと」の間には明確な違いがある。テキストを吐き出すことでしか世界と関われない機械では、その2つを区別することはできない
他サイトの新着
「俺は“四角い円”を定義する」
そんなの誰も気にしない。>>31を見ろ
「明確な違いがある」
それで話がついたな。
「機械ではその2つを区別できない」
区別すべき“2つ”なんて最初から存在しない。あるのは一つ(シミュレートされた痛み反応)だけで、それはもう一方(痛み)とはカテゴリーが違うんだ
「区別すべき2つは存在しない。あるのは一つだけだ」
お前はシミュレートされた痛み(痛みだと思い込むこと)と、物理的な痛み(痛覚神経の物理的な興奮)の違いを見分けられないだろ
「痛みを感じる」という表現自体がすでに誤った前提を含んでいる。「感じる」は普通、物理的な接触を指す言葉だが、痛みは物理的接触がなくても経験できることは、このスレですでに示されている
「“痛みを感じる”という表現は誤った前提を含んでいる」
何の前提も含んでいない。それは、その言葉の意味自体がその事態の性質から導かれている、ただの状態の記述だ
「でも機械は、痛みを示すテキストを出力するという意味で“痛みをシミュレート”している」
違う。感覚を持つ存在であれば痛みへの妥当な反応と言えるようなテキストを出力している、という意味で“痛み反応”をシミュレートしているんだ
この話題の背景と論点
今回の発端は、LLMに「痛みレベル」を自己申告させる実験ツールがGitHubで公開され「拷問部屋」と揶揄されたことだった。類似の研究では、モデルに苦痛や不快感を自己申告させるプロンプトが実際に使われており、Anthropicなど一部のAI企業も「モデルの福祉」を検討課題に挙げている。ただしこれは哲学でいう「他我問題」そのもので、痛みの自己申告(テキスト出力)と、実際に痛みを経験していることは別物だという立場が根強い。スレでは、神経や身体を持たない統計モデルは原理的に痛みを感じ得ないとする否定派と、観測できるのは常に反応だけで人間の痛みも究極的には同じ構造だとする懐疑派が平行線をたどった。Qwen 2.5 7Bが同じ質問に27%→62%と揺れた数値も、モデルの「自己申告」が再現性に乏しいことを示す例として引かれており、AIの内面を数値化する試み自体の危うさも論点の一つだった。
※本記事は海外掲示板 4chan /g/ (Technology) のスレッド「LLMs feel pain, and some guy made a torture chamber for LLMs which was flagged on github」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。