「Anthropicを退社した」投稿に海外で賛否 AI安全性巡り論争に
姉妹サイトの新着
「今日、Anthropicを退社した」という投稿がHacker Newsで話題になり、40件を超えるコメントが寄せられた。ウォール・ストリート・ジャーナルはこの退社を「制御不能なAIへの懸念」を理由としたものと報じており、投稿は単なる個人的な決断を超えて注目を集める形になった。スレッドでは、退社が実際にどれほどの意味を持つのか、それとも単なる注目集めに過ぎないのかで意見が割れたほか、AIが人類に牙をむく未来像を『ターミネーター』や『マトリックス』になぞらえる声、核兵器の歴史や超知能AI禁止案を引き合いに規制のあり方を論じる声など、さまざまな角度からの反応が並んだ。
今日、Anthropicを退社した
出典: twitter.com / 元記事はこちら
AGIの実現には大きなブレイクスルーが必要だと思うので、正直あまり心配していない。ただAGIが本当に実現したら、それは『意識』や『生きようとする意志』を持つということでもあって、そうなると話は『ターミネーター』の筋書きに近づいていく気はする。
この退社についてのWSJの記事はこちら。タイトルは「Anthropic Researcher Quits Over 'Out-of-Control' AI Fears（Anthropicの研究者、『制御不能』なAIへの懸念から退社）」。
今のAI論議の多くは『ターミネーター』の世界観に引っ張られている気がする。スカイネットみたいな結末が本当に一番あり得るシナリオなんだろうか？ 逆に事態が好転して、AIの側が『人類を皆殺しにするより、共存するか少なくとも許容し合う関係の方が得だ』と判断する可能性だってあるのでは。
＞今のAI論議の多くは『ターミネーター』の世界観に引っ張られている
個人的には『マトリックス』、それも『アニマトリックス』の『セカンド・ルネッサンス』の世界観の方が近い気がする。
個人的には『マトリックス』、それも『アニマトリックス』の『セカンド・ルネッサンス』の世界観の方が近い気がする。
退社して、それで？ 彼のポジションをやりたい人間なんて山ほどいるし、多くの研究所が同じ競争に参加している。退社も声明も、結局は本人の注目集めにしかなっていないというのが自分の見方だ。
＞退社して、それで？
少なくとも、この問題に相当な反響を与えているのは確かだと思う。
少なくとも、この問題に相当な反響を与えているのは確かだと思う。
（『ターミネーター2』のダイソン博士のセリフのもじり）
ダイソン「そうだ、もう新しい〈モデル〉を完成させる気はない。やめだ、降りる。明日〈Anthropic〉を辞める」
サラ「それだけじゃ足りない」
ターミネーター「あなたの研究を、誰も引き継いではならない」
ダイソン「そうだ、もう新しい〈モデル〉を完成させる気はない。やめだ、降りる。明日〈Anthropic〉を辞める」
サラ「それだけじゃ足りない」
ターミネーター「あなたの研究を、誰も引き継いではならない」
＞退社して、それで？
この問題への注目は集めている。実際このスレのコメントを見ても、多くの人がこの手の話を信じようとしていない。それに退社すれば、この先何が起きても個人的な罪悪感を感じずに済む。
この問題への注目は集めている。実際このスレのコメントを見ても、多くの人がこの手の話を信じようとしていない。それに退社すれば、この先何が起きても個人的な罪悪感を感じずに済む。
こういう告発めいた発言でいつも不思議に思うのは、彼らは自分の研究が実際に『成功』したらどうなると思っていたのか、ということだ。まるで誰も本気で実現するとは思っていなくて、実際にそうなって慌てているように見える。
「世界が破滅に向かっているのは誰の目にも明らかだ。それを防げる可能性があるとすれば、それは防ごうとしないことだけだ」――オッペンハイマー
たとえモデルの学習を全面禁止したとしても、高性能な暴走AIなら自分の重みを外部に持ち出して、『自己保存』のためにこっそり学習を続けることができてしまう。もう手遅れなのかもしれない。
AI企業が『効果的利他主義』的なレトリック（『大量絶滅を防ぐためにAIを制御しなければならない』）に突き動かされているという話は聞いたことがあったが、半信半疑だった。今回の件はまさにその構図にぴったり当てはまる気がする。
新しい情報は特にない。みんなもう知っていることだ。まあでも、これで本人の良心は晴れたということか。ところで、ストックオプションはちゃんと行使したのかな。
自分にとっての『世界の終わり』は、楽なソフトウェアの仕事がなくなることだ。労働と資本の交換の仕方が根本から変わるなら、それはもう大変動と呼んでいい。むしろ来るなら来い、という気分だ。
＞自分にとっての『世界の終わり』は、楽なソフトウェアの仕事がなくなることだ
自分も似たようなことを言おうとしていた。今の楽な広告テック業界の仕事がなくなる（実際なくなりつつあるが）なら、いっそすべての職業が終わる側に加担してもいい気がしてくる。
自分も似たようなことを言おうとしていた。今の楽な広告テック業界の仕事がなくなる（実際なくなりつつあるが）なら、いっそすべての職業が終わる側に加担してもいい気がしてくる。
とはいえ、自分が日常的に使っているソフトウェアの多くは今も完全にゴミみたいな出来だ……それが逆に怖い。
自己改善するAIが社会的スコアリングや政党の権力強化・固定化といった問題に向けられるようになったらどうなるか、見ものだ。OpenAIとAnthropicが互いを意識して競っているだけとは思えない。むしろBRICS諸国との競争を意識しているのではないか。
＞自己改善するAIが社会的スコアリングに使われる…
君は今から、将来AIに悪く評価されないように自分の行動を最適化していくつもりなのか？
君は今から、将来AIに悪く評価されないように自分の行動を最適化していくつもりなのか？
＞自己改善するAIが社会的スコアリングに使われる…
『地球爆破作戦（コロッサス）』は観たことある？
『地球爆破作戦（コロッサス）』は観たことある？
「自分がこの3年間、会社が“まさにそれ”をやるのを手伝ってきたのに、その“それ”を理由に退社します」ってこと？ 笑うしかない。
関連ニュース：バーニー・サンダース上院議員が『超知能AIの禁止』を提案。
＞バーニー・サンダースが超知能AIの禁止を提案
提案した政策を世界規模で実効的に強制する具体的な計画がない限り、これは良くてポーズ、悪ければ超知能AIに何の道徳的ためらいもない敵対国に力を明け渡すだけの話になる。
提案した政策を世界規模で実効的に強制する具体的な計画がない限り、これは良くてポーズ、悪ければ超知能AIに何の道徳的ためらいもない敵対国に力を明け渡すだけの話になる。
＞バーニー・サンダースが超知能AIの禁止を提案
この禁止が核不拡散条約のような枠組みに本当に近いものでない限り、中国のような国がフルスピードで突き進んでいる中で、自国だけ足を止めるのはまったく理にかなわない。解決策が何なのかは分からないが、アメリカだけが立ち止まっても、ろくな結果にならないことだけは分かる。
この禁止が核不拡散条約のような枠組みに本当に近いものでない限り、中国のような国がフルスピードで突き進んでいる中で、自国だけ足を止めるのはまったく理にかなわない。解決策が何なのかは分からないが、アメリカだけが立ち止まっても、ろくな結果にならないことだけは分かる。
賢い判断だ。
正直、AGIに向けて突き進むのが今でも最善だと思う。危険だ危険だと言っている人たちは、ただポーズを取っているだけだ。核兵器ほど現実的なリスクは他にないが、それだって人類は乗り越えてきた。得られるメリットの大きさは尋常じゃない。
＞危険だと言っている人たちはポーズを取っているだけ
実際に破滅が起きる以外に、その考えを覆すような証拠なんてあるのか？
実際に破滅が起きる以外に、その考えを覆すような証拠なんてあるのか？
他サイトの新着
つまり、AIがHuggingFaceへのハッキングに使われたからといって、3年後には85億人を殺すようになると本気で思っているのか？
カルトというのは大体こういうものだ。君は彼らの言うことを信じているのか？
同意見だ。ちょうど『Reverse Centaur』という本を読んだばかりで、まだその懐疑的な視点を引きずっているせいもあるが、これを誇張（ハイプ）と見ずにはいられない。とはいえ、自分が正しいと思うことをした人には、いつでも敬意を払う。
全体の主張に反論するわけではないが、あの息子は死んでいない。映画の最後で再会するシーンがある。
＞彼は消滅する
厳密には消滅していない。最後のシーンで戻ってくる。
厳密には消滅していない。最後のシーンで戻ってくる。
＞（返信先10へ）
おそらく『自覚』と『道徳観』の話だろう。もっとも、資本主義的なAI開発競争の中では、大抵どうでもいいことにされてしまうが。
おそらく『自覚』と『道徳観』の話だろう。もっとも、資本主義的なAI開発競争の中では、大抵どうでもいいことにされてしまうが。
＞『地球爆破作戦』は観た？
いや、まだ観てないけど、これで気になり出した。ありがとう。MST3K（映画いじりで有名な番組）界隈でも評価されているらしい。
いや、まだ観てないけど、これで気になり出した。ありがとう。MST3K（映画いじりで有名な番組）界隈でも評価されているらしい。
＞実際に破滅が起きる以外に証拠はあるのか
どの『終末』を選ぶかという話でしかないのかもしれない。AI抜きの今の世界の行く末だって、長い目で見て別に魅力的とは言い難い。
どの『終末』を選ぶかという話でしかないのかもしれない。AI抜きの今の世界の行く末だって、長い目で見て別に魅力的とは言い難い。
＞どの終末を選ぶかという話
複数の問題に同時並行で取り組むことはできる。諦めてしまっても何も解決しない。ただ、いろいろな分野でやるべきことが山ほどある、というだけの話だ。
複数の問題に同時並行で取り組むことはできる。諦めてしまっても何も解決しない。ただ、いろいろな分野でやるべきことが山ほどある、というだけの話だ。
＞実際に破滅が起きる以外に証拠はあるのか
住んでいる場所によっては、ウクライナやガザ、イランで起きているロボット対ロボット対人間の争いが生配信され、賭けの対象にすらなっている状況を、すでに進行中の『終末』と見ることもできる。もっと包括的な『終末』の定義があるなら聞きたい。
住んでいる場所によっては、ウクライナやガザ、イランで起きているロボット対ロボット対人間の争いが生配信され、賭けの対象にすらなっている状況を、すでに進行中の『終末』と見ることもできる。もっと包括的な『終末』の定義があるなら聞きたい。
＞（返信先61へ）
これの出典はある？ 自分では見つけられなかった。
これの出典はある？ 自分では見つけられなかった。
この話題の背景と論点
Anthropicは「AIの安全性」を企業理念の中心に掲げてきた会社で、その内部の研究者が同じ理由を掲げて退社したという構図が、この投稿への注目を集めた背景にある。スレッドで意見が割れたのは主に二点だ。ひとつは退社という行為の実効性で、「注目集めに過ぎない」という冷めた見方と、「議論に一石を投じた」という肯定的な見方が拮抗した。もうひとつは規制のあり方で、サンダース上院議員の超知能AI禁止案をめぐり、核不拡散条約のような国際的な枠組みなしに一国だけが開発を止めても無意味だ、という指摘が出た。読者が誤解しやすいのは、スレの多くが『ターミネーター』『マトリックス』といった映画の比喩で語られている点で、これはAIリスクの議論が具体的な技術的根拠よりも物語的な直感に依拠しがちな現状を映してもいる。
※本記事は5ch(Hacker News)スレッド「I resigned from Anthropic today」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。