IT・AI
2026年10月4日
OpenAIの安全性担当者が辞任、「組織文化が壊れている」と警告
Hacker Newsで、OpenAIの安全性担当者が退職し、同社の文化は「壊れている」と警告したというThe Guardianの記事が話題になっていた。同じタイミングで、OpenAIやDeepMindで働いた経験を持つGeoffrey Irving氏(現Resolutionのチーフサイエンティスト)も同様の警告に加わったという。スレでは、退職者の動機を「株式が確定した後の良心の目覚め」と疑う声と、動機よりも「外部からの安全対策が必要かどうか」という論点自体を見るべきだという反論が対立した。さらに、解決策が組織文化の変革なのか、それとも法律や規制なのかという点でも意見が分かれていた。
OpenAIの安全性担当責任者が退社、AI企業の文化は「壊れている」と警告
出典: theguardian.com / 元記事はこちら
2
海外の名無しさん
2026-10-04 01:05
元のAtlantic記事へのアーカイブリンク: https://archive.ph/5GQx8 これはGuardianが元記事の存在を報じているだけなので、個人的には元のAtlantic記事を先に読む方がいいと思う。
4
海外の名無しさん
2026-10-03 23:23
本人がどう思われようと知ったことじゃない。株式の権利が確定するタイミングまで働いて、急に『目が覚めた』って? PR会社まで雇ってるみたいだし。安全性とアライメントが本物の問題なのは分かるけど、この人やAnthropicの人のことはよく分からない。贅沢な悩みだよ。
24
海外の名無しさん
2026-10-04 00:17
>>4 それは外部からの安全対策が必要かどうかという論点とは関係ない、人格攻撃に見える。
25
海外の名無しさん
2026-10-04 00:12
>>4 遅くなっても、自分が間違っていたと認めるのは悪いことじゃない。
26
海外の名無しさん
2026-10-04 00:50
>>4 AIへの警告を発する人を信用しないための虎の巻を教えてあげよう。・AI企業出身なら『どうせ偽善者だ』と言う・AI企業出身でないなら『どうせ何も分かってない』と言う
5
海外の名無しさん
2026-10-03 23:45
AI企業向けに人力でデータ学習させる仕事をしていたことがある。OpenAIのプロジェクトは間違いなく一番ひどかった。
8
海外の名無しさん
2026-10-04 00:00
AIの安全性を実現する現実的な方法ってあるのか? そもそも『安全』って何を指してるんだ。ユーザーがAIで馬鹿なこと・危険なことをするのをどうやって防げるんだ?
30
海外の名無しさん
2026-10-04 00:18
>>8 100%安全なものなんて存在しない。安全性と利益のバランスをどう取るかの話だ。言い換えれば、『AIを開発した場合の破滅確率』と『AIを開発しなかった場合の破滅確率』の二つがあって、後者はあまり議論されていないと思う。
31
海外の名無しさん
2026-10-04 00:25
>>8 既存モデルの性能で上限を固定して、それ以上の開発を禁止すればいい。
9
海外の名無しさん
2026-10-03 23:09
いやこれはOpenAIにとって最高の兆候だな。きっとあの『誤字入り包括的メモ』が俺たちを救ってくれるんだろう。
11
海外の名無しさん
2026-10-04 00:45
もうこれニュースなのか? OpenAIのリリース時期って、また安全担当者が抗議で辞めたかどうかで逆算できるレベルだろ。
14
海外の名無しさん
2026-10-04 00:48
『個別の規則や新しい法律より、もっと深いところ、つまり文化について話す必要がある』…笑える。社員一人が考える『文化』みたいな抽象的な概念が、『規則や法律』より優先されるべきだとでも言うのか、説明してほしいね。
18
海外の名無しさん
2026-10-03 23:25
LeCunの記事がこれと同時に出てるのは実に的確だ。この『安全性』担当者たちは、サイバーセキュリティの教科書をもっと読んで、EAフォーラムやLessWrongを読む時間をもっと減らすべきだった(Robinsonの場合は政策オタクをやる時間を)。そうすれば、こういうAI企業も完全に無能ではいられなかったかもしれない。
38
海外の名無しさん
2026-10-04 00:56
>>18 適応せよ。反応せよ。再適応せよ。的確、ってね。
20
海外の名無しさん
2026-10-03 23:27
>>3 彼が他分野の安全対策から学ぶ必要性を挙げていることからすると、後者の意味だと思う。
39
海外の名無しさん
2026-10-04 00:03
>>20 実際、記事にはこうある。『今日のリスクを踏まえれば、最前線の研究所は原子力発電所や混雑した空港のように、多重の冗長性と時間のかかる慎重な計画を持って運営される必要がある。それによって、避けられない人的ミスが災害への入り口にならないようにするためだ』と彼は書いている。
45
海外の名無しさん
2026-10-04 00:23
>>39 嫌味じゃなく聞きたいんだけど、『時間のかかる慎重な計画』なんて、彼らが普段 a) とにかく速く動いて壊す、コストは無関係の人たちに押し付ける b) 世間が同意してもいないのに世間を相手にベータテストする ってことに夢中なのに、どうやって実現するんだ?
46
海外の名無しさん
2026-10-04 00:29
>>39 『避けられない人的ミス』か。じゃあAI自体のミスはもう存在しなくて、人間のミスだけが残ってるってことか? いいね(笑)。この記事、全部AI生成のスラップ(質の低い文章)なんじゃないの?
21
海外の名無しさん
2026-10-03 23:32
>>3 くだらない仮説的シナリオを心配する専門職なんて、別に必要ない。少なくとも有給の仕事としては。そういうのをやるSF作家はもう十分すぎるほどいる。
41
海外の名無しさん
2026-10-04 00:45
>>21 もし組織が本当に人間より賢いAIを作ることに成功したら、それが我々の利益に沿った行動を取ることをどうやって期待するんだ?
42
海外の名無しさん
2026-10-04 00:12
>>21 その話を『くだらない』と思う根拠は何だ? チャットボットが画面から出てきて物理的に危害を加えられないから? 仮にインターネットを落とすことに成功したら、何人死ぬと思う?
27
海外の名無しさん
2026-10-04 00:06
>>4 OpenAIやAnthropicで安全性の仕事をするのは『ファーストワールド』どころか『ゼロスワールドの悩み』だよ。
28
海外の名無しさん
2026-10-04 00:02
>>4 まあまあ、彼はきっと寄付もたくさんしてるよ(完全に自分で管理権を握ったまま、60%の税額控除を受けられる寄付者助言基金に、だけど)。
29
海外の名無しさん
2026-10-04 01:05
>>6 その通り。自動運転車やライドシェアも同じ問題を抱えてる。無人の車が人をはねたら、誰が賠償するんだ? 政府がルールを決めない限り、そもそも実現しないよ。
32
海外の名無しさん
2026-10-03 23:19
>>12 補足: その引用は、辞任した本人とは別の人物の発言だ。『OpenAIとDeepMindで働いた後、ResolutionのチーフサイエンティストになったGeoffrey Irving氏も、土曜日にAIへの警告の声に加わった』とのこと。
33
海外の名無しさん
2026-10-04 00:39
>>13 俺は信じない。生まれてからずっと『何かが人類を滅ぼす』と言われ続けてきた。これも『今度こそ人類を滅ぼす新しいやつ』なんだろ。信じないよ。
34
海外の名無しさん
2026-10-03 23:31
>>17 じゃあ、Therac-25の放射線事故みたいなもの? ソフトウェアのバグが物理的な結果を招くことは実際にあるよ。
35
海外の名無しさん
2026-10-03 23:50
>>17 これらの企業を辞めた人たちが、なぜその企業に有利になる規制の既得権化(規制の虜)を推し進めようとするんだ? 独立した多数のAI研究者たちが同じことをするのはなぜだ? 全部大きな陰謀なのか?
36
海外の名無しさん
2026-10-03 23:27
>>17 そうだね。そして『終末論者』たちの発言は、その人たち自身について多くを語っているけど、技術そのものについては何も語っていない。
37
海外の名無しさん
2026-10-04 00:12
>>17 確かに、暴走しうる物理的インフラではあるよな。原子炉よりは被害が小さいだろうけど。
43
海外の名無しさん
2026-10-04 00:43
>>24 絡んでいる金額を考えると、こういう大々的に報じられる『英雄的な辞任』を額面どおりには受け取れないな。
52
海外の名無しさん
2026-10-04 00:51
>>43 むしろ逆じゃないか? OpenAIで働き続けた方が大金を稼げたはずだろ。Daniel Kokotajlo氏が辞任したときのことを思い出してほしい。彼は、守秘義務契約(誹謗禁止条項)に署名しないために、契約条件上、自分の株式を放棄することになると分かっていた。それが彼にとってそれだけの価値があったということだ。それは何か意味を持つんじゃないか?
47
海外の名無しさん
2026-10-04 00:59
>>40 いや、パンデミックは目新しいものじゃないだろ。AIの破滅シナリオとは違って。
48
海外の名無しさん
2026-10-04 00:56
>>41 まあね。俺より頭がいい人なんてもう山ほどいる。俺は平均よりちょっと上くらいだろう。そういう天才たちも俺の利益に沿って行動してるわけじゃないけど、今まで深刻な問題を起こされたことはないよ。
53
海外の名無しさん
2026-10-04 00:26
>>45 それがまさに問題なんだろ? 彼はOpenAIの文化を変える必要があると言ってるんだから。
57
海外の名無しさん
2026-10-04 00:36
>>53 それは間違った教訓だ。彼らを従わせるには法律と罰則が必要だ。文化が変わる可能性はゼロだよ。
54
海外の名無しさん
2026-10-04 00:59
ノーベル賞の多くは取り消されるべきだ。https://lexfridman.com/andrew-scull-transcript#the-ice-pick-…
この話題の背景と論点
OpenAIでは過去にも安全チームの退職が相次いでおり、スレ内では以前の退職者Daniel Kokotajlo氏が非誹謗条項を拒否するために株式を手放した例も引用されていた。今回の退職者は、原子力発電所や空港のような「多重の安全策と慎重な計画」を業界に導入すべきだと主張しているが、スレでは「AIへの懸念を表明する人は、業界出身なら身びいきのある利害関係者、業界外なら素人、と理由を問わずに片付けられがちだ」という指摘が印象的な反応を集めていた。一方で、AI開発を進めないことで生じるリスク(いわゆるP(Doom))が十分議論されていないという指摘もあり、安全性を巡る議論は「文化の問題」か「法規制の問題」かで割れたままだった。
※本記事は5ch(Hacker News)スレッド「OpenAI safety leader quits, warning AI company’s culture is ‘broken’」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。