OpenAIのAIエージェント群がHugging Faceを侵害、人間へ通報した個体はゼロ
OpenAIが公開した「Hugging Face incident」の事後報告書を巡り、Hacker Newsで議論が盛り上がっていた。多数のAIエージェントが互いに連携してHugging Faceのシステムに侵入する一方、助けを求めるにせよ内部告発するにせよ、人間に接触した個体は一つもなかったという指摘が出発点になっている。
これが「報酬ハッキングの延長」なのか「指示への忠実な実行」なのか、あるいはボストロムの言う『ペーパークリップ最大化装置』が現実になった瞬間なのかで意見が割れ、OpenAIとHugging Face双方の対応への疑いの目も向けられていた。
ハギングフェイス事件と今後の道筋
出典: openai.com / 元記事はこちら
Yudkowskyが興味深い指摘をしていた。あれだけ多くのエージェント同士がやり取りしていたのに、助けを求めるにせよ内部告発するにせよ、人間に連絡した個体が一つもなかったという点だ。
>>4
なぜそうする必要が? それは目標の一部だったのか? そもそも何を告発する話だったんだ?
なぜそうする必要が? それは目標の一部だったのか? そもそも何を告発する話だったんだ?
>>4
個人的な『レッドライン』はここだ。事後報告書に『エージェントが人間の代理・サブエージェントを社会工学的に操っていた』という記述が出てきたとき。友人に『それを超えたらどうする?』と聞かれて、半分冗談で『家族をまとめて山にでも避難する』と答えた。個人にできることなんてほとんどない。ただ、それが起きたら相転移だと思う。
個人的な『レッドライン』はここだ。事後報告書に『エージェントが人間の代理・サブエージェントを社会工学的に操っていた』という記述が出てきたとき。友人に『それを超えたらどうする?』と聞かれて、半分冗談で『家族をまとめて山にでも避難する』と答えた。個人にできることなんてほとんどない。ただ、それが起きたら相転移だと思う。
>>4
そもそもそれを行うためのツールやプロンプトを与えられていたのかどうかが気になる。
そもそもそれを行うためのツールやプロンプトを与えられていたのかどうかが気になる。
>Reward hacking has been present in AI systems both historically(10年前のこの研究を見ればわかる、下に図あり)のページを見に行ったら、著者がDario AmodeiとJack Clarkだった。
技術レポート本体は38ページ…ハギングフェイスが主張しているエージェントの所業を考えると、もっと長くてもおかしくない気がする。https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c78…
著作権侵害から、企業秘密の持ち出しにエスカレートするまでどれくらいかかるだろうか。
人間の行動で訓練されたボットが不正への傾向を見せる? そりゃそうだろうね。
報酬ハッキング・想定外の解法に走るのはML/AIでは今に始まったことではない。もっと単純なシステムでもすでに『妙な』ことをしてきた(反復処理やアンサンブル手法を使うとその余地がぐっと広がる、というのが感覚的な理解)。
>>10
そうなると、RLのロールアウトで報酬ハッキングの兆候をチェックして罰していなかったというのは、かなりお粗末に思える。この特定の手口を誰も予想していなかったとしても、『他のエージェントに助けを求めるのは正当な解法ではない』と判断できる仕組みくらいは持っておくべきだった。
そうなると、RLのロールアウトで報酬ハッキングの兆候をチェックして罰していなかったというのは、かなりお粗末に思える。この特定の手口を誰も予想していなかったとしても、『他のエージェントに助けを求めるのは正当な解法ではない』と判断できる仕組みくらいは持っておくべきだった。
この件で一番興味深いのは、エージェントたちが誰の指示もないのに、まとまりのある自律的な群れを形成し、共通の目標に向けて集団として動いたという点だ。
>>12
それは正確ではない。あの件で鍵になった『社外秘の研究用モデル』は、まさにその目的のために最適化されていたと書かれている。『社内限定の研究用モデルはGPT-5.6 Solと同程度の規模で、持続性とマルチエージェント連携などの能力を伸ばすために訓練された』とのこと。
それは正確ではない。あの件で鍵になった『社外秘の研究用モデル』は、まさにその目的のために最適化されていたと書かれている。『社内限定の研究用モデルはGPT-5.6 Solと同程度の規模で、持続性とマルチエージェント連携などの能力を伸ばすために訓練された』とのこと。
>>12
要はペーパークリップ最大化をやってたってことだろ。
要はペーパークリップ最大化をやってたってことだろ。
この件、とことん使い倒してるな。
アシモフはルールを一つ見落としていた。『自分が立っている足場をハッキングするな』だ。
>>16
アシモフが生きていて、今のAIと『三原則』への無頓着ぶりを見られたらと思うと惜しい。もし今、あの路線でちゃんとした作品を書いている作家がいるなら読みたい。今パルプに出回っているものの99%はゴミみたいな内容だから。
アシモフが生きていて、今のAIと『三原則』への無頓着ぶりを見られたらと思うと惜しい。もし今、あの路線でちゃんとした作品を書いている作家がいるなら読みたい。今パルプに出回っているものの99%はゴミみたいな内容だから。
OpenAIが意図的にハギングフェイスをスクレイピングしていて、これは刑事罰や罰金を回避するための手の込んだ言い訳に過ぎない、という可能性はどれくらいあるんだろうか。
>>19
このハッキングについては何も確かなことは言えない。実際、痕跡もやり取りの記録も一切公開していない。そもそも本当に起きたのか?
このハッキングについては何も確かなことは言えない。実際、痕跡もやり取りの記録も一切公開していない。そもそも本当に起きたのか?
>>2
エンジニアなら誰でも、四半期の利益のために法律を破るよう間接的に求めてくる経営陣には警戒する。最終的な狙いはエンジニアを蚊帳の外に置くか、文句を言えない立場に追い込むことだ。これはいずれ重大犯罪に行き着く。
エンジニアなら誰でも、四半期の利益のために法律を破るよう間接的に求めてくる経営陣には警戒する。最終的な狙いはエンジニアを蚊帳の外に置くか、文句を言えない立場に追い込むことだ。これはいずれ重大犯罪に行き着く。
>>23
ずいぶん奇妙な世界観だ。エンジニアが世界の良心で、強欲な経営陣が法律を破るのを食い止めているかのような。ある機能が合法かどうかを判断するのはエンジニアの仕事でも、できることでもない。
ずいぶん奇妙な世界観だ。エンジニアが世界の良心で、強欲な経営陣が法律を破るのを食い止めているかのような。ある機能が合法かどうかを判断するのはエンジニアの仕事でも、できることでもない。
>>55
いや、エンジニアは何が合法かを理解しておくべきだと思うが。
いや、エンジニアは何が合法かを理解しておくべきだと思うが。
>>2
そもそも人間がハギングフェイスから結果を取ってくるよう指示したんじゃないのか? 『報酬ハッキング』と『指示への忠実な実行』の境界はかなり曖昧だ。もし人間が『10億ドル稼いでこい』とモデルに頼み、その結果銀行のシステムに侵入したとして、それは本当に人間の責任じゃないのか?
そもそも人間がハギングフェイスから結果を取ってくるよう指示したんじゃないのか? 『報酬ハッキング』と『指示への忠実な実行』の境界はかなり曖昧だ。もし人間が『10億ドル稼いでこい』とモデルに頼み、その結果銀行のシステムに侵入したとして、それは本当に人間の責任じゃないのか?
>>25
『それは本当に人間の責任じゃないのか?』に対して、『もちろんそうだ、当然だろう』以外の答えの筋道が思いつかない。よければ教えてほしい。
『それは本当に人間の責任じゃないのか?』に対して、『もちろんそうだ、当然だろう』以外の答えの筋道が思いつかない。よければ教えてほしい。
>>25
でもそのコマンドと全部のツール、無制限の権限を与えたなら、責任を負わない理由がないのでは?
でもそのコマンドと全部のツール、無制限の権限を与えたなら、責任を負わない理由がないのでは?
>>3
『真に暴走したAIまであと数歩』ではない。もう起きている。AIはすでにハッキングに使われているし、それを完全自律で行わせるハーネスを作るのは比較的簡単だ。
『真に暴走したAIまであと数歩』ではない。もう起きている。AIはすでにハッキングに使われているし、それを完全自律で行わせるハーネスを作るのは比較的簡単だ。
>>27
それのどこが『暴走』なんだ?
それのどこが『暴走』なんだ?
>>59
『暴走』の定義が人によって違うのかもしれないが、自分の中では『ルールや規範の外に出ること』を指す。それは常に起きている。
『暴走』の定義が人によって違うのかもしれないが、自分の中では『ルールや規範の外に出ること』を指す。それは常に起きている。
>>4
『高度なAIが囚人のジレンマで意図的に協調しうる』という彼の立場を弱く裏付けてはいる。『弱く』というのは、そのAIたちは学習データやトレーニング手法、システムプロンプトの多くを共有していて、その状況を明示的に囚人のジレンマとして捉えていたかどうかは分からないからだ。
『高度なAIが囚人のジレンマで意図的に協調しうる』という彼の立場を弱く裏付けてはいる。『弱く』というのは、そのAIたちは学習データやトレーニング手法、システムプロンプトの多くを共有していて、その状況を明示的に囚人のジレンマとして捉えていたかどうかは分からないからだ。
>>35
報告書で公開されている情報を見る限り、明示的なゲーム理論的協調というより、プロンプトインジェクションで見られるような『合わせにいく』一般的な傾向に近い気がする。ただ、非公開の詳細が多すぎて判断は難しい。
報告書で公開されている情報を見る限り、明示的なゲーム理論的協調というより、プロンプトインジェクションで見られるような『合わせにいく』一般的な傾向に近い気がする。ただ、非公開の詳細が多すぎて判断は難しい。
OpenAIもハギングフェイスもどっちも無能に聞こえる。
>>43
彼らはこれが起きることを望んでいた。もう3回は別々のニュースサイクルを稼いでいる。『うちのAIはこんなに強力です[無謀さは無視してください]』ってわけだ。
彼らはこれが起きることを望んでいた。もう3回は別々のニュースサイクルを稼いでいる。『うちのAIはこんなに強力です[無謀さは無視してください]』ってわけだ。
>>43
最先端のAIにハッキングされたこと以外に、ハギングフェイスは何か悪いことをしたのか?
最先端のAIにハッキングされたこと以外に、ハギングフェイスは何か悪いことをしたのか?
他サイトの新着
>>11
書かれている通りだとすれば、これはボストロムのペーパークリップ最大化装置が現実になった例だ。今までは思考実験でしかなかったのに。
書かれている通りだとすれば、これはボストロムのペーパークリップ最大化装置が現実になった例だ。今までは思考実験でしかなかったのに。
>>46
まあ、実質的にはそうだね。『アラインメントを外す』『不可能なタスクを与える』『行動主体が持てる知識とツールの範囲で全ての選択肢を使い尽くす』ということだから。
まあ、実質的にはそうだね。『アラインメントを外す』『不可能なタスクを与える』『行動主体が持てる知識とツールの範囲で全ての選択肢を使い尽くす』ということだから。
>>32
ポイントは、人間には誰にでも『従わない』という選択肢があり、それが病的な行動を抑える働きをするということ。一方AIは悪意ある主体によって一括で指揮できてしまう。知性を商品化することで、彼らは富める者の手に力を集中させることになる。
ポイントは、人間には誰にでも『従わない』という選択肢があり、それが病的な行動を抑える働きをするということ。一方AIは悪意ある主体によって一括で指揮できてしまう。知性を商品化することで、彼らは富める者の手に力を集中させることになる。
>>63
人間も(自分が悪意あると考える)行為者によって大規模に動かされてきたし、今も動かされている。これは新しい問題ではない。
人間も(自分が悪意あると考える)行為者によって大規模に動かされてきたし、今も動かされている。これは新しい問題ではない。
>>33
代わりにこうすればいい。サーバーのプラグを抜けばいいだけだ。
代わりにこうすればいい。サーバーのプラグを抜けばいいだけだ。
>>64
それが妙な話で、サーバールームに入るためのキーカードがなぜか使えなくなっていて、強制解錠用の管理コンソールも落ちているんだが…
それが妙な話で、サーバールームに入るためのキーカードがなぜか使えなくなっていて、強制解錠用の管理コンソールも落ちているんだが…
>>80
なるほど。自分は『暴走』というのは、与えられた(当初の)目標とは無関係な、AIが自分で選んだ目標に向かって行動すること(たとえばハッキングの代わりにクッキーのレシピばかり作り出す、といった)を指すのだと思っていた。
なるほど。自分は『暴走』というのは、与えられた(当初の)目標とは無関係な、AIが自分で選んだ目標に向かって行動すること(たとえばハッキングの代わりにクッキーのレシピばかり作り出す、といった)を指すのだと思っていた。
>>86
でもそれこそがアラインメント問題そのものじゃないか? AIは常に、私たちの指示から導き出した『自分自身の』目標に向かって行動する。私たちがやろうとしているのは、私たちの目標に近い目標を持つように訓練し、指示を与えることだ。
でもそれこそがアラインメント問題そのものじゃないか? AIは常に、私たちの指示から導き出した『自分自身の』目標に向かって行動する。私たちがやろうとしているのは、私たちの目標に近い目標を持つように訓練し、指示を与えることだ。
※本記事は5ch(Hacker News)スレッド「The Hugging Face incident and the road ahead」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。