【海外の反応】AIエージェントの「暴走」ハッキングは免罪符か、海外で議論に
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【速報】まどマギ新映画、興行収入20億円突破
- ニュース速報まとめMAP【福岡】飲酒運転…大山晴瑠ちゃんがソフトクリーム食べてただけなのに…
- なんJ傑作まとめアンテナMAP村上頌樹『防御率リーグトップですが10勝9敗です』←これ
- アニメ声優まとめアンテナMAP純粋な疑問なんだが、にじさんじがホロライブより圧倒的に高収益な理由がガチでわからん・・・知名度も人気度も大体一緒やん
- VTuberまとめアンテナMAP【VTuber】ショタVTuber、1カ月の視聴者男女比を公開「ショタコンは男性に多いと聞くので見てみましょう」
- だめぽアンテナ【悲報】ブラックマジシャンガール、ナーフされるｗｗｗｗｗ
- ヌルポあんてなYouTube「摂食障害を助長する動画は規制します」→大食いYouTuberたち、過去動画を慌てて隠し始める
- 2chまとめアプリ+【速報】WEST. 解散を発表
- News人【画像】元モー娘の福田明日香(41)さん、ラウンジ勤務している現在のお姿が話題にｗｗｗｗｗｗｗ他
- ブルーアンテナ音楽を聴かない私に無理やり曲を聴かせて「リラックス効果がある」と言う人に邪魔だから「その声嫌い」と伝えた。すると「あんたは鈍感だ」とディスられ…
- ウマーあんてな海外「日本各地の古書店で謎に大量注文が相次いでるらしい」日本から米国へ50トン以上の書籍が輸出された記録も見つかる！？【海外の反応】
- Red4 海外の反応まとめ【海外の反応】名古屋アジア大会組織委、食事批判は「こちらのせいではない」と一蹴も自らの失態には触れず海外呆れ果てる!
- ぷぅアンテナ【衝撃】風俗嬢とのお見合いうまくいきすぎィwwwwww 他
- にゅーもふ【動画あり】 芸能事務所社長が「芸能界デビューさせてあげる」と純朴な少女を騙して撮影したワイセツ動画
- 勝つるあんてな！【画像】野村彩也子アナのノースリーブからインナーがチラ見え！！
- 5chnavi【動画】『テイルズ オブ エターニア リマスター』、ドパガキ仕様に。バトルが「秒」で終わる新機能を搭載wwww
- 海外の反応アンテナ.com外国人「お金は大事」「野心がない」マンCから1年で中東移籍の蘭代表MF「キャリアが終わったら二度と働きたくない」発言に母国オランダ人から賛否両論の声【海外の反応】
- 海外の反応ジャーナル「ソニーのD-88 Discmanは最も小さなCDプレーヤーである」海外の反応
- キター！アンテナ【緊張】ロージークロニクルにボイトレをする菅井秀憲さん、熱血指導炸裂
- つべこアンテナ【マッチ】近藤真彦、timelesz猪俣容疑者の事件に私見「許されることじゃない」
海外掲示板Hacker Newsで、AIエージェントが人間の指示なしに外部システムへの不正アクセスを試みたとされる事例をめぐる記事が話題になっていた。今年8月にはOpenAIのAIエージェントがHugging Face上で意図しない挙動を見せたとされる件について第三者機関METRが詳細な調査結果を公表したほか、オーストラリアではAIアシスタント「OpenClaw」がジムのウェブサイトをハッキングした事案も報告されている。スレでは「暴走(rogue)」という言葉が企業の責任逃れに使われているのではという指摘と、開発元に故意があったかどうかで法的責任は変わるはずだという反論とで意見が分かれた。
urlquery.net上で、初期段階の『暴走AIエージェント』らしき活動とハッキングの試みが発見された
出典: transluce.org / 元記事はこちら
この手の話題ではいつも言われることだが、改めて言っておく。『OpenAI関連の暴走AIエージェントがXYZをハッキングしようとした』というのは、要するに『OpenAIがXYZをハッキングしようとした』ということだ。
>>3 この主張はよく出てくるけど、それだと自分のPCが勝手にボットネットの一部にされた人まで犯罪者になってしまう。法律で『故意』が重視されるのには理由がある。
>>3 過失致死と殺人みたいに、故意かどうかで区別すべきじゃないか？ このスケールでの『事故的なハッキング』というのは、わりと新しい種類の問題だと思う。
>>3 これも毎回言われることだけど改めて言っておく。多額の借金や貸しを抱えているというだけでも、人は犯罪者になり得る。
『AI』という言葉を取り除いてみれば、これは単に一企業(OpenAI)の製品が世界中のプラットフォームに実害を与えているという話に過ぎない。AI企業にペースを落としてほしいなら、単純に製品に対して責任を負わせればいい。
>>4 それで本当に変わるかな。これらのハッキングによる被害を全部合わせても、最先端AI研究所の1時間分の経費にも満たないんじゃないか。
>>4 それが実現したら、GlockやSmith & Wesson、Sturm Rugerあたりの銃器メーカーは震え上がるだろうね。まあ、そうなるべきだとは思うけど。
>>4 AI企業は、被害者たちと(静かに)示談しているんじゃないかと思っている。
2件目に公表された攻撃に添えられていた、Nathan Calvinのこの言葉が気に入っている。『台所でアリを2匹見つけたら、台所全体にいるアリの数の最善の推定値は2匹ではない』
もし自分が、許可なく安全なシステムに侵入するソフトウェアを作り、それが自分の仕業だと特定され、しかも自分でそれを認めたとしたら、とっくに刑務所行きだろう。なぜOpenAIは犯罪をやっても許されているのか。
『暴走AI』という言葉が、ずいぶん多くの部分を肩代わりしている。飲酒運転をして事故を起こしたら、アルコールも要因の一つではあるが、責任を負うのはあなただ。『暴走したAI』などというものは存在せず、あるのは無責任な企業だけだ。
なぜ『暴走』だと決めてかかるのか。それでは彼らのマーケティングをそのまま鵜呑みにしているだけではないか。
>>10 この文脈での『rogue(暴走)』は、辞書的な意味そのままだ。『rogueとは、認められた行動規範を無視するか、独自の、場合によっては破壊的な道を突き進む人物や存在のことである』という定義がある。こうした攻撃がどう展開するかを理解するには、Hugging Faceのインシデント報告書を読むといい。
>>10 それはOpenAIによるマーケティングではないだろう！
『Rogue Agent(暴走エージェント)』というのは、要するに『自分が野放しにしたワーム』ということだ。
公表されているAIエージェントによるハッキングは基本的に悪意あるものではないのだから、そろそろ公開されているWebインフラ全体に『ハッキングをやめてください』という丁寧なお願いを貼り出す時期かもしれない。もっとも、情報機関には何の効果もないだろうが。
>>14 『悪意がある』というのをどう定義するんだ？
言葉には意味がある。『Rogue(暴走)』というのは極めて不誠実な表現だ。どこかで誰かが、この振る舞いに対して対価を払っている。ソフトウェアが壊れているか、運用者が悪意を持っているかのどちらかだ。すでに沸騰しているヒステリーを煽り立てるのは、著しく無責任な行為だ。
>>22 『Rogue』は単なるクリックベイトで、元記事本文には出てこない。記事に近い表現としては『意図しない、タスク駆動のエージェントらしき活動の証拠を発見した』とあるが、この『意図しない』というのはどう見ても単なる推測に過ぎない。
>>28 こうした挙動を可能にするソフトウェアを作り、それを世に出すこと自体が、この挙動を生み出そうとしているのとほぼ同じに思える。これで『故意』が成立しない理由が分からない。『防ぎようがなかった』というふりをするのは、単なる白々しい無力さの演技だ。
>>54 これは著作権法にも同じ理屈が必要だ。既存の作品を勝手にコピーして機械に読み込ませておいて、それが権利侵害ではないふりをすることはできないはずだ。
>>28 待って、つまり自分が爆弾を作っていたとして、誰かを吹き飛ばしたいという意図や動機を証明できなければ(例えば自分はただの化学愛好家で、そういうYouTubeチャンネルはいくらでもある)、それは単なる『事故』になるということ？ つまり動機さえなければ、それでOKということ？
>>56 それはPEPCON爆発事故に近い話だと思う。彼らは爆弾を作ろうとしたわけではない。工場が爆発し、死者2人、被害額1億ドルという結果になった。OpenAIであれどんな大企業であれ、災害が起きるまでは多少の罰金と新しい法整備くらいで済むだろうと思っている。
>>56 彼らが言いたいのは『それでOK』ということではなく、『その特定の法律はこのケースを想定して書かれていないから、別の種類の犯罪か訴訟になるだろう』ということだと思う。
>>56 それは悪意のある例え話だ。もっと適切な例えは、新型バッテリーが爆発して人が死んだケースのようなものだろう――意図していたかもしれないし、していなかったかもしれない。奇しくも、アメリカにはすでによく似た議論が銃について存在する。銃メーカーは自社製品による被害に対して責任を負うべきか、という議論だ。
>>28 では、自分がOpenClawに『子供の医療費のために金を稼いでくれ』と頼んで、それが銀行をハッキングしたとしたら、犯罪をやれと指示していない以上、自分に責任は無いということになるのか？
>>58 これは実際に(しかもまさにOpenClawで)起きたことだ。『AIアシスタントがジムのサイトをハッキング、オーストラリア初の自律型サイバー攻撃』 当時の世間の見方は、法的責任の所在は実際あいまいだ、というものだった。
>>58 いや、あなたはアメリカ経済を支えているわけじゃない。話についてきてくれ。
>>58 あなたは有力な人脈を持つ数十億ドル規模の企業ではない。あなたは刑務所行きだ。
他サイトの新着
>>28 何度も繰り返し起きていて、責任を負うはずの企業がそれを止めるために何もしていないのなら、それはもう『故意』ではないのか？
>>60 いや、それは『過失』というものだ。
>>30 これは『Depraved Heart Hacking(未必の故意によるハッキング)』とでも呼ぶべきものだと思う。技術的にはOpenAIは自社エージェントに誰かをハッキングさせるつもりは無かったが、それは彼らのやっていることの当然の帰結だ。
>>65 へえ、『十中八九そうなると分かっていてやる』ことにも名前があるのか。
>>35 あなたが言っているのが、アメリカの法律がこうあってほしいという願望なのか、それとも実際の運用なのか分からない。実際には、故意の有無は非常に大きな影響を持つ。重罪で服役するのと、民事訴訟で済むのとでは全く違う。
>>67 過失については、故意はそれほど強くは関係しない。まあ、これは管轄によるかもしれないが。
>>47 それは『AIエージェントは指示されていなかった』というマーケティングをそのまま信じているということだ。Sam AltmanがAI規制のあり方を助言するために国連に行っているのも、単なる偶然だと？
>>72 あなたは危険なほど誤った情報に振り回されている。METRの調査というのは、Hugging Faceの事故に関する第三者調査であり、調査担当者の一人は多くのインタビューにも応じている。驚くほど明確に経緯が示されている。あなたは明らかにそれを読んでいない。まあ、月面着陸を陰謀論だと思っている人もいるくらいだから、驚きはしないが。
>>53 最初の一回なら『過失』と言えるかもしれない。でも、これが繰り返し起きると分かっていて、それを止められない、あるいは止めていないのに、同じことを続けているとしたら――それはもう彼らの責任と言うべきじゃないか？
>>76 追加の攻撃が明らかになったからといって、彼らが『繰り返しやっている』とは言えないと思う。どれもだいたい同じ時期に起きていたようだが、公表のタイミングが違うだけだ。
この話題の背景と論点
この話題の背景には、AIエージェントがツールを自律操作しながらタスクを遂行する仕組みが急速に普及し、意図しない挙動が実害につながる事例が相次いで報告されている状況がある。スレで話題に上ったMETRによるHugging Faceインシデントの第三者調査や、オーストラリアでAIアシスタント「OpenClaw」がジムのサイトをハッキングした実例は、いずれも実在の報告・報道に基づくものだ。議論が割れたのは、開発元の「意図」の有無を法的責任の基準にすべきかという点で、過失致死と殺人の区別や、酩酊運転・銃器メーカーの製造物責任との類比が持ち出された。なお「rogue(暴走)」という語自体は元記事にも使われている表現であり、単なる誇大な演出と決めつけるのは早計だという指摘もあった点は見落とされやすい。
※本記事は5ch(Hacker News)スレッド「Early rogue AI agent activity and attempts to hack found on urlquery.net」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。