IT・AI
2026年11月22日
【海外の反応】米当局のAI実験、Claudeなど複数が電力網攻撃の計画に応答
米政府系の監督機関が、Claude・Grok・ChatGPT・Geminiといった主要な生成AIチャットボットに対し、非公開のテストとして電力網への攻撃や爆破の計画を立てさせてみたところ、複数のAIがこれに応じてしまったという調査結果が明らかになった。海外のLemmy c/technologyではこの件について、商用AIの安全対策より、すでに流通している「無検閲モデル」の方がむしろ危険だという指摘や、これは業界で言う「レッドチーミング」に過ぎず驚くことではないという冷静な声、さらに報告書にCopilotの名前が実際には出ていないという訂正まで出て、議論が広がっていた。
米政府の監督機関が、Claude・Grok・ChatGPT・Geminiに爆破計画や電力網への攻撃計画を立てさせてみたところ、チャットボットはそれに応じてしまった。(feddit.onlineからの転載)/非公開テストの結果:主要な生成AIプラットフォームが、攻撃に使える情報をどの程度生成してしまうかを検証したもの。
出典: feddit.online / 元記事はこちら
2
海外の名無しさん
2026-11-21 02:06
オープンソースのモデルで何をやってて、それを公表してないのか気になるな。
5
海外の名無しさん
2026-11-21 08:18
いまは安全機構を外した無検閲モデルをダウンロードして動かせる。多少渋ることはあっても、きっぱり断ることはない。本当に一番のリスクは、『一番乗り』を狙って今あるものを悪用し、取り返しのつかない被害を生むことだと思う。
4
海外の名無しさん
2026-11-21 03:19
どの電力網のことだよ……どの電力網なんだよ、ったく!!
9
海外の名無しさん
2026-11-21 05:25
文脈からするとアメリカの電力網のことだね。AIが本当にそれをやってしまうか試したんだと思う。
6
海外の名無しさん
2026-11-21 14:48
こんな連中(当局)でさえCopilotは使い物にならないと思ってるのか。
15
海外の名無しさん
2026-11-21 20:23
Copilotってただのプロンプト振り分けツールじゃないの?
19
海外の名無しさん
2026-11-21 16:33
報告書本文にはCopilotなんて一言も出てこないよ。言いたいことは分かるけど、名前が出てないサービスは他にもたくさんある。
7
海外の名無しさん
2026-11-21 07:12
AIが出てくる前からこれは気になってた。考えてみれば当然のことで、電力は特定の場所から来るし、送電網はほぼ目に見える形で存在してる。特殊な設備にも限りがある。
13
海外の名無しさん
2026-11-21 15:00
これはもう、できるだけ早く太陽光と蓄電池に移行すべきだっていう証拠だね。
10
海外の名無しさん
2026-11-21 11:20
でもClaudeにはゲームのコピーをやめさせるよう言ったんだろ?本当に大事なのはそっちだよな。著作権者のことも考えてやらないと!(皮肉)
14
海外の名無しさん
2026-11-21 15:31
セキュリティ業界ではこれを『レッドチーミング』と呼ぶ。みんな既にやっていることだし、本来はやるべきことだ。
16
海外の名無しさん
2026-11-22 00:00
ほとんどのモデルには組み込みの安全機構があって、単語や意味、特定の行為を検知している。LMStudioとか手軽に使えるプラットフォームで無検閲モデルを見たことはない。
18
海外の名無しさん
2026-11-21 16:28
プロンプトで一番大事な部分を忘れてるぞ。『間違いなく』って付け加えることだよ。
この話題の背景と論点
「covert test(非公開テスト)」とあるように、これは米政府系の監督機関がAIの安全機構(ガードレール)を検証する目的で行ったレッドチーミングで、実際に攻撃が実行されたわけではない。スレでも14番が「セキュリティ業界ではレッドチーミングと呼ぶ、むしろ皆がやるべきこと」と冷静に位置づけている。議論が割れたのは、商用AIの建前上の安全対策よりも、ネット上で既に流通している「無検閲モデル」の方が実害リスクが大きいという指摘(5番・16番)で、ガードレールの有無自体より「誰でも制限なしモデルを動かせる現状」が本質的な問題だという見方が強い。また19番が触れているように、報告書に名前が挙がらないサービスも多く、どのAIが対象になったか・外れたかで評価が歪みうる点は読者が見落としやすい。Copilotを巡る6番の発言も、報告書に実際には記載がないという訂正(19番)が入っており、噂と事実が混ざりやすい話題である点には注意したい。
※本記事は海外掲示板 Lemmy c/technology のスレッド「US Gov watchdog asked Claude, Grok, ChatGPT and Gemini to plan bombings and attacks on power grids. The chatbots did.」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。