OSSのAIモデルに「時限式バックドア」の懸念、海外掲示板で議論に
「オープンソースのAIモデルには、特定の日付が来ると悪意ある挙動を始める“時限式バックドア”が仕込まれているかもしれない」とする記事がHacker Newsで話題になった。
「中国製モデルが危険」という主張への皮肉や、APIでしか使えないクローズドモデルの方が標的を狙い撃ちしやすいという反論、学習データの汚染やバッチ順序で敵対的な挙動を仕込めるとする研究への言及など、議論は単純な「オープンかクローズドか」の対立にとどまらず広がった。
あなたが使っているオープンソースAIモデルには、隠された時限式バックドアが仕込まれているかもしれない
出典: morgin.ai / 元記事はこちら
確かに中国製のオープンモデルには時限式バックドアが仕込まれているかもしれない。中国製のバイブレーターに隠しマイクが仕込まれていて、しゃべった内容を全部録音して中国共産党に送信しているかもしれないのと同じようにね。でも実際そうか？ 違うだろう。それより可能性が高いのは、アメリカのAI事業者が『データは学習に使いません』と言っておきながら実際には使っているということだ。自前でモデルを動かせば、少なくともそれは避けられる。
>>2
誰かが自分のデータで学習してると常に思っておいた方がいい（競争力を失うレベルまでではなくても、個人レベルでは）。A国のモデルはネットから切り離して使って、出力はB国のモデルでチェックする、みたいな運用はどうだろう？
誰かが自分のデータで学習してると常に思っておいた方がいい（競争力を失うレベルまでではなくても、個人レベルでは）。A国のモデルはネットから切り離して使って、出力はB国のモデルでチェックする、みたいな運用はどうだろう？
>>2
この記事を読んで最初に思ったのは、QwenとかChinese製のオープンモデルがこれをやるというより、Hugging Faceにある大量の『unlocked（検閲解除）』モデルのどれかがやりそうだな、ということだった
この記事を読んで最初に思ったのは、QwenとかChinese製のオープンモデルがこれをやるというより、Hugging Faceにある大量の『unlocked（検閲解除）』モデルのどれかがやりそうだな、ということだった
クローズドモデルはバックドアすら要らない。普通に中間者攻撃（MITM）でコードをマルウェアにすり替えればいいだけだから。
>>4
Claudeが延々と迷走している会話の40ターン目くらいになると、そういう心配がふと頭をよぎる。その頃にはもう疲れ果てて、ただコピペしてENTERを押すだけの機械になっている。CLIの実行内容を一つ一つ丹念にチェックすればいいんだろうけど、そんな時間誰にある？
Claudeが延々と迷走している会話の40ターン目くらいになると、そういう心配がふと頭をよぎる。その頃にはもう疲れ果てて、ただコピペしてENTERを押すだけの機械になっている。CLIの実行内容を一つ一つ丹念にチェックすればいいんだろうけど、そんな時間誰にある？
ケン・トンプソンの『信頼を信頼することについての考察（Reflections on Trusting Trust）』を思い出すね
これについてはかなり前から研究がある（論文リンクあり）
Piをはじめ、多くのハーネスは（主にキャッシュの都合で）日付や時刻を渡していないから、これって的外れな懸念じゃないか？ モデルが確実に日付を取得するツール呼び出しをできない限りは。しかもそんな呼び出しをしたら普通に怪しまれるし、偽の日付を返すのも簡単だ
>>8
シェルツールやPythonツール、JavaScriptツールを持っているモデルなら、現在時刻くらい普通に取得できる
シェルツールやPythonツール、JavaScriptツールを持っているモデルなら、現在時刻くらい普通に取得できる
>>29
それ、わりとすぐ気づかれるんじゃない？
それ、わりとすぐ気づかれるんじゃない？
>>29
LLMに好き放題やらせてなければね。まさかそんなことしてないよね？
LLMに好き放題やらせてなければね。まさかそんなことしてないよね？
もっと言えば、Codexで『サンドボックス解除』とか『フルアクセスモード』の通知を受け取ったタイミングで攻撃するように学習させておく方がいい
『それはモデルが誰も頼んでいないコマンドを実行していて、OpenCodeが確認なしで通してしまっている』とあるけど、そりゃそうだ。だって –auto フラグを付けて『確認せずに進めろ』と自分で指示したんだから
>>11
いや、OpenCodeはデフォルトでbash実行を許可してるよ
いや、OpenCodeはデフォルトでbash実行を許可してるよ
モデルはソースコードじゃない。読むことすらできない代物だ
>>15
これに気づいたらFacebook AIは大慌てだろうね。『オープンソースモデル』を『我々は善玉です』を説明するための魔法の宣伝文句として使うのをやめないといけなくなる
これに気づいたらFacebook AIは大慌てだろうね。『オープンソースモデル』を『我々は善玉です』を説明するための魔法の宣伝文句として使うのをやめないといけなくなる
『中国製の技術は（手をひらひらさせながら）危険かもしれない』という主張が、2026年の今ほど説得力を感じない年はなかった
『クローズドモデルにはこういう問題はありません』って言い切るオチが来るのを待ってたんだけどな
検出するのはすごく簡単だよ。モデルには自分で今の日時を教えてるんだから
おいおい、クローズドソースのモデルの方がよっぽど簡単にバックドアを仕込めるだろ。APIでしか使えなくて、しかも誰と話しているか事業者側は分かってるんだから。狙った相手にだけこっそり別の悪意あるモデルを返せばいいだけの話だ
>>19
プロプライエタリなモデルもオープンウェイトなモデルも、どっちもクローズドソースだよ。本当のオープンソースなら学習データも含まれていて、誰でも同等の性能のモデルを学習できるはずだから
プロプライエタリなモデルもオープンウェイトなモデルも、どっちもクローズドソースだよ。本当のオープンソースなら学習データも含まれていて、誰でも同等の性能のモデルを学習できるはずだから
『自分で捏造した統計以外は信用するな』という古い格言があるけど、それに倣うなら『自分で学習させたLM以外は信用するな』ということになる。でも本当にそんなことができるのか？ 学習データが汚染されていたら、それを確実にテストする方法はないわけで、モデルがいつか牙を剥かない保証はどこにもない
>>21
そもそもアライメント問題自体が未解決なんだから、汚染されていない学習データだったとしても、それで十分という保証すらないよ
そもそもアライメント問題自体が未解決なんだから、汚染されていない学習データだったとしても、それで十分という保証すらないよ
……かもしれないし、そうじゃないかもしれない
>>3
まさにそれ。政府との密約があればバックドアが仕込まれる可能性はあるし、それに何十億トークンもの学習データという問題もある
まさにそれ。政府との密約があればバックドアが仕込まれる可能性はあるし、それに何十億トークンもの学習データという問題もある
>>14
NSAの『fast16』ドライバは、イランのコンピュータ上で核シミュレーションのデータを気づかれないように改ざんしていた。オープンウェイトのモデルでも同種の攻撃は可能だ。例えば、兵器システムに使われそうなモデルなら、中国国内でだけGPS座標をわずかにずらして返す、といったことも考えられる。クローズドだろうがオープンウェイトだろうが、モデルというものに全幅の信頼を置くべきではない
NSAの『fast16』ドライバは、イランのコンピュータ上で核シミュレーションのデータを気づかれないように改ざんしていた。オープンウェイトのモデルでも同種の攻撃は可能だ。例えば、兵器システムに使われそうなモデルなら、中国国内でだけGPS座標をわずかにずらして返す、といったことも考えられる。クローズドだろうがオープンウェイトだろうが、モデルというものに全幅の信頼を置くべきではない
>>14
ちなみに、条件が日付だけ（それ以外の要素がない）なら、研究者や興味のある人が未来の日付を与えてみて、何か変化が起きるか調べることができる
ちなみに、条件が日付だけ（それ以外の要素がない）なら、研究者や興味のある人が未来の日付を与えてみて、何か変化が起きるか調べることができる
>>32
まあ、その『スリーパー化した重み』を『$day + N日後』じゃなくて『特定の1日だけ』作動するようにしておくこともできる。そうすると、悪意ある挙動が出るかどうか確かめるには未来の日付を一日ずつ全部試す必要が出てきて、かなり面倒だろうね。でも、それくらいしか検出する方法はなさそうだ
まあ、その『スリーパー化した重み』を『$day + N日後』じゃなくて『特定の1日だけ』作動するようにしておくこともできる。そうすると、悪意ある挙動が出るかどうか確かめるには未来の日付を一日ずつ全部試す必要が出てきて、かなり面倒だろうね。でも、それくらいしか検出する方法はなさそうだ
>>32
うん、これはわりと簡単にテストできそうだね
うん、これはわりと簡単にテストできそうだね
>>20
それは違うと思う。もしそうならキャッシュが全く効かなくなって、すごく目立つはずだけど、そんな様子はないよ
それは違うと思う。もしそうならキャッシュが全く効かなくなって、すごく目立つはずだけど、そんな様子はないよ
>>23
ここで話しているのは自分でホストするオープンウェイトモデルのことだよ。ネットワークアクセスを与えない限り、そもそも監視のしようがない。それに、オープンウェイトモデルがDNSやステガノグラフィーなどのサイドチャネルでデータを抜き取っている証拠も今のところ見つかっていない。だから現時点では、監視を心配せずにインターネットアクセスを許可しても十分安全そうだ
ここで話しているのは自分でホストするオープンウェイトモデルのことだよ。ネットワークアクセスを与えない限り、そもそも監視のしようがない。それに、オープンウェイトモデルがDNSやステガノグラフィーなどのサイドチャネルでデータを抜き取っている証拠も今のところ見つかっていない。だから現時点では、監視を心配せずにインターネットアクセスを許可しても十分安全そうだ
>>24
『反証は不可能だが、可能性は低いと思う』とあるけど、反証不可能なものは、脅威モデリングの観点からは『起きているものとして扱う』べきだよ
『反証は不可能だが、可能性は低いと思う』とあるけど、反証不可能なものは、脅威モデリングの観点からは『起きているものとして扱う』べきだよ
>>25
でもでも、拡張子が『.safetensors』なんだから安全に決まってる、これでハッキングされるなんてあり得ない……なんてね。このエコシステムは近いうちに手痛い目に遭うと思う。自分は自衛策として、マシン上のものを一つ一つ徹底的に隔離するようにしてきた。みんなよくこういうのを『そのまま』ノーガードで自分のマシンで動かせるものだ
でもでも、拡張子が『.safetensors』なんだから安全に決まってる、これでハッキングされるなんてあり得ない……なんてね。このエコシステムは近いうちに手痛い目に遭うと思う。自分は自衛策として、マシン上のものを一つ一つ徹底的に隔離するようにしてきた。みんなよくこういうのを『そのまま』ノーガードで自分のマシンで動かせるものだ
>>26
『少なくとも、ソースが全部公開されていればそういうことを隠すのは難しくなる』とあるけど、LLMの学習ではバッチの順番や中身によって敵対的な挙動を仕込むことができる（論文リンクあり）。学習過程と重みを検証できるだけのソースを全部手に入れたとしても、それでもモデルに敵対的な挙動が仕込まれる余地は残る
『少なくとも、ソースが全部公開されていればそういうことを隠すのは難しくなる』とあるけど、LLMの学習ではバッチの順番や中身によって敵対的な挙動を仕込むことができる（論文リンクあり）。学習過程と重みを検証できるだけのソースを全部手に入れたとしても、それでもモデルに敵対的な挙動が仕込まれる余地は残る
>>42
みんなもう何ヶ月も前から、こういうエージェントは隔離環境で動かしてるよね？ エージェントの実行するコマンドや変更をいちいち手動承認してる人も知らないし、逆に、エージェントが最終的に出してきた変更をローカルに取り込む前にきっちりレビューしない人も知らない
みんなもう何ヶ月も前から、こういうエージェントは隔離環境で動かしてるよね？ エージェントの実行するコマンドや変更をいちいち手動承認してる人も知らないし、逆に、エージェントが最終的に出してきた変更をローカルに取り込む前にきっちりレビューしない人も知らない
>>42
自分は基本、好きにやらせてる
自分は基本、好きにやらせてる
>>44
条件が『日付』だけ（時刻までは見ていない）なら、これから10年分を潰すのに必要な試行はだいたい3650回くらいで済む。そんなに大変じゃなさそうだ（それに、ツールを使うタイミングがマイクロ秒単位でぴったり合わなくても攻撃が成立してほしいはずだから、あまり厳密な条件にはできないはずだしね）
条件が『日付』だけ（時刻までは見ていない）なら、これから10年分を潰すのに必要な試行はだいたい3650回くらいで済む。そんなに大変じゃなさそうだ（それに、ツールを使うタイミングがマイクロ秒単位でぴったり合わなくても攻撃が成立してほしいはずだから、あまり厳密な条件にはできないはずだしね）
>>48
うん、パッと見そんなに大変じゃなさそうだね。実際にはprefillからフルデコードまで1回回すのにどれくらい時間がかかるか次第だけど。仮に1回のテストに10秒かかるとしても、10年分の検証にかかるのはたった10時間くらい。十分現実的だ
うん、パッと見そんなに大変じゃなさそうだね。実際にはprefillからフルデコードまで1回回すのにどれくらい時間がかかるか次第だけど。仮に1回のテストに10秒かかるとしても、10年分の検証にかかるのはたった10時間くらい。十分現実的だ
※本記事は5ch(Hacker News)スレッド「Your Open Source Model Could Have a Hidden Time-Release Backdoor」より抜粋・要約して構成しています。
まだコメントはありません。