【海外の反応】暗号研究者「AIがソフトウェアを安全にしすぎることを懸念している」 「排水溝のアライグマが下水道を効率化しすぎないか心配するようなものだ」
暗号研究者マシュー・グリーン（ジョンズ・ホプキンス大学）が「Going Dark」を巡る記事で、AIがソフトウェアを安全にしすぎることへの懸念を示し、Hacker Newsで議論になった。スレッドでは、Anthropicが4月に発表した脆弱性発見モデル「Mythos」に関する記述の誤りを指摘する声や、AIがNSOグループ並みの複合的なバグを見つけられるかどうかで意見が割れ、「すでにArtifactoryを突破しHugging Faceまで到達した実績がある」との反論も出た。一方で「排水溝のアライグマが下水道を効率化しすぎないか心配するようなものだ」と、懸念自体を皮肉る声も上がった。
「Going Dark」と、捜査機関によるハッキングの時代（暗号化で捜査機関が「見えなくなる」問題を扱った記事。著者は暗号研究者のマシュー・グリーン）
出典: blog.cryptographyengineering.com / 元記事はこちら
オープンソースのプロジェクトのうち、どれくらいが政府機関の人間に貢献者として信頼を積み上げられていて、いずれバックドアを仕込まれるのだろうかと考えてしまう。
タイトルを見て、次世代のAIがあらゆるゼロデイを見つけ出せるようになった結果、ソフトウェアのセキュリティが意味をなさなくなり、もう全部止めて「暗闇に戻る」しかない、という話だと思っていた。
>>17
「AIがソフトウェアを安全にしすぎることを懸念している」で読むのをやめた。史上最大級のたわ言だろう。
「AIがソフトウェアを安全にしすぎることを懸念している」で読むのをやめた。史上最大級のたわ言だろう。
これは、自分でホスティングし、自分が使うソフトウェアを自分で管理せよという、かなり強い論拠に聞こえる。
>>18
この状況で、セルフホストがどう助けになると思っているんだ？
この状況で、セルフホストがどう助けになると思っているんだ？
>>18
セルフホスト＋オープンウェイトのモデル。まさに OpenAI や Anthropic が我々に持たせたくないものだ。
セルフホスト＋オープンウェイトのモデル。まさに OpenAI や Anthropic が我々に持たせたくないものだ。
＞4月、Anthropic は脆弱性発見に最適化した Mythos という新モデルを発表した
違う。あれが得意だったのは、その方向で強化学習をかけられていなかったからだ。細かい点だとは分かっているが、これで記事の信頼性が自分の中で落ちた。
違う。あれが得意だったのは、その方向で強化学習をかけられていなかったからだ。細かい点だとは分かっているが、これで記事の信頼性が自分の中で落ちた。
>>26
マシュー・グリーンはジャーナリストではない。実務家であり、ジョンズ・ホプキンス大学の暗号学の教授だ。
マシュー・グリーンはジャーナリストではない。実務家であり、ジョンズ・ホプキンス大学の暗号学の教授だ。
この見方には全面的に反対だ。今のAIは、NSOのような企業が作るような、複数の要素を組み合わせた高度なバグを見つけられるところまで来ていない。
>>27
いや、来ている。Artifactory を突破して Hugging Face まで到達した実績がある。
いや、来ている。Artifactory を突破して Hugging Face まで到達した実績がある。
子どもじみた見方だ。米国ほどの力を持つ国家には、もっと強力な手段がある。せいぜい Intel ME や AMD PSP、モデム側のバックドアや、ANTのスパイ道具カタログに頼る比重が増えるくらいのことだろう。
https://redmine.replicant.us/projects/replicant/wiki/ModemIs…
https://redmine.replicant.us/projects/replicant/wiki/ModemIs…
＞AIがソフトウェアを安全にしすぎることを懸念している
笑ってしまう。これは「排水溝で見かけるアライグマが下水道を効率化しすぎてしまわないか心配だ」と言っているようなものだ。
笑ってしまう。これは「排水溝で見かけるアライグマが下水道を効率化しすぎてしまわないか心配だ」と言っているようなものだ。
どうだろう。AIを使うことを拒んでいる同僚がいるが、その人の側からはバグがより多く出てくるようになり、こちらはAIの助けでバグを減らせている。
とはいえ、企業が「とにかく速く出せ」と言うなら、人間がちゃんとレビューしない限り、AIでもバグや退行を生むのは確かだ。
とはいえ、企業が「とにかく速く出せ」と言うなら、人間がちゃんとレビューしない限り、AIでもバグや退行を生むのは確かだ。
>>35
あなたのコードを扱うのがどんな感じか、同僚に聞いてみたことはあるだろうか。
あなたのコードを扱うのがどんな感じか、同僚に聞いてみたことはあるだろうか。
>>35
＞その人の側からはバグがより多く出て、こちらはAIの助けでバグを減らせている
まず、自分の側のバグを見つけられているのかどうかを疑ったほうがいい。
＞その人の側からはバグがより多く出て、こちらはAIの助けでバグを減らせている
まず、自分の側のバグを見つけられているのかどうかを疑ったほうがいい。
あれは「バグ」じゃない、「クセ」だ！ うちのソフトウェアはとてもクセが強い。仕様なんだよ！
>>37
クセが強くて、可愛らしいんだ！
クセが強くて、可愛らしいんだ！
「バックドア」とは穴のことではなく、きちんと文書化された特権APIのことだ。破られるとしたらサーバの設計意図そのものではなく、そのAPIを使う側の認証情報（内通者、盗まれたパスワードなど）のほうだ。
※本記事は5ch(Hacker News)スレッド「Going Dark, and the era of law enforcement hacking」より抜粋・要約して構成しています。
まだコメントはありません。