【海外の反応】暗号研究者「AIがソフトウェアを安全にしすぎることを懸念している」 「排水溝のアライグマが下水道を効率化しすぎないか心配するようなものだ」
姉妹サイトの新着
暗号研究者マシュー・グリーン（ジョンズ・ホプキンス大学）が「Going Dark」を巡る記事で、AIがソフトウェアを安全にしすぎることへの懸念を示し、Hacker Newsで議論になった。スレッドでは、Anthropicが4月に発表した脆弱性発見モデル「Mythos」に関する記述の誤りを指摘する声や、AIがNSOグループ並みの複合的なバグを見つけられるかどうかで意見が割れ、「すでにArtifactoryを突破しHugging Faceまで到達した実績がある」との反論も出た。一方で「排水溝のアライグマが下水道を効率化しすぎないか心配するようなものだ」と、懸念自体を皮肉る声も上がった。
「Going Dark」と、捜査機関によるハッキングの時代（暗号化で捜査機関が「見えなくなる」問題を扱った記事。著者は暗号研究者のマシュー・グリーン）
出典: blog.cryptographyengineering.com / 元記事はこちら
「AIがソフトウェアを安全にしすぎることを懸念している」で読むのをやめた。史上最大級のたわ言だろう。
この状況で、セルフホストがどう助けになると思っているんだ？
セルフホスト＋オープンウェイトのモデル。まさに OpenAI や Anthropic が我々に持たせたくないものだ。
違う。あれが得意だったのは、その方向で強化学習をかけられていなかったからだ。細かい点だとは分かっているが、これで記事の信頼性が自分の中で落ちた。
マシュー・グリーンはジャーナリストではない。実務家であり、ジョンズ・ホプキンス大学の暗号学の教授だ。
いや、来ている。Artifactory を突破して Hugging Face まで到達した実績がある。
https://redmine.replicant.us/projects/replicant/wiki/ModemIs…
笑ってしまう。これは「排水溝で見かけるアライグマが下水道を効率化しすぎてしまわないか心配だ」と言っているようなものだ。
とはいえ、企業が「とにかく速く出せ」と言うなら、人間がちゃんとレビューしない限り、AIでもバグや退行を生むのは確かだ。
あなたのコードを扱うのがどんな感じか、同僚に聞いてみたことはあるだろうか。
＞その人の側からはバグがより多く出て、こちらはAIの助けでバグを減らせている
まず、自分の側のバグを見つけられているのかどうかを疑ったほうがいい。
他サイトの新着
クセが強くて、可愛らしいんだ！
この話題の背景と論点
428字で収まっています。以下が解説文です。
—
「Going Dark」とは、強固な暗号化によって捜査機関が通信内容を把握できなくなるとして、米当局が法整備や復号義務化を求めてきた長年の論争の系譜であり、その代替手段として合法的ハッキングが拡大してきた経緯がある。グリーンの懸念は、AIが脆弱性の発見と修正を徹底することで、このハッキングという手段まで失われ、結果的に強制的バックドア導入論が再燃しかねない、という点にある。
スレで意見が割れたのは、現行AIがNSOグループ(Pegasusなどの商用スパイウェアで知られる企業)並みの複合的エクスプロイトを開発できる段階にあるかどうかで、Anthropicの脆弱性発見モデルMythos(4月発表)の性質に関する記述の正確さも論点になった。読み落としやすいのは、「バックドア」が必ずしも未知の穴ではなく、文書化された特権APIを盗んだ認証情報で乗っ取る形が実態に近いという指摘で、AIによる「安全化」が唯一の脅威ではないことは本文だけでは伝わりにくい。
※本記事は5ch(Hacker News)スレッド「Going Dark, and the era of law enforcement hacking」より抜粋・要約して構成しています。
まだコメントはありません。