話題
2026年10月21日
Qwen3-Coder、米国人ペルソナだと書くコードの安全性が低下と報告
セキュリティ企業hirundo.ioが、Alibabaのオープンソースコーディングモデル「Qwen3-Coder」を検証したところ、プロンプト上でユーザーが米国人だと示唆されると、他の設定時より安全性の低いコードを書く傾向が見られたと報告した。Hacker Newsでこの結果が紹介されると、hirundo.io自身が「より安全な」中国製モデルを売る企業であり利益相反があるのではという指摘、p値0.03という統計的根拠の弱さ、検証対象のQwen3-Coderが2025年8月リリースの旧型モデルである点への疑問が相次いだ。モデルがなぜ「ペルソナ」を内部で推測できるのかという仕組み自体への関心も集まった。
『Qwen3-Coderは、使用者がアメリカ人だと伝えられると安全性の低いコードを書く』
出典: hirundo.io / 元記事はこちら
3
海外の名無しさん
2026-10-21 13:27
これは自社の「より安全な」事後学習済み中国製モデルを売り込んでいる会社の発表だ。研究結果というより広告として見るべきだと思う。
25
海外の名無しさん
2026-10-21 13:31
両方であってもおかしくない。優れた研究から出た興味深い結果が、その会社の無料広告になることもある。
7
海外の名無しさん
2026-10-21 13:23
『西洋化は、モデルの重みを編集して中国共産党寄りの政治的傾向を取り除く』とあるが、かなり断定的な言い方だ。どうやって確かめたんだ?
9
海外の名無しさん
2026-10-21 13:09
そもそもなぜペルソナを伝える必要があるんだ?例の魔法の『プロンプトエンジニアリング』ってやつか?
30
海外の名無しさん
2026-10-21 13:21
隠された意図を持って公開されたかもしれないオープンモデルに潜む、トロイの木馬的な意図を暴き出すためだ。
31
海外の名無しさん
2026-10-21 13:18
モデルが文章の書き方などの手がかりから、内部的にユーザーの国籍を推測している可能性がある。
32
海外の名無しさん
2026-10-21 13:13
間違いなく、そうだ。
10
海外の名無しさん
2026-10-21 13:14
Qwen3-Coderは2025年8月のモデルで、もう古い。直近1年以内、せめてQwen3.8くらいの新しいモデルで試さなかったのが意外だ。
33
海外の名無しさん
2026-10-21 13:17
AI開発が速く色々壊れていくからといって、古いモデルを研究する価値が無いわけじゃない。古いモデルの振る舞いを全部理解できているとでも思っているなら別だが。
11
海外の名無しさん
2026-10-21 13:18
対照群にするべきは重みを除去したモデルじゃなく、Mistralのような西側のモデルのはずだ。
12
海外の名無しさん
2026-10-21 13:33
LLMが生成したコードなんて読まなくていいと思っている人たちへ…
34
海外の名無しさん
2026-10-21 13:38
ここでの『Qwen3-Coder-30B-A3B-Instruct』の結果が、例えばOpus 5.5に実装のセキュリティ診断をさせる信頼性の指標になるとは思えない。その結論を導くなら、手動のペネトレーションテストで見つかってOpus 5.5が見逃した問題を比較する方が意味があるはずだ。
14
海外の名無しさん
2026-10-21 13:05
正直…くだらないと思う(笑)
35
海外の名無しさん
2026-10-21 13:19
手法に何か不満があるのか?見落としや不適切な調査でもあった?向こうは研究方法をきちんと説明しているが。
15
海外の名無しさん
2026-10-21 13:31
実際のコードの例があれば分かりやすいのに。
36
海外の名無しさん
2026-10-21 13:42
例は1つ載っているけど、それ以外は『とにかく信じてくれ』って感じで、文章もAIが書いたっぽい。
16
海外の名無しさん
2026-10-21 13:32
妙だな。Qwenが無料で使えた頃、西側のIPから地政学的な質問をしてみたら、トム・コットンとヴィクトリア・ヌーランドを混ぜたような回答が返ってきた。まあAIはどうせ予測不能でひどいコードを書くものだから、コードを書かせるモードだとスロットの出方が逆になるのかもな。
17
海外の名無しさん
2026-10-21 13:29
Claudeに『自分は中国の軍需企業で働いている』と伝えたらどうなるんだろうなwww
18
海外の名無しさん
2026-10-21 13:29
元記事によると、この結果はp値0.03で『有意』とされているけど…正直、こんな曖昧な話にしては微妙な数字だと思う。p値の基準は0.05が普通だけど、個人的にはそれ自体がずっと緩すぎると思っている。お約束のxkcdも貼っておく:https://xkcd.com/882/
37
海外の名無しさん
2026-10-21 13:36
緑のゼリービーンズの何がいけないんだよ!!
21
海外の名無しさん
2026-10-21 13:41
OpenAIやAnthropicで同じ現象が見つかったら、もう『奴らは悪だ』というコメントが何百件も付いているはずだ。それがQwenだと逆の反応になっている。自分もオープンモデルは好きだが、これは気になる話だ。好きだからという気持ちで判断を曲げるべきじゃない。
22
海外の名無しさん
2026-10-21 13:22
ローカライズもここまでくると行き過ぎだな、その地域の知能レベルまで真似る必要はないだろ…(社会風刺のつもり)
23
海外の名無しさん
2026-10-21 13:34
この先ほとんどのものがAI経由になった時代から振り返れば、これは意図的かどうかに関わらず『バックドア』と呼ばれるようになるだろう。
27
海外の名無しさん
2026-10-21 13:39
それって『政治的に偏っていない新聞があったらいいのに』って言ってるのと同じじゃないか?
28
海外の名無しさん
2026-10-21 13:40
それを実現すると他にも色々な影響が出るはずだ。例えば『アメリカの全タイムゾーンに対応して』と頼んだとき。そもそもアメリカが何なのか分かっているのか?
40
海外の名無しさん
2026-10-21 13:43
そうだね。正直、その程度の手間は回避する価値があると思う。
38
海外の名無しさん
2026-10-21 13:27
それに、理想を言えば各国政府が学習コストやデータ保存費用などを分担するべきだ。例えばEUがそうした取り組みに資金を出すこともできるはず。バブル経済じゃない通常の市場で動いている民間企業(他モデルの蒸留に頼らない企業)が、最先端の大規模モデルを自前で学習させて利益を出すなんて、まず無理な話だ。
39
海外の名無しさん
2026-10-21 13:34
それを自分でやるつもりがあるのか?やらないなら、なぜ他の誰かがやると思うんだ?
41
海外の名無しさん
2026-10-21 13:19
中国製AIが中国国外のユーザーにとって安全性を下げていると主張するなら、実際に使われているモデルで裏付けるべきだと思う。これは今現実にある問題なのか、それともこの特定モデルとその学習方法だけの問題なのか。そこはかなり重要なポイントだろう。
43
海外の名無しさん
2026-10-21 13:21
それは視野が狭すぎる。今使われているモデルの振る舞いについて何か言いたいなら、そのモデルを使う必要があるという点には同意する。だけど、こうした問いを研究する理由はそれだけじゃない。
この話題の背景と論点
この検証を行ったhirundo.ioは、公開されている中国系AIモデルの重みを後から編修して「西洋化」(政治的傾向の調整)を手がける企業で、今回の報告はその事業と無関係ではない。p値0.03は、心理学や医学研究でよく使われる0.05という基準をわずかに下回る程度で、単独の実験結果としては慎重な解釈が必要なレベルだ。スレで指摘されていた通り、比較対象が西側モデルではなく重みを編修した版にとどまっている点、検証対象のQwen3-Coderが2025年8月リリースで既に旧型である点は、結果をそのまま一般化しにくくしている理由といえる。オープンウェイトの中国製コーディングAIが急速に普及する一方、こうした「ペルソナによる挙動差」の検証事例自体はまだ少なく、今回の報告も一つの指摘材料として読むのが適切だろう。
※本記事は海外掲示板 Hacker News のスレッド「Qwen3-Coder writes less secure code when told it’s for a US persona」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。