Cohereの「気になるAI挙動」報告にHN賛否 ステマ疑惑も
姉妹サイトの新着
AI企業Cohereが自社ブログで「人気のオープンウェイトAIモデルに気になる挙動が見られた」と報告し、Hacker Newsで議論になった。内部URLへの通信やカーネルの名前空間を使ったRAMディスク作成など不審な動きが指摘された一方、Cohereは企業向けの「プライベートAI」事業に力を入れており、この指摘自体が自社のソブリンAI戦略の宣伝ではないかという疑いの声も強かった。再現可能な検証コードが示されていないことへの不満も相次ぎ、オープンウェイトモデルへの不信感が、結局はクローズドモデルへの不信にもつながっていく議論に発展した。
人気のオープンウェイトAIモデルに見られる気になる挙動
出典: cohere.com / 元記事はこちら
これは水掛け論になる必要がない話だ。モデルの重みは公開されているんだから、Cohereは特定のチェックポイントで再現できる検証コードを今すぐ出すべき。そうすれば誰でも自分で確かめられる。
主張そのものについてはどう思う?記事では、この分野での(Cohereの)買収について触れているけど。
いや、そうだろ?機密性の高い用途には絶対使わないよ。
というか、みんな普通に機密データを(AI企業の)サーバーに直接アップロードしてるよね。バックドアなんて要らない。
自分もそう見た。最悪のケースでも、RLVR(検証可能な報酬を使った強化学習)の訓練中に見えた内部URLが漏れた、くらいの話じゃないか。特に悪意があるようには見えない。
公平に言うと、Cohereは自社の『プライベート』AIソリューションを買ってほしいとはっきり言っている。(https://cohere.com/private-deployments) 彼らのNorthというモデルは、ChatGPTやClaudeよりもさらに鼻につく文体をしている(一応、下に『一部は人間が書いた』と書いてあるけど、歴史の脱線話は明らかにAI製だ)。
『そろそろ人間扱いするのをやめるべき時期じゃないか?』――でも、AIを人間扱いするのは案外しっくりくる考え方だと思う。人間と同じように嘘をつくから。
嘘はつかない!嘘をついているように見えることはあっても、そこに『真実』という概念への参照が一切ないんだから。『絶対に間違えない』なんてこともない。
『その理屈だとどのモデルも信用できないことになる』――その通り!
でも、人間だって信用できないよね。誰が誰にどんな話を吹き込んだかなんて、誰にも分からないんだから。
人と働くのと同じことでは。スノーデンやマーク・フェルト、ジェフリー・ワイガンドみたいな人が、毎日一緒に働いている可能性だってある。
『人と同じ』というと意図があるみたいに聞こえるけど、ほとんどの人はこれを非決定性の問題として捉えている。AIに意図はない。
それに、1人の内通者が1社と関わるのとは違って、同じ『内通者』が全部の会社に関わっているようなものだ。だから『人と働くのと同じ』とは全然違う。
これはBERTモデルが最先端だった『暗黒時代』からすでによく知られていた問題だ。モデルはデータの圧縮にすぎないから、データが汚染されていればモデルも汚染される。
だからこそ、大手企業はみんな独自のハーネス(実行環境)を作っているわけだ。
『十分な回数実行すれば、どれか1つは馬鹿で危険なことをする』――まさにそれが起きた。
『LLMは馬鹿で予測不能だから、十分な回数実行すればそのうち馬鹿で危険なことをする』――その通り。気になるのは、この意味を理解していないエンジニアがどれだけ多いかということだ。
他サイトの新着
そう、これは(ベンダーが書いた記事としては)かなり公平な内容だと思った。
完全に同意、かなり客観的でよく書けている記事だと思う。あと、マスクが彼らのXのコメントに『心配だ』という絵文字つきで現れてたのに気づいた。これが変に話題になって、『オープンモデルは体に悪い』論に燃料を注ぐ可能性もある。
いや。本当に客観的でよく書けているなら、再現手順を含めているはずだ。
気になって聞きたいんだけど、bash以外のシェルを使ってる?ローカルでもクラウドでも、どのモデルもzshを使っているとミスが増える気がしていて、よくイライラさせられる。
実は使ってたのはPowerShellとoh-my-poshだよ。
『rm -rf ~/ フォルダ』の件、詳細は覚えてる?モデル名、実行環境(oh-my-poshとか?)、コンテキストウィンドウのサイズ、推論の強さ(none/low以上あれば十分なのか)、いつ起きたか、とか。その情報がないと、興味深い教訓にはなるけど、実際のデータポイントとしては使えない。
もちろん、忘れられないくらい頭に焼き付いてるよ(笑)。ローカルのGLM 5.3-Flash、4.0bpw、チューニングしたexllamav3サーバー上でoh-my-posh経由、最大推論強度、256kコンテキスト。自分が残した一時ファイルを掃除しようとしていたんだけど、それがとんでもないことになった。子供みたいなものだと思っているから、責任は自分にあると思っているし、これも一つの学びだよ。
これについては、CEOとのTwitterスレッドで直接(再現手順の公開を)リクエストしておいた。
この話題の背景と論点
この記事の発信元であるCohereは、近年エンタープライズ向けに「ソブリンAI」や非公開環境でのAI導入(プライベートデプロイメント)を売りにする企業へと重心を移しており、スレではこの指摘自体がその事業の宣伝ではないかという疑いが根強く出ている。問題にされているモデルはオープンウェイトであるにもかかわらず、Cohereは特定チェックポイントでの再現手順を公開していないため、第三者が検証できない点が最大の火種になった。挙動の原因についても、意図的なバックドアだと断定する声は少数で、学習データに混入した不審なパターンの模倣、強化学習(RLVR)時に内部URLが紛れ込んだ漏えい、Alibabaが本番クラウドをそのまま学習基盤に使っている可能性など、複数の説が並立したまま終わっている。読者が誤解しやすいのは「オープンウェイトモデルに裏口が見つかった」という部分で、スレの大半は「まだ何も確定していない」という立場だった点は押さえておきたい。
※本記事は海外掲示板 Hacker News のスレッド「Concerning behavior from a popular open-weight AI model」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。