「1/5のコストで最強」触れ込みのAIベンチマーク記事、海外の反応は懐疑的
「GLM-5.3はAnthropicやOpenAIのモデルを1/5のコストで上回った」とするブログ記事がHacker Newsで話題になった。だが反応の大半は好意的どころか懐疑的で、文章にemダッシュが多用されていることやHaikuとFableの順位が実態と合わないことを挙げて「AIが書いた提灯記事では」という声が相次いだ。
話は次第に、オープンウェイトモデルを自前運用する価値や、中国製モデルを使うことの地政学的リスクにまで広がった。
GLM-5.3(オープンウェイト)がAnthropicやOpenAIのモデルを1/5のコストで上回った
出典: reinvently.co.uk / 元記事はこちら
この記事、パッと見でClaudeに書かせた文章にしか見えなくて真面目に受け取れない。既存のちゃんとしたLLMベンチマーク——Artificial AnalysisやLMArenaのAgentリーダーボードとか——の結果と食い違ってるのはなぜなんだ?
>>2 笑った、タイトルにまでemダッシュが入ってるじゃないか
>>2 LLMのベンチマークはそもそも悪名高いほど難しいからだよ。結局どのベンチマークも測ってるものが違う。だからこそLLMを作る企業は非公開のベンチマークを持っていて、自社モデルの弱点を見つけてそこを伸ばす目標にしてるんだ。
GPT 5.5がGPT 5.6 Solより優れているわけがないし、gemini-3.6-flashがその両方より上なんてこともあり得ない。このベンチマークはまったく信用できない。
中国のプロパガンダだろ。今HNのトップ記事は2本ともGLM-5.3の宣伝みたいなもんだ
Haikuがほぼ満点でFableが最下位タイになるようなベンチマーク、正直信用できるか怪しい
今の形のオープンウェイトモデルは、単純に自分で動かす価値がない。ハードと電気代を償却コストで計算すると、サブスク料金を払うよりはるかに高くつく。
予想だけど、中国製オープンソースモデルの性能が9割くらい(ベンチマークいじりを疑ってるからそれ以上とはあまり思わないけど)だとしても、企業は結局ClaudeやChatGPTにお金を払い続けると思う。中国のクラウドを使うより、周辺ツールや連携、そして安心感を優先するはずだ。
>>11 企業にとっての安心感って、米政府の気まぐれでアクセスを止められないことだと思う。それに攻撃シミュレーションをやりたい場合、安全装置を外す必要があるけど、そうなると自分のハードで動かせるオープンモデルしか選択肢がない。
>>11 『中国のクラウドを使うより安心感』って言うけど、これらはオープンウェイトモデルだよ(GLM-5.3もじきにそうなる)。Together AIやFireworks AIみたいなところで動かせばいいし、間にOpenRouterやHF Inference Providersを挟めばモデルもプロバイダも簡単に切り替えられる。ここ数ヶ月GLMとKimiのモデルを最新のAnthropicモデルと併用してるけど、日常業務では値段以外ほとんど差を感じない。
>>11 技術的な話をすると、KimiとGLM 5.3はMax推論モードならそこそこ複雑な計画や探索作業に十分使えるし、Highモードでも各種実装作業には十分な性能がある。自分の用途(Webdevに加えてML・DevOps、ローカルソフトも少々)ではOpus 5の代わりになるし、大体Fableの代わりにもなる。とはいえ、『AI版IBMを選んでおけば安心』的な発想の組織にはそんなことはどうでもいい話なんだろうけど。
実際にGLM-5.3を使ってみたけど、正直5.1より良いとは思えない。処理は遅いし、出てくる結果もやたら作り込みすぎというか、何でも考えすぎてる感じがする。
つまりコーディング課題がAnthropicの分類器に拒否されたときに、分類器に引っかからない類似タスクに差し替えるんじゃなくて、そのまま失敗扱いにしてるってこと? 掲げてるタスク一覧からすると、それはおかしくないか。
Haiku 4.5がトップ7とか、そのベンチマークはもう完全にゴミだな
その『上回った』とかいう相手、今この部屋にいるのか?
この記事もベンチマークも、まるごと質の悪いAI生成物のスープだ。比喩の盛りすぎ——カーレースに例えるのはもう分かったから、人間の読者に少しは慈悲をくれ。『XではなくY』『AであってBでは決してない』みたいな紋切り型の言い回し。趣味の悪いemダッシュ。モデルの追加日みたいな幻覚データまである。順位表は信じがたすぎて、もはや笑えるレベルだ。
あの手のベンチマークはあまり多くを語ってくれない。問題が『解けたかどうか』しか見てなくて、『どう解いたか』は見てないから。それにモデルの学習段階でベンチマーク対策(benchmaxxing)がかなり行われてるはずだ。
GLM-5.3がトップ10で最強だっていう記事が2本も? ちょっとステマ臭いな
悪いけど、あのページはAI臭すぎて読めたもんじゃない
最初の3文があまりにひどい文章だったのでページを閉じた。ブロガーの皆さん、頼むから自分の言葉で書いてくれ。LLMに書かせるのはやめよう。
オープンソース化はいつ?
GLM-5.3のウェイトはまだ公開されてなくて、公開が遅れているのは『安全性』のために弱体化させる必要があるからだと説明されている。だから今出回っている初期の主張の多くは、長い目で見ると実現しない気がする。
>>23 『安全性』のための弱体化はそこまで心配してない。大抵の拒否応答はファインチューニングで外せるから、オープンウェイトモデルにとっては致命的な問題にはならないことが多い。
それに今度は0x Alphaっていう、そこの(今は無料の)新モデルまで出てきた。
>>3 『10モデル近くがベンチマークで95%超えって、それもう飽和しすぎじゃないか?』——自分がこれまで見つけた唯一まともな評価方法は、あらかじめ用意されたSWEテストを通せるかじゃなくて、何か新しいものを生み出せるかどうかだ。これはそんなに難しいテストでもなくて、一見不可能そうな課題を与えてしばらく回させて、どこに行き着くか見ればいい。
>>10 『唯一の欠点は』ってあるけど——本当の落とし穴はあの胸糞悪い利用規約の方だよ。
>>28 最近、拒否応答の基準を緩めたよ。もうSolの拒否っぷりとは比べ物にならないくらい少ない。
>>29 『Fableには不満なだけじゃなくて、むしろマイナスの価値を生んでると感じる』——Fableはグラフィックスプログラミングみたいなごく特定の分野では優秀だけど、それ以外では過大評価されたモデルだと思う。値段も高すぎるし、あらゆる指標でOpus 5の方が単純に上だ。
>>31 米国が気まぐれで『米企業は中国製モデルを使うな』って決められないと思ってるのか? もうやり方は実例で示されてるじゃないか——サプライチェーンリスクに指定して、それを使ってる企業は政府への納入業者になれない、というふうに。
>>39 米国企業以外にとっては、むしろ米国製モデルの方がサプライチェーンリスクは高いと思う。米政府はすでに一部のモデル(Fable)へのアクセスを止めたことがあるし、たしかあの件は米国企業にも影響が及んでいたはずだ。
>>39 それ、具体的にどうやって強制するつもりなんだ? そもそも自分が言ってたのは米国企業の話じゃないんだけど。
>>36 蒸留版だけオープンウェイトで出す、みたいな話じゃない限りは。
※本記事は5ch(Hacker News)スレッド「GLM-5.3 (open-weight) beat Anthropic/OpenAI models – for 1/5 the cost」より抜粋・要約して構成しています。
まだコメントはありません。