【海外の反応】Claude新型「Fable 5.2」最高スコアもコスト倍増に疑問の声
姉妹サイトの新着
米Anthropicの新モデル「Claude Fable 5.2」が、AI性能評価サイトArtificial Analysisの知能指数で65点を記録し、これまでで最高スコアとなったことがHacker Newsで話題になった。前モデルFable 5.1と比べ、1タスクあたりの出力トークン数は約11万8000から約27万4000まで膨らみ、コストも大きく跳ね上がったという指摘が注目を集めた。スレッドでは、このコスト増が性能向上に見合うか、そもそも多くのユーザーは使用量上限に達しないので気にする必要がないか、さらにベンチマークの数字が実務での使い勝手と一致するのかで意見が分かれた。
Claude Fable 5.2がArtificial Analysisで65点を記録、これまでで最高スコア
出典: artificialanalysis.ai / 元記事はこちら
Fable 5.2のMedium設定とOpus 5.5のHigh設定(こちらの方が理にかなっている組み合わせで、Maxはほぼ誰も使う価値がないとされている)を比べると、Fable 5.2は「一応」かなりコスト競争力があるように見える。
念のため言うと、これはmax設定での話。推奨されているhigh設定なら8万トークンしか使わない。
大半の人はプランの使用量上限に達することがないから、タスクあたりのコストなんてほとんど関係ない。
ハリウッド映画がなぜ500ドルのレンズではなく10万ドルのレンズを使うのか考えてみてほしい。レンズの性能が本当に200倍良いわけではないだろう。でも、その最後の5%の差に9万9500ドルの価値がある場面はある。Fable 5.2にしか確実にできないことが出てくるはずで、それにお金を払う人も出てくる。
自分の用途(コーディング以外)で使ってみると、Opus 5.5と比べてかなり頭が悪い印象。論文をRAGで検索できる仕組みを用意して「必ずそこを検索するように」と指示しているのに、検索せずに結果をでっち上げてきた。
それでもDeepSeekの100倍高い。
ただタスクの内容次第ではある。安いモデルでそのタスクが解けないなら話が違ってくる。
5.5が弱体化(ナーフ)されたなら、山ほど出てくるはずだ。
ベンチマークを走らせるための早期アクセスをもらっているはずだ。一般公開のタイミングで初めて走らせていたら、とても結果が出るまでの時間がない。
別のスレッドで「Opus 4.6で十分だから新しいモデルは別に要らない」とこぼしている人がいたので、4.6が出たのは今年の2月だと指摘しておいた。普通の世界なら4.6はまだ「新しいモデル」のはずなのに、ここでは半年前のモデルが「大昔」扱いされる。
それでGoogleはまだ競争に残っているのか?AragonとかCarbonとか、Googleがコーディング用に出したモデルを実際に使っている人っているのか?
Argonはグラフィックデザインや創作文章の用途ではOpusよりずっと優れている。コーディングではOpusほど賢くないが、最良のオープンウェイトモデルよりは上。あくまで自分の経験なので、人によって違うとは思う。
それってサブスクで実際に使えるの、それともAPI経由だけ?
このページが示しているのはMax設定で、これはずっと高くつく。性能を本当に一滴残らず必要としているのでない限り、Maxは使うべきじゃない。かなり収益減少(リターンが薄い)の領域に入っている。
タスクを完了するのに使うトークン数が、とにかく圧倒的に多くなっているみたいだ。
個人的には、似たデータを検索して集約するのは得意だと思う。でもそれは「知能」ではない。
存在しないよりは、めちゃくちゃ高くてもガンを治してくれるモデルの方がいい。
そのモデルが実際にガンを治してくれたら、もっと説得力のあるコメントになったのに。
コストの問題はハードウェアで解決すると思う。より速く効率的なハードウェアで。今のところ見えているのは「賢くする方法」ばかりで、「コスト効率を上げる方法」はまだ見えていない。次世代の専用AIプロセッサがどんな性能を出すのか気になる。
今のハードウェアでも、GLM-5.3-FlashやDeepSeek-v4.1-1017のようにコストパフォーマンスの良いモデルは既にある。AnthropicやOpenAIは高価な最先端を攻めているけれど、それを本当に必要とする用途は少ない。
グラフの4分の1の領域という意味で「quadrant(象限)」と呼んでいるだけだよ。
他サイトの新着
それでも全然納得できない。自分が仕事を拒否したら、普通にクビになる。
そこで見ているのは推論時のコスト対性能、いわゆる「フロンティア」の話。経済的に成功と言えるステップは、学習コストに対するフロンティアの前進を改善することのはずだ。学習コストを(最低でも)一定に保っていたと仮定するなら、その点ではほぼ失敗していると言える。
それはもうやっている。強いモデルが先にリリースされて、少し後に軽量版が出るパターンに気づいていない?
reasoning(思考)というのは基本的にたくさんの分岐を試すこと。それをやるには、試せる分岐をたくさん持つ大きなモデルが必要になる。
「かなりコスト競争力がある」とのことだけど、グラフを見る限り自分は全然違う結論になる。
あのグラフが示しているのはタスクあたりのコストだけで、タスクを正しく解けたかどうかは反映されていない。だからFlash系の軽量モデルが、実際以上に優れているように見えてしまう。
この話題の背景と論点
Artificial Analysisは複数のベンチマークを統合した「知能指数」と、タスク1件あたりのコストを同時に計測する第三者評価サイトで、性能とコスト効率を比べる業界の目安として参照されている。今回論争になったのは、見出しの「65点」が最も計算量の大きい「max」設定でのスコアだという点だ。スレッドでは、通常推奨される「high」設定ならトークン消費は8万程度に抑えられ、それでも歴代2位の62点を記録したことが指摘されており、コストの跳ね上がりだけを見て騒ぐのは早計だという反論もあった。一方で、ベンチマークの点数が実務での指示遵守や精度と一致しない場合があるという報告もあり、数字の高さと実用性の高さが必ずしも一致しない点は見落としやすい。
※本記事は海外掲示板 Hacker News のスレッド「Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。