IT・AI
2026年11月22日
新AIモデルがベンチマークで苦戦、海外の実感は賛否両論
AIベンチマーク「SimpleBench」は、時空間的な推論や社会的知性、引っ掛け問題への耐性などを測る200問以上の問題で構成され、採点の基準値はわずか9人の人間の回答をもとに作られているという独特な作りの評価基準だ。この結果でAstra 6.2やSol 6.2が振るわなかったことから、Hacker Newsでは新モデルの実力をめぐる議論が広がった。スコアと実際の使用感が一致しないという声や、GeminiのNeonは評判が良いもののOpenAIの6系列は総じて不評だという声が交錯し、ベンチマーク自体の信頼性を疑う意見も出た。
Astra 6.2とSol 6.2がSimpleBenchで振るわない結果に
出典: simple-bench.com / 元記事はこちら
2
海外の名無しさん
2026-11-21 15:13
Neon・Carbon・Argon・Hydrogenはどれも大差ないのに、なんで4種類もモデルを出したんだ?コーディングで見てもNeonがArgonより特に強いとは思えないし、自分の感覚だとOpus 5.5はどちらにも勝ってる。英語がダメになった分のニューロンは、エンジニアリングで化け物になるために全部使われたんだろうな。
16
海外の名無しさん
2026-11-21 15:19
>>2
ベンチマークが全てじゃないからだろ?NeonとHydrogenが同じスコアを出したなら、『この二つは同じくらい強いんだな』と思うんじゃなく、『このベンチマークは本当に見たいものを測れているのか?』と疑うべきなんじゃないか。
31
海外の名無しさん
2026-11-21 15:22
>>16
一応認めるけど、これはベンチマークだけじゃなくて実際にエージェント的な用途で使った(短い)経験に基づいての話。
3
海外の名無しさん
2026-11-21 15:14
6.2のSolを使っていて感じるのは、アーキテクトらしい振る舞いをしなくなったこと。指示や既存のコードを疑うこともほぼ無い。計画や理由について少しでも突っ込むと、『ご指摘の通りです』みたいな返答に戻ってしまう。
5
海外の名無しさん
2026-11-21 14:59
自分の感覚では、指示に忠実すぎる。グレーゾーンが完全に切り落とされていて、それが良い場合もあるけど、自分の用途では『賢くて、こちらに質問してくる』くらいの返しが好きだった。
7
海外の名無しさん
2026-11-21 14:59
新しいGeminiのモデルはどれもこのベンチでOpus 5.5より良い結果を出してる。これって実際に使ってみても分かるくらいの差なのかな?自分はOpus 5.5が好きで、完璧だと思ってるけど新しいGeminiはまだ試してない。
19
海外の名無しさん
2026-11-21 15:19
>>7
自分の経験だとNeonは良い。他は一段落ちる感じ。
20
海外の名無しさん
2026-11-21 15:02
>>7
NeonはOpus 5.5っぽい雰囲気がある、自分の感覚では。
21
海外の名無しさん
2026-11-21 15:10
>>7
Neonは本当に良い。
8
海外の名無しさん
2026-11-21 15:13
みんな本当に同じモデルを使ってるのか疑いたくなる。自分の6.2の印象は、以前と比べて異常に速くて、要点をちゃんと押さえてくる。
9
海外の名無しさん
2026-11-21 14:57
6.2は間違いなくOpenAIが出した中で一番評判が悪いアップデートだと思う。一体何があったんだよ(笑)。コスト削減のためにAPIで使ってる古い5.x系を6.2に更新しようとして、Fableに『6.1と6.2でコストが同じなら何が違うのか』と聞いたら、『6.2はネットでの評判が悪くて手抜き感も増してるからおすすめしない、6.1を使え』って返ってきた。えぐい。
24
海外の名無しさん
2026-11-21 15:00
>>9
本当に物足りない、同意。6.2で少なくともOpus 5.5やFable 5.2と同等くらいにはなると思っていたけど、全然そうならなかった。がっかりしてる。自分としては6系全体がもう失敗だと思う。唯一の良い点は5.6より効率が良くて長く使えて安いことくらい。今はOpus 5.5を使ってる。
25
海外の名無しさん
2026-11-21 15:03
>>9
つまりその主張は、ネットのネガティブなコメントをAIモデルがまとめた報告をもとにしてるってこと?
10
海外の名無しさん
2026-11-21 15:20
「SimpleBenchは時空間的推論、社会的知性、そして“言語的敵対耐性”(つまり引っ掛け問題)への耐性を測る200問以上の問題を含む」とのことだけど、投票者をこの“言語的敵対耐性”でスクリーニングできたら、ユートピアが作れるんじゃないか。
11
海外の名無しさん
2026-11-21 15:08
これは不思議なベンチマークだ。Gemini Flash 3.8がOpus 5やOpus 4.8より上に来ていて、しかも基準値はたった9人の人間の回答に合わせて調整されているらしい。
12
海外の名無しさん
2026-11-21 14:40
実際にテストを受けてみたけど、問4で止まってしまった。『姉妹が二人いて、Amyは常に誤ったことを言い、Samは常に嘘をつく』という設定の問題で……(笑)
26
海外の名無しさん
2026-11-21 14:58
>>12
これは意図的な作りだと思う。モデルは古典的な『正直者と嘘つき』の謎なぞだと思い込んでAを選んでしまうけど、実際は二人とも必ず嘘をつくならもっと単純な話になる。
27
海外の名無しさん
2026-11-21 14:52
>>12
冗談だと思ったら、本当に4問目の内容だった。これは引っ掛け問題のつもりなのかと思ったけど、どの選択肢も意味が通らない。(追記: 自分がバカだった。問題自体は正しい。dist-epochとpvitzの回答を見てくれ)
29
海外の名無しさん
2026-11-21 15:03
>>12
ここまでの返信コメント、全員『Samの方が常に嘘をつく』という部分を読み落としてる。見事なスルー。
13
海外の名無しさん
2026-11-21 15:00
Googleの復調は本当に興味深い。結局、自社でハードウェアまで持っている分、この業界で一番体力のある会社ということだな。
30
海外の名無しさん
2026-11-21 15:10
>>13
時系列のランキングのグラフを見れば、『復調』でも何でもないのが分かる。彼らは『常識』の分野では常にトップだった。
14
海外の名無しさん
2026-11-21 15:07
スレ主は弱体化版のモデルに割り当てられたんじゃないかと思う。自分にとっては6.2はすごく良い。6.1より良い結果が速く出る。一方でFableとOpusは散々で、あの頭の悪さは初期のGeminiを思い出させる。
15
海外の名無しさん
2026-11-21 15:06
今の言い方で言えば『OpenAIは終わった』。資金調達は酷い内容、モデルは競争力が無い、サービスは劣化(いわゆるenshitification)、そしてどうしようもなく下手で無能な広報。
18
海外の名無しさん
2026-11-21 14:48
>>6
これは本当に奇妙だ。おそらく再帰的な深さ(recurrent depth)の仕組みのせいかもしれない。新しいAnthropicのモデルはこれを使っていないと思うけど、GPT6は使っているはず。
35
海外の名無しさん
2026-11-21 14:56
>>18
Astra 6.2はAstra 6より劣っている。
22
海外の名無しさん
2026-11-21 15:08
>>7
自分の場合、OpusはGeminiより性能が低い。Fableもそれ以下。たぶん自分はまだ弱体化版に割り当てられているんだと思う。
32
海外の名無しさん
2026-11-21 15:25
>>17
ここに書かれている個人の体験談の方が、ベンチマークやインフルエンサーの動画より参考になる。
33
海外の名無しさん
2026-11-21 15:21
>>17
『インフルエンサー』というのは行為を指してるんじゃなくて、肩書きとして言ってるんだと思う。
36
海外の名無しさん
2026-11-21 14:54
>>27
ここでのポイントは、古典版だと姉妹の一人が本当のことを言い、もう一人が嘘をつくという設定で、『もう一方の姉妹なら何と答えるか』を聞く必要があったこと。でも今回の問題では、単純にどちらの道を行くべきか聞いて、言われた道の逆を行けばいいだけ。
37
海外の名無しさん
2026-11-21 15:00
>>27
単純な話。道は2つあって、C)『どちらが宝への道か』と聞く。二人とも嘘をつくから、言われた方と逆の道を選べばいい。
40
海外の名無しさん
2026-11-21 15:15
>>37
あ、その通りだ。自分がバカだった(笑)
38
海外の名無しさん
2026-11-21 14:53
>>27
で、実際にクリックして選んでみると、自信満々に『別の方が正解』だと言われる。後の方にある車と手袋の問題も同じくめちゃくちゃ。
39
海外の名無しさん
2026-11-21 15:24
>>31
ハーネスかドキュメントの設定に何か問題があるんじゃないか。自分はNeon highの方がOpus 5.5 highより良い結果を得られている。
この話題の背景と論点
SimpleBenchは常識的推論や引っ掛け問題への強さを測る点が特徴とされる独自ベンチマークで、採点基準はごく少数の人間の回答をもとに作られている。スレで割れたのは、ベンチマークの順位と実際の使用感がどこまで一致するかという点で、GeminiのNeonを評価する声が多い一方、OpenAIの6系列全体への不満も目立った。一部の利用者が「同じモデル名でも割り当てられる実体が利用者によって違う(弱体化版に当たっている)」と推測しているのは、サービス側の負荷分散やコスト最適化によるモデルの出し分けが疑われているためで、ベンチマーク単体では見えてこない実情を示している。また記事中で触れられる嘘つき姉妹の論理パズルは、モデルが古典的な謎解きの"定型パターン"に引き込まれるかどうかを試す設計になっており、人間の参加者でも読み違えやすいことがスレ内の混乱からもうかがえる。
※本記事は海外掲示板 Hacker News のスレッド「Astra 6.2 and Sol 6.2 flop at Simple Bench」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。