Gemini 3.8 Flashのベンチマーク、上位モデル級の数値に賛否
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP韓国人「世のお母さん達にプレッシャー与える中学生のお母さん」
- ニュース速報まとめMAP【悲報】田村淳を叩いたネット民、完全論破される。サングラス着用の真相を知った後の反応がこちら
- なんJ傑作まとめアンテナMAP【悲報】学歴系YouTuberさん、福島大学長の声明を受け謝罪し動画削除・・・・・・・・・
- アニメ声優まとめアンテナMAP理系女子「ガンダムの戦艦に機銃って必要なの？あんなので、落とせるわけないよね？」
- VTuberまとめアンテナMAP【にじさんじ】シェリン「将来性がどうのとか言ってた僕は愚か者でした」
- だめぽアンテナ【悲報】中田英寿さん（50歳）、土方として働いてる模様wwwwwwwwwwwwwwwwww
- ヌルポあんてなアストンマーチンのニューエイ代表、チームの4.7％の株式（約256億円相当）を保有しているらしい
- 2chまとめアプリ+嫁と喧嘩したワイ、晩御飯に毒を盛られていないか警戒する
- News人【ニュース】自◯した永田教員「辺野古事故で生徒に謝罪したい」と相談 ⇒ 高校側拒否他
- ブルーアンテナ学生の頃めちゃくちゃ女にキモがられててダンスのペア組まされた時に手触ったら泣かれた事ある
- ウマーあんてな美人同僚の結婚式。スピーチは彼女の親友。しかし親友による告白は壮絶かつ驚愕だった → そして10年後、伝説に…….
- リアルな海外の反応アンテナ【PICK UP】【もえるあじあ(･∀･)】（ ´_ゝ`）東京大学の女性教授（教育社会学）、高市首相を「害虫」とする記事共有で炎上
- おまとめアンテナ【悲報】バトロワゲー、結局「PUBG」が一番面白い
- ライムアンテナ【艦これ】日進「夕日が海に落ちるのぉ、綺麗じゃねぇ」 他
- とろたまヘッドライン放熱の秘密は底面の大型パネルにあり！ 10GBASE-Tスイッチ プラネックス「FXXG-0005EM」
- ワロタあんてな【衝撃】作者「この作品適当に作りましたｗ思い入れありませんｗ」←こういうのってさぁ…w w w w w w w
- うほうほあんてな【速報】松本人志、がん発覚前にオカンに会いに行った“不思議な心境”を激白する・・・
- まとめクローラ北海道旭川市 陸上自衛隊“格闘訓練のまねごと”でゴム製の模擬ナイフではなく、誤って「本物のナイフ」で後輩隊員を突き刺す…全治2週間のけが [9/2]
- アナグロあんてな水卜麻美アナ ピタパンのお尻を突き出す！！
- Ask Reddit まとめ海外「また一から誰かと付き合うこと自体が、もう無理」既婚者が挙げた一発アウトの条件とは…
Googleが公開した軽量モデル「Gemini 3.8 Flash」が、海外掲示板Hacker Newsで話題になった。ベンチマークサイトでは上位モデルの「Opus 5」と並ぶ知能スコアが報告され、生成速度の速さを称賛する声が相次いだ一方、実際のコーディング用途では従来モデルほど信頼できないという指摘や、ベンチマークの数字を額面通り受け取れないとする懐疑論も出た。さらにスレでは、Googleが上位モデル「Gemini 3.5 Pro」を投入せず、次期フラッグシップ「Gemini 4」に直接進むのではという観測も語られ、Google/DeepMindの開発戦略をめぐる憶測が交わされた。
Gemini 3.8 Flash（モデルカードページ）
出典: deepmind.google / 元記事はこちら
DeepSWEのランキングで現在トップ、Opus 5を上回っている。Artificial Analysisの知能スコアでも59でOpus 5と同点らしい。すごい、Flashモデルでこの数字はベンチマーク上かなり強い。実際に使ってみてどうかはまだ分からないけど。
それはどうかな。どこの研究所もやってる「ベンチマーク荒稼ぎ」を疑ってる。実際のエージェント型のコーディングだと、GeminiはClaudeやGPT系に比べて全然良いと感じたことがない。
ベンチマークには速度が反映されてない。使ってみると返答が速すぎて、逆に何か壊れてるんじゃないかと思うレベル。
Google、完全復活じゃん
3.7 Flashからまだ3〜4週間、その前の3.6 Flashからもだいたい同じ間隔だった気がする。詳細を待ちたいけど、Demisが指揮を執らなくなったDeepMindが解き放たれてフル回転してるってこと？驚き。もうネタになってるけど、それで3.5 Proはどこ行った（笑）
WSJによると3.5 Proは丸ごとスキップされて、事後学習を終えたGemini 4が次のフラッグシップになるらしい。
DeepMind/Googleくらいの規模の組織だと、1ヶ月やそこらじゃ意味のある変化は起きない。これらのモデルはDemisの下で始まったチームや作業の成果のはず。DeepMindが軌道に戻りつつあることをDemisは誇っていいと思う。
ペリカンのテスト（思考の強度：高・中・低）をやってみた。高で8.9742セント。比較用に3.7のペリカン結果も置いておく、こっちは高で8.4387セントだった。
Fableと比べるとこう。生成に14分弱かかって、出力65927トークンで3.30ドルもかかったらしい。それに比べて50倍安いのか。じゃあ速度はどれくらい違うんだろう？
悪気はないけど、このペリカンネタもう飽きたし、ベンチマークとしてほぼ無意味だと思う。どのモデル・バージョンのSVGを見ても実質差がない。
え、3.7 Flashが既にSolを複数のベンチマークで上回ってたって知らなかった。あれってずっと小さいモデルじゃないの？
小さいかどうかは分からないけど、圧倒的に速いのは確か。自分のテストだとFlash 3.7（高）はLuna（高）よりだいたい9.4倍速かった。ただ「tiny」を超えるサイズのコードベースだと、コーディングはSolの方が圧勝。自分はプロトタイピングとか本番用コード以外は基本Flash任せにしてる。
自分でちゃんと誘導してやればかなり良い、本当に良い。antigravityの無料枠もProプランも太っ腹だし。トークン生成の速さには驚かされる。
Flash系はコーディングでは無鉄砲、というのが自分の印象。Ultimateプランに入っていて枠は十分あるけど、コンテキストウィンドウさえ気をつければOpus 4.6の方がずっと信頼できるから結局そっちを使ってる。
自分はFlashをコード実装役として使って、GPT-5.6-SolかOpusにレビューさせてる。今のところ結構良い感じだし、たぶん安上がり。
自分の感覚だとantigravity（ツール側）がひどくて無鉄砲なだけで、モデル自体はそうじゃない。
無鉄砲っていうのが、頼んでもいないのに勝手にコミット・プッシュ・デプロイまでやることを指してるなら、それは同意する！
3.7からの妥協なしのアップグレードって感じ。3.7自体もう十分お得で速いし、Claudeみたいな変な文体にもなってなかったし。
今のところ確かにそう見える。ちょっと頭がおかしくなりそうなレベル…
今のGoogleのインフラって安定してるの？年始にはgemini CLI経由でFlashモデルが丸1ヶ月使い物にならなくて、しかも1ヶ月直せなかった。こっちは有料ユーザーだったのに。
最近は特に問題ないよ。
もう3.1 Proを使う理由なんてあるの？
文章作成やスキル系タスク、文書レビュー、深い推論、アーキテクチャレビューなんかは今でも3.1 Proの方が上のはず。まだリリースから6ヶ月しか経ってないから、世界知識やソフトウェア知識がそこまで古くなってるわけでもない。難しい設計の問題を延々考えさせるのに使えばいい。
モデルカードのリンクはこっち（404にならない版）。
念のためこっちのアーカイブも貼っておく、また消えたとき用に。
Googleは外部向けの最先端モデルはもう諦めたように見えるけど？
最新の噂だと、3.5 ProはFlashより意味のある差を出せずに苦戦してたらしい。Flashの方が改良サイクルがずっと速く回ってて、それはモデルサイズのせいじゃないかと（Flashは200〜400Bパラメータくらいと推定されてる）。
FlashモデルがOpusやSolに迫るベンチマークを出してるのに、なんでそう言えるの？
政府とのデータ共有が必要になるような最先端モデルは出したくないんだろう。今の状況だとそれが避けられなさそうだから。
他サイトの新着
で、Gemini 3.5 Proはどこにあるの？
代わりに4 Proが割と近いうちに出る可能性が高い。4の事前学習は7月下旬に始まってるらしいから。
Gemini 3.5 Proはもう出ないよ、失敗作だったんだから。
またGoogleのリリースが微妙なことに…。自分はGoogle Oneのストレージ増量目当てでAIバンドル込みのプランに課金してる（AI自体には興味ないのに払わされる形）けど、Geminiアプリで見えるのはずっと3.6-flashのまま。
Googleは昔から全製品を段階的にロールアウトするやり方をしてる。
もう404になってる。
まさに「フラッシュ」のように一瞬で消えた
ブログ記事は消えてるけど、Geminiのチャットサイトでは今も使えてる。
Geminiはアップデートのたびに使いにくくなってる気がする。前は3-proモデルでPDFを編集できたのに、3.1-proだと渡したPDFを編集できないし、生成もできなかった。
それ、3.5-flashのことじゃない？Proは今でも多くの用途で普通に使えるけど、公式にはまだ「プレビュー」扱いっぽい。
そもそも3.5 Proってまだ存在しないんじゃない？
この話題の背景と論点
Geminiの「Flash」系は低コスト・低遅延に振った小型モデルで、上位の「Pro」系列とは別に数週間おきの高頻度で更新されている。スレで割れたのは、ベンチマークスコアの高さをそのまま実力とみなすかどうかという点で、「ベンチマーク荒稼ぎ(benchmaxxing)」を疑う声と、体感速度や生成コストの安さを評価する声が対立した。また「Gemini 3.5 Proは開発中止され、次はGemini 4になる」という情報はWSJ報道を引用した投稿者個人の発言であり、Google公式の発表ではない点には注意が必要。ベンチマークの順位と実務での複雑なコーディング精度は必ずしも一致しない、という指摘が複数のレスで繰り返されていた。
※本記事は5ch(Hacker News)スレッド「Gemini 3.8 Flash」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。