「小型モデル5体でFable 5に勝てる」主張に海外HNで異論相次ぐ
姉妹サイトの新着
Hacker Newsで、オープンな小型モデルQwen3.8-27Bを5体組み合わせた「Memdoor」という手法が、コーディング問題集LiveCodeBench Hardの一部でFable 5を上回ったという報告が話題になった。投稿者自身は手法を公開し再現を呼びかけたが、スレでは「検証したのはLiveCodeBench Hardの最初の10問だけで根拠が薄い」「量子化で劣化したモデルはターンを重ねるほど誤りが積み重なる」といった懐疑的な声が目立った。一方で話題は検閲回避(アブリテーション)の是非や、大型モデルを自宅で動かすのに必要なGPU・費用の話にも広がり、技術的な実情を語り合う展開になった。
Memdoor:Qwen3.8-27Bモデル5体のチームが、LiveCodeBench HardでFable 5を上回った
出典: github.com / 元記事はこちら
ローカルで動かせるモデルを大手クラウド勢に負けないレベルで維持することがどうしても必要だ。いつまでも大手の言いなりになりたくない。Anthropicがゲームのリバースエンジニアリングを制限し始めた今、検閲という意味で越えてはいけない一線を越えつつあると思う。
>>2
様子を見るしかないが、『uncensored』や『abliterated』とタグ付けされたモデルはいずれHugging Faceから一斉に消されると思っている。今これが広く普及しない一番の壁は、abliterated版のDeepSeek v4.1 flash 1017やMiMo 2.6クラスのQ8モデルをローカルで動かせるだけの自前ハードウェアや予算を持つ人がほとんどいないことだ。
様子を見るしかないが、『uncensored』や『abliterated』とタグ付けされたモデルはいずれHugging Faceから一斉に消されると思っている。今これが広く普及しない一番の壁は、abliterated版のDeepSeek v4.1 flash 1017やMiMo 2.6クラスのQ8モデルをローカルで動かせるだけの自前ハードウェアや予算を持つ人がほとんどいないことだ。
>>15
『uncensored』や『abliterated』のタグが付いたものは全部消される、というのはどうかな。自分でやろうと思えば大した手間じゃないはずだから(実際にはやったことないけど、傍から見る限りHN民の平均的なスキルで十分できる範囲だと思う)。
『uncensored』や『abliterated』のタグが付いたものは全部消される、というのはどうかな。自分でやろうと思えば大した手間じゃないはずだから(実際にはやったことないけど、傍から見る限りHN民の平均的なスキルで十分できる範囲だと思う)。
>>15
『abliterated版のDeepSeek v4.1 flash 1017のQ8をローカルで動かせる予算を持つ人はほとんどいない』というのは、思っているほど大したハードルじゃない。今どきそこそこのハードウェアはちょっといい新車1台分くらいの値段で済む。自分が見たabliterated版の1017はとんでもなく出来が良かった。
『abliterated版のDeepSeek v4.1 flash 1017のQ8をローカルで動かせる予算を持つ人はほとんどいない』というのは、思っているほど大したハードルじゃない。今どきそこそこのハードウェアはちょっといい新車1台分くらいの値段で済む。自分が見たabliterated版の1017はとんでもなく出来が良かった。
結論を出すのはもっと多くのベンチマーク結果を見てからにしたい。今回検証されたのは『LiveCodeBench Hardのリストの最初の10問』だけだし、LiveCodeBench Hard自体もう何年も前からあるベンチマークだから、もう飽和(汚染)している可能性もある。
今回のベースになっているGVS5Hについては、1週間前にもここで話題になっていた。
>>5
今回の目的は、数ヶ月前に自分が作ったヘッドレスのコーディングエージェント『Memdoor』でGVS5Hを再現することだ。yamlファイルでステップやモデル、temperatureを再定義すれば誰でもハーネスを組み替えられる。レシピはこのリポジトリに置いてあるので、あとは皆さん次第だ。
今回の目的は、数ヶ月前に自分が作ったヘッドレスのコーディングエージェント『Memdoor』でGVS5Hを再現することだ。yamlファイルでステップやモデル、temperatureを再定義すれば誰でもハーネスを組み替えられる。レシピはこのリポジトリに置いてあるので、あとは皆さん次第だ。
これも先週HNに出ていた。今回触れられているもう一つの手法、GVS5Hのことだ。
これをqwen3.8-flash-next(Q8かフル精度)でやったところも見たい。コーディングやコマンドライン系のベンチマークではほぼ全てで3.8-27Bを上回っているから。特にterminalbench 4.0のような比較で差がはっきり出ている。
つまり誰かが、小さいモデルに大量のリクエストと膨大なトークンを使わせて、最終的に1回のリクエスト・少ないトークンで動く大きいモデルに勝った、ということか。……まあ良いとは思うけど、それがうまくいかないと思ってたのか?
Fable 5はもう最前線のモデルではないし、仮に最前線だとしても27Bのごく小さいモデル5体がFable 5と同じことができるとは到底思えない。これは事実というより願望の域だと思う。
>>11
『思う』『信じる』か……そうかもしれないけど、だからこそもっとまともな計測手段が必要なんだ。
『思う』『信じる』か……そうかもしれないけど、だからこそもっとまともな計測手段が必要なんだ。
Fable 5を5体チームにしたのには勝てるのか?
>>13
Sonnet 5を5体チームにしたのにすら勝てないだろう、Fable 5の5体チームなんてましてや無理だ。
Sonnet 5を5体チームにしたのにすら勝てないだろう、Fable 5の5体チームなんてましてや無理だ。
>>4
Bonsaiの量子化はそこまで凄くない。速いし『27B』という表記は保たれるけど、実際の性能は似たようなものになる。5GBのBonsaiウェイトは、片方が27B由来・もう片方が8B由来だったとしても、結局5GBのQAT(量子化込み学習)ウェイトと同じくらいの性能になる。
Bonsaiの量子化はそこまで凄くない。速いし『27B』という表記は保たれるけど、実際の性能は似たようなものになる。5GBのBonsaiウェイトは、片方が27B由来・もう片方が8B由来だったとしても、結局5GBのQAT(量子化込み学習)ウェイトと同じくらいの性能になる。
>>4
Bonsaiの2bit量子化は、8bitや4bitのQwen 27Bよりも明らかに頭が悪い。5体束ねたところで、この記事と同じレベルの品質は出ないと思う。
Bonsaiの2bit量子化は、8bitや4bitのQwen 27Bよりも明らかに頭が悪い。5体束ねたところで、この記事と同じレベルの品質は出ないと思う。
>>17
頭が悪いのは確かだけど、そこまで差があるわけじゃない。複数エージェント方式が記事通りに品質を上げてくれるなら、その劣化はほとんど気にならないレベルになるはずだ。
頭が悪いのは確かだけど、そこまで差があるわけじゃない。複数エージェント方式が記事通りに品質を上げてくれるなら、その劣化はほとんど気にならないレベルになるはずだ。
>>32
それはどうかな。エラー率は会話のターンごとに積み重なっていくことを忘れちゃいけない。2bitモデルがfp16版より10%多く間違えるなら、10ターンも重ねればその差はどんどん大きくなる。
それはどうかな。エラー率は会話のターンごとに積み重なっていくことを忘れちゃいけない。2bitモデルがfp16版より10%多く間違えるなら、10ターンも重ねればその差はどんどん大きくなる。
>>32
それは推測じゃなくて、実際に検証すべきことだと思う。ハーネス(仕組み)でカバーできる範囲には限界がある。
それは推測じゃなくて、実際に検証すべきことだと思う。ハーネス(仕組み)でカバーできる範囲には限界がある。
>>4
Bonsai 2はアーキテクチャが少し違っていて、speculative decoding(投機的デコード)もまだそれほど良くない、という理解をしている。そこに到達する前の段階では、メモリがあるなら元のモデルの方が速い。まともなspeculative decoderを使った速度を見てみたい。
Bonsai 2はアーキテクチャが少し違っていて、speculative decoding(投機的デコード)もまだそれほど良くない、という理解をしている。そこに到達する前の段階では、メモリがあるなら元のモデルの方が速い。まともなspeculative decoderを使った速度を見てみたい。
>>6
ハロウィンおめでとう! ::::実はCerebrasも試した。出力が32Kトークンで頭打ちになるので、(著者の設定した)128Kの推論予算に収まらなかった。でもCerebrasの速さ自体は本物だ。
ハロウィンおめでとう! ::::実はCerebrasも試した。出力が32Kトークンで頭打ちになるので、(著者の設定した)128Kの推論予算に収まらなかった。でもCerebrasの速さ自体は本物だ。
>>14
今のQwen 3.8 27Bと同等レベルのモデルを自分のノートPCで動かせるようにする、効率的な量子化が今後の方向性だと思う。
今のQwen 3.8 27Bと同等レベルのモデルを自分のノートPCで動かせるようにする、効率的な量子化が今後の方向性だと思う。
>>25
これはほとんどメモリ帯域幅の問題だ。自分のRAM36GBのM5 Maxラップトップでも、Qwen 3.8 27Bや関連のBonsai 2 27Bは動く。自分のモデルはより上位のRAM・コア数の多いモデルよりメモリ帯域が低いので、少し遅い。MoE系のモデルはここで有利になるし、エキスパートをストリーミングするエンジンを使えば、メモリより大きいモデルも動かせる。
これはほとんどメモリ帯域幅の問題だ。自分のRAM36GBのM5 Maxラップトップでも、Qwen 3.8 27Bや関連のBonsai 2 27Bは動く。自分のモデルはより上位のRAM・コア数の多いモデルよりメモリ帯域が低いので、少し遅い。MoE系のモデルはここで有利になるし、エキスパートをストリーミングするエンジンを使えば、メモリより大きいモデルも動かせる。
>>14
ローカルモデルでAnthropicやOpenAIから離れることには大賛成だけど、Qwen 27Bは2026年型ポルシェと比べたら馬車みたいなものだ。他に何もなければ使える、くらいの話であって、最前線のモデルと比較できるかのように言うのは誠実じゃない。
ローカルモデルでAnthropicやOpenAIから離れることには大賛成だけど、Qwen 27Bは2026年型ポルシェと比べたら馬車みたいなものだ。他に何もなければ使える、くらいの話であって、最前線のモデルと比較できるかのように言うのは誠実じゃない。
>>26
それには反対で、十分比較に値すると思う。ただM5 Maxでこそ本領を発揮する。llama serverで調整すべきフラグが50個くらいあって、ちゃんと設定し切らないとダメなんだけど。あと今のところMacではmlxよりllama serverの方が好みだ。
それには反対で、十分比較に値すると思う。ただM5 Maxでこそ本領を発揮する。llama serverで調整すべきフラグが50個くらいあって、ちゃんと設定し切らないとダメなんだけど。あと今のところMacではmlxよりllama serverの方が好みだ。
>>36
ほとんどのタスクでは出来が悪すぎて、自分で手を動かした方が速い。でもDeepSeekとGLMは使える、flash版でも十分だ。
ほとんどのタスクでは出来が悪すぎて、自分で手を動かした方が速い。でもDeepSeekとGLMは使える、flash版でも十分だ。
>>15
Hugging Faceはモデルをホストしているだけだ。仮にそこで検閲があったとしても、開発元から直接提供されたオリジナルのモデルを動かすこと自体は止められない。
Hugging Faceはモデルをホストしているだけだ。仮にそこで検閲があったとしても、開発元から直接提供されたオリジナルのモデルを動かすこと自体は止められない。
>>22
qwen4 flash nextとか、Qwenから出る150B級のMoEみたいなものが早く出てこないかな。
qwen4 flash nextとか、Qwenから出る150B級のMoEみたいなものが早く出てこないかな。
>>30
LoRAを使って、Qwen 3.8 27Bに入っている検閲の大部分を90ドルくらいで取り除けた。そのLoRAを永続的に組み込んでHugging Faceに公開した。コストは合成データ生成に約80ドル、LoRAの作成と統合に10ドルくらいだった。
LoRAを使って、Qwen 3.8 27Bに入っている検閲の大部分を90ドルくらいで取り除けた。そのLoRAを永続的に組み込んでHugging Faceに公開した。コストは合成データ生成に約80ドル、LoRAの作成と統合に10ドルくらいだった。
>>39
LoRAって普通は重みに焼き込まずに配布するものじゃないのか? それとも焼き込んだLoRAを『取り出す』のは簡単なのか?
LoRAって普通は重みに焼き込まずに配布するものじゃないのか? それとも焼き込んだLoRAを『取り出す』のは簡単なのか?
他サイトの新着
>>31
『そこそこの新車』が4万ドルなのか9万5千ドルなのかで話は変わってくる。v4.1 flash 1017をローカルで動かしていると言う人をよく見るけど、よく見るとunslothのQ2 XXSくらいのサイズだったりする。Q8は508GBもあるから、Macで動かしていないとすると、十分なコンテキストとKVキャッシュを含めてまるごと読み込むには96GBのGPUが5〜6枚は必要になる。
『そこそこの新車』が4万ドルなのか9万5千ドルなのかで話は変わってくる。v4.1 flash 1017をローカルで動かしていると言う人をよく見るけど、よく見るとunslothのQ2 XXSくらいのサイズだったりする。Q8は508GBもあるから、Macで動かしていないとすると、十分なコンテキストとKVキャッシュを含めてまるごと読み込むには96GBのGPUが5〜6枚は必要になる。
>>40
自分はDS4.1は試していないけど、DGX Sparkを4台使ってネイティブの重みで動かしているという報告は見た。今は3万ドルくらいだけど、先月までは2万ドルくらいだった構成だ。
自分はDS4.1は試していないけど、DGX Sparkを4台使ってネイティブの重みで動かしているという報告は見た。今は3万ドルくらいだけど、先月までは2万ドルくらいだった構成だ。
>>40
96GB×4枚構成ならNVFP4量子化版が動くし、このモデルに限っては実用上Q8と区別できないレベルだ。これはいつも成り立つ話ではないけど、DeepSeekは量子化に対してかなり相性が良い方だ。それにモデルの大部分はシステムRAM、必要ならSSDに置いておけるエングラム(記憶断片)で構成されていることも覚えておいた方がいい。各種GGUF版もかなり良さそうだとは思うけど、自分では試していない。
96GB×4枚構成ならNVFP4量子化版が動くし、このモデルに限っては実用上Q8と区別できないレベルだ。これはいつも成り立つ話ではないけど、DeepSeekは量子化に対してかなり相性が良い方だ。それにモデルの大部分はシステムRAM、必要ならSSDに置いておけるエングラム(記憶断片)で構成されていることも覚えておいた方がいい。各種GGUF版もかなり良さそうだとは思うけど、自分では試していない。
>>31
『新車1台分』って言っても、ほとんどの人には『AI用ハードウェア』に出す金額としてはまだ高すぎるよ……。
『新車1台分』って言っても、ほとんどの人には『AI用ハードウェア』に出す金額としてはまだ高すぎるよ……。
>>41
むしろ、自分の地下室に『言うことを聞く悪魔』を鎖で繋いでおいて、サンフランシスコの上司どもに梯子を外される心配がない、という能力の話だよ。
むしろ、自分の地下室に『言うことを聞く悪魔』を鎖で繋いでおいて、サンフランシスコの上司どもに梯子を外される心配がない、という能力の話だよ。
>>37
自分にとって大事なのは、自分の頭で問題を解けないということじゃなくて、コーディングエージェントが与えてくれる労働の自動化そのものに価値を感じているということだ。これから先の進歩が、独占的な扉の向こうに閉じ込められるのは嫌だ。
自分にとって大事なのは、自分の頭で問題を解けないということじゃなくて、コーディングエージェントが与えてくれる労働の自動化そのものに価値を感じているということだ。これから先の進歩が、独占的な扉の向こうに閉じ込められるのは嫌だ。
>>37
大したスペックのパソコンを持っていない場合、DS 4.1 Flashはどうやって動かすんだ?
大したスペックのパソコンを持っていない場合、DS 4.1 Flashはどうやって動かすんだ?
>>48
Strix Halo搭載マシン1台で動く。自分もそれを持っている。それ以外の環境でも、より効率的なエンジンや量子化を力技で作っているコミュニティが活発に動いている。今のところ最低限のラインはあるので、結局は自分のハードウェア次第だ。
Strix Halo搭載マシン1台で動く。自分もそれを持っている。それ以外の環境でも、より効率的なエンジンや量子化を力技で作っているコミュニティが活発に動いている。今のところ最低限のラインはあるので、結局は自分のハードウェア次第だ。
>>53
最近見た手描きの風刺画で、ClaudeかChatGPTに何かを頼んだら拒否されて、次に『中国製のやつにやらせよう』となり、その中国製モデルが鎖で繋がれた悪魔として描かれているものがあった。
最近見た手描きの風刺画で、ClaudeかChatGPTに何かを頼んだら拒否されて、次に『中国製のやつにやらせよう』となり、その中国製モデルが鎖で繋がれた悪魔として描かれているものがあった。
>>55
召喚用の五芒星だけは、しっかり描いておかないとな!
召喚用の五芒星だけは、しっかり描いておかないとな!
この話題の背景と論点
LiveCodeBenchは競技プログラミング形式の問題でLLMのコーディング力を測るベンチマークで、「Hard」区分は特に難度の高い問題を集めたサブセットだが、スレで指摘された通り公開から年数が経ち、学習データへの混入(汚染)が疑われる古いベンチマークでもある。「10問だけの検証」という弱点は結果の一般化可能性に直結する。もう一つの論点「アブリテーション」は、モデルの拒否応答を学習的に取り除く手法で、性能を大きく損なわずに検閲を外せるとする声と、量子化とアブリテーションを重ねるほど会話が長引くと誤りが蓄積するという懸念が併存している。ローカルで大型モデルを動かす費用についても、Q8精度のDeepSeek系モデルをフルサイズで動かすには96GBクラスのGPUを複数台、またはDGX Sparkのような専用機が必要になり、実際には精度を落とした量子化版で間に合わせている人が多いという実情が語られていた。
※本記事は海外掲示板 Hacker News のスレッド「Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。