新型Mac StudioでローカルAI、RTX5090との速度比較が海外で議論に
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【悲報】サタノファニ、射銃が強すぎて終わる
- ニュース速報まとめMAP【悲報】アメリカさん、ICCにガチ制裁やんけｗ国際司法の未来は？
- なんJ傑作まとめアンテナMAP【悲報】NHK、18歳の入浴シーンを流して炎上ｗｗｗｗｗｗｗｗｗ
- アニメ声優まとめアンテナMAP【悲報】既婚バレしたVtuber、今度は『声がキモすぎる』と叩かれ始める……
- VTuberまとめアンテナMAP【Vtuber】まなのの雑談コラボ！ののは、今日はちょっと臭い
- だめぽアンテナ【速報】池田瑛紗、前屈みで「あれ」が見える
- ヌルポあんてな「300歳」と名乗っていたVTuber、実年齢40歳を公表→なぜか若者が消えてしまうｗｗｗ
- 2chまとめアプリ+【超速報】イラン、ようやく気づいた模様・・・・・
- News人【ガチ注意】個人Vtuber「なんか変な質問が大量に届いたんだけど・・・尋問？」→実はガチでやばすぎる意図があった・・・怖すぎる他
- ブルーアンテナ冨田有紀アナ、白T横乳おっぱいの膨らみがエッチ過ぎてタマランち
- ウマーあんてなSBI、ライブドアを買収 NTTデータ・ミンカブ含め金融データで協業
- うほうほあんてな三大無能監督要素｢左右病｣｢ピンチバンター｣｢言動が不快｣
- アナグロあんてな政府の要請をガン無視して高値掴みした卸売り、今期の決算がとんでもないことになっており……
- ぶーアンテナ【警告】医師「梨、食べすぎるとこうなる…」
- 2ちゃんねるアンテナこれの正式名称が分かるならプラス
- ワロタあんてな吉村知事、金正恩に抗議文を送付「弾道ミサイル発射は許しがたい暴挙」
- ２ちゃんねるまとめるまとめ【画像】HカップYouTuber「タトゥーを入れてモテなくなった」タトゥーで後悔
- 5chnavi【悲報】既婚バレしたVtuber、今度は『声がキモすぎる』と叩かれ始める……
- 勝つるあんてな！【悲報】既婚バレしたVtuber、今度は『声がキモすぎる』と叩かれ始める……
- ぷぅアンテナ【画像】怯むドヤ顔、親の真似がバレて草ｗｗｗｗ 他
Hacker Newsで、新型Mac Studio(M5 Ultra)を使ったローカルAIエージェント向けレビュー記事が話題になっていた。記事ではQwen3.8などのモデルについて、RTX 5090搭載PCとの生成速度比較データが示されており、コメント欄では「5090の方が速い」「比較対象のモデルが違う」といった反論が相次いだ。テスト機の価格が1万8000ドル前後だったことから、クラウドAIサービスの利用料と比べてどちらが得かという価格論争にも発展した。
M5 Ultra Mac Studioレビュー:ローカルAIエージェントのための理想のMac
出典: macstories.net / 元記事はこちら
一番気になった数字は記事の下の方にひっそり載っているグラフだった。Mac StudioとRTX 5090の速度比較(Qwen3.8 27Bのトークン生成速度、単位tok/s):
プロンプトサイズ 8K 64K 128K 256K
RTX 5090 PC 59 51 44 該当なし
M5 Ultra 48 39 32 24
M3 Ultra 31 23.5 20 15
この項目には他にもたくさん比較データが載っている(リンク先参照)。
プロンプトサイズ 8K 64K 128K 256K
RTX 5090 PC 59 51 44 該当なし
M5 Ultra 48 39 32 24
M3 Ultra 31 23.5 20 15
この項目には他にもたくさん比較データが載っている(リンク先参照)。
そのRTX 5090の数字はひどいな。ninferでNVFP4とMTPを使えば200tps以上出せるのに。
27Bの密なモデルはMacで動かす意味があまりない。帯域はそこそこでもメモリが大量にあるなら、MoEの方がずっと理にかなっている。
それは密なモデルだから遅くて当然だ。じゃあQwen 3.8 NextモデルをRTX 5090で動かして、TPSがどうなるか教えてほしい(ヒント:5090のVRAMは32GBしかなく、元記事のM5の256GBには収まらないから、ほぼ0になるはずだ)。
Appleのサイトによると512GBメモリ構成は10月に登場するらしい。そこまで上げると追加で4000〜6000ドルはかかりそうだ。となると2TBストレージ搭載のUltraは1万5000ドルを超える計算になる。OpenAI Proのサブスク12年分くらいだな。
ハードウェアの話をしているのでついでにコメントするけど、この記事(リンク)で公開されているSSDのテスト結果はなかなか興味深かった。もう既出の話かもしれないけど。
同感。しかも今なら半額を払うだけで、OpenAI Proのサービス提供を12年間途切れず保証する『鉄壁の契約』が結べるわけだしね。
そうだね、ローカルAIで節約できると思っている人は、少しでもまともに使えるモデルを動かしたいなら、たぶんがっかりすることになる。ローカルAIにワクワクする理由は他にたくさんあるけど、コストはその一つじゃないと思う。
テストに使われた構成は1万8000ドルだ。まさかこれのせいで5090がお買い得に見えてくるとは思わなかった。
5090のVRAMは32GBだ。Qwen 27Bみたいな小さいモデルを動かすためだけに1万8000ドルの機種を買うのは馬鹿げている。実際にはGLM FlashやQwen Nextのような、5090一枚には収まらないモデルを使うためのものだ。
1万2299ドル
その値段だと月200ドルのトークン代5年分くらいか。一方でRTX 5090搭載PCならその半額くらいで済む…うーん、でもこのトークン代がいつまで持続可能なのかは気になるところ。トークン代が値上がりしていくなら、長期的には自前のハードウェアを持つ方が安上がりになるかもしれない(ついでにハードウェアがまた安くなってくれるといいけど)。
『まず本題に触れておこう。クラウドの最先端モデルの方が優れていて大抵は速いのに、なぜわざわざローカルAIにこだわるのか?』とあるけど、本当の本題は『時間5ドルでGPUを借りられるのに、なぜわざわざローカルAIにこだわるのか?』の方だと思う。答えは、趣味のプロジェクトに注ぎ込む金が有り余っているのでない限り、こだわる必要はない、ということだ。
『趣味のプロジェクトに注ぎ込む金が有り余っているのでない限り』とあるけど、世の中には金のかかる趣味を持つ人がたくさんいるよ。例えばヨットレースとか。
データセンターに1兆ドルもつぎ込んだ後にこの記事を読む姿を想像してみてくれ。OpenAIにとっては悪夢のネタだろう。
99.99%の人にとって、Qwen 3.8をローカルで動かすためだけにMac Studioに1万5000ドルを払うなんて、そもそも選択肢に入らない。
本当にインパクトを与えるのはM5 Ultra自体じゃなくて、M7やM9の世代だろう。99%の人は無料で使えるAIを使うだけだ。多額の金を払う意思と余裕がある、高度なヘビーユーザーこそが推論コストのコントロールに関心を持つ層になる。今のところM5 Ultraが意味を持つ層はごくわずかだけど、それは今後大きく広がるかもしれない。
15トークン/秒でね
忘れちゃいけないのは、RTX5090の消費電力が600W以上あるってこと。それに対してMacはせいぜいその半分くらいじゃないかな?
たしかに。でも消費電力2倍で性能10倍なら、それだけの価値はあると思う。大抵の場合はね。
これはありがたい情報。AppleにはTTFT(最初のトークンが出るまでの時間)の改善にもっとシリコン設計を注力してほしいけど、M3 Proから見ても、5090のNvidia製TensorCoreと比べるとまだ見劣りする。Appleが何か買収でもすればこのバランスが変わるかもね。
確認できた。なんでみんなこれやSparkにあんな大金を払うのか分からない。5090ならQwen 3.8を200tps以上で動かせるんだから!1〜2桁は速い。
みんな27Bモデルを動かすためにSparkやM5 Ultraを買うわけじゃない。このM5が真価を発揮したQwen NextのようなMoEモデルを動かすために買うんだ。
セイコーの方が実用性が高いのに、みんな大金を払ってロレックスを買うのと同じ理由だよ(テック業界の人間だって虚栄心とは無縁じゃない)。
意外なことに、Redditでは32GiBの5090+128GiBのRAM構成で50〜60トークン/秒という報告が上がっていて、PCIeのボトルネックとDDR5の帯域の狭さがあるにもかかわらず、M5 Ultraのベンチマークと同水準になっている(リンク)。(なお、これはアクティブパラメータが6Bしかないスパースなmoeモデルであることに注意)
参考になった、ありがとう。ただしそれはDDR5 6000のRAMへCPUオフロードした場合の数字で、そのRAMだけで少なくとも3000〜4000ドルはするよ。
他サイトの新着
Appleのプロセッサロードマップに関する噂では、AI関連の理由でM7世代に集中するために、M6のPro/Max等のバリエーション(これまでの世代は全てProとMaxを持ち、一部はUltraもあった)を飛ばすらしい。M7で具体的に何が改善されるのかは誰にも分からない。(リンク)
結局それはTSMC次第だと思う。NvidiaがA18かA16ノードを丸ごと予約したらしい。Appleは今2nmで、M7で一気にA14に飛ぶことになる…とAIにざっと調べてもらった限りでは。
それはAIが生成したもっともらしいデタラメにしか聞こえない。AppleはN2に移行したばかりで、すぐにまた大きな移行をするとは思えない。それにTSMC自身のロードマップを見ても、その『妄想』が現実になるのはどう見ても何年も先のことで、それも年一ペースで製品を出しているところの話だ。(リンク)
でも5090を8枚InfiniBandでつないだ構成だとどうなるんだろう?価格的にはMacと同じくらいで、大きなMoEモデルの性能では大幅に上回れるんじゃないか?スペースや発熱、騒音の問題があるのは分かるけど、価格面でも思ったほど割に合わないかもしれない。(NVIDIA製ハードウェアの入手が難しいことと、6000 Proの価格競争力が低いことには同意する)
電気代がとんでもないことになりそうだな。
すごく格好良さそうだけど、それを実際に組んで維持する人が、モールで買えてお弁当箱サイズに収まる機械と比べてどれだけいるんだろう?
いや、4万ドルは1万ドルと比較にならないよ。
HNにはいつもこういう無理やりな反論があるよな。LLMプロバイダーの利用を妨げるような事態が現実的に起こると本気で思っているのか?元のコメントは文字通り12年という意味じゃなくて、Mac miniを代替に使うのがどれだけ高くつくかを示したかっただけじゃないのか?
民衆による大反乱でデータセンターが焼き払われ、光ファイバーが切断される、とかね。
そう、まさにそんな感じだよね。最先端の研究所は人類の知の限界を押し広げ、無私の心で人類を暗黒時代から救い出そうとしているというのに。無知な民衆はそれを知らずに現代文明を焼き払おうとする。データセンターと光ファイバーが現代経済の生命線だって分かっていないのか?
それが皮肉であることを願うよ。
『鉄壁』ね(笑)
この話題の背景と論点
この記事の論点は大きく二つに分かれる。一つはベンチマークの前提で、Qwen3.8 27Bのような密なモデルではGPUが有利だが、Qwen NextのようなMoE(専門家混合)モデルは総パラメータが大きくてもアクティブ部分は小さいため、メモリ容量の大きいMac Studioの方が動かしやすいという技術的な違いがある。RTX 5090のVRAMは32GBしかなく、256GBのメモリを積んだM5 Ultraとは想定する用途がそもそも異なる。もう一つは費用対効果で、クラウドのAPI利用料と比べて自前のハードウェアが得かという議論は、電気代やモデルの進化速度、GPUの供給不足といった不確定要素が絡むため、単純な損益分岐点の計算では結論が出ていない。
※本記事は5ch(Hacker News)スレッド「M5 Ultra Mac Studio Review: The Dream Mac for Local AI Agents」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。