2.8兆パラメータAIをMacBookで動かしたら1トークン/秒 海外掲示板で話題に
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【ハイテクの壁】「店員の仕事だったことを、なぜ客が？」セルフレジやQR・タッチパネル注文に疲弊する人々の声。操作方法もバラバラで困惑
- ニュース速報まとめMAP【JR東日本】ペンギンを返せ！Suica新キャラ候補がダサすぎると物議…ネット投票で覆るか？
- なんJ傑作まとめアンテナMAP日本人、世界一ネットリテラシーが低かったwwww 「流れてくる情報を鵜呑みにするだけ」
- アニメ声優まとめアンテナMAP『ゼルダの伝説 時のオカリナ』Switch2リメイク版、もしかしてグラフィックを綺麗にしただけ？
- VTuberまとめアンテナMAP【にじさんじ】「ライバープロデュースデートボイス」2026年9月15日(火)18時より発売決定！石神のやつ何か隕石落ちてて草
- だめぽアンテナ【画像】山下瞳月の『例の下着見え』全画像がこれwwwwwwwwww
- ヌルポあんてな短パンズリ下げ排水溝にしゃがみ込んで…歌舞伎町で女性がまさかの行動→ライブカメラに一部始終が映ってしまう
- 2chまとめアプリ+【画像】面白いgifちょうだいｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
- News人【衝撃映像】名古屋県民、下水管の噴射を至近距離で激写ｗｗｗｗｗｗｗｗｗｗｗ他
- ブルーアンテナ【朗報】コナミが発売する完全新作RPGの女キャラ、可愛い
- ウマーあんてな国際的な小咄 追加
- つべこアンテナ時のオカリナはなぜオープンワールドにしないのか 5ch「足元にも及ばんゴミゲー」
- 海外反応・海外ニュースまとめ【海外の反応】食パンでトーストを挟むだけのサンド、1861年の料理書に実在→英国人も「知らない」
- おまとめ「名器度4。膣内のヒダの多さもさることながら、膣道の締めつける力も申し分無し」 <-夫の手帳に記されていた女性50人の性的評価…
- 即まとchひろゆき氏「完璧になるまで導入するな」論に疑問 5ch「助かる命が増える」
- カオスアンテナ俺は冷凍庫に特から旨辛あるけど？
- Ask Reddit まとめ海外「精神科医の夫に聞いたら『一番見逃されてるのは不安障害』と即答された」…みんな『ただのストレス』だと思ってる
- Red4 海外の反応まとめ【海外の反応】韓国で整形した中国人女性3人が空港の入国審査で止められたらしいｗ → 「リアルでFace IDに失敗してるｗ」「さすがにフェイクだろ」
- 海外の反応ジャーナル「日本では約5,000品目の食品が値上げになるのか」海外の反応
- おまとめアンテナ『ドラゴンクエスト』かしこさが何に影響するのか未だによく分かってないんだ
海外掲示板Hacker Newsで、2.8兆パラメータ級の大規模言語モデル「Kimi K3」を、GPUやRAMに収まりきらないため通常は動かせないところを、MacBook ProにThunderbolt 5経由で接続した4台のSSDからモデルの重みを都度読み込む方式で動作させたという投稿が話題になった。速度は1トークン/秒と実用にはほど遠い遅さだが、投稿者は「動くこと自体に価値がある」と説明している。スレッドでは、これだけ遅くても「やる意味があるのか」という懐疑派と「とにかく動かせたことがすごい」というホビイスト気質を支持する声がぶつかり合い、あわせてREADMEの文章がAIによって書かれたものではないかという指摘も相次いだ。
MacBook ProでKimi K3(2.8兆パラメータ)を動かす、SSD4台からストリーミングして1トークン/秒
出典: github.com / 元記事はこちら
5年前だったらこの速度でもとんでもなく革新的だと思われてただろうな。もしLLMが今より賢いけど今よりずっと遅かったら、使い方はどう変わるんだろう。プロンプトにもっと時間をかけて、準備にもっと力を入れるようになるんじゃないか
1トークン/秒でも、多くのタスクでは人間より速い。人間なら半週間かかることを一晩でやってのける計算になる。それに並列化すればいくらでも速くできる
うちの親はパンチカードでプログラミングを覚えた世代でね。プログラムを用意するのに1日、実行に1時間かけて、出てくるのが構文エラーだけだったらしい
答えが出る頃には、自分でとっくに答えを見つけてる
普通サイズのプロンプトって100万トークンのこと?
そしてmacOS信仰でもある
SSDはThunderbolt 5のエンクロージャー経由で接続してる。Gen4が1台とGen5が3台、それぞれエンクロージャーに入れてるよ。仕様はリンク先に書いてある
この掲示板全体のスタンスって「やらない理由がない」じゃないかな
そもそも動くこと自体がポイントなんだと思うけど…
GitHubのREADMEにそのまま「でもなぜ?」という項目があるよ
この返答、数字と特殊文字がぎっしりで多分1000トークンくらいある。1トークン/秒なら、MacBook Proでこれを生成するのに17分近くかかる計算になる
しかもKimiはこれを書く前に3万6千トークンも「思考」してるんだよな
それに、この情報を人間がまとめるならもっと時間かかりそう
ハイフンでつないだ用語が読み進めるほどひどくなっていく。もう勘弁してくれ
他サイトの新着
これ読みにくいから、gistにリンクするだけでよくない?
それ、コーディングエージェントの出力をそのままコピペしてるからだよ
少なくとも部分的には人の手が入ってるように見えるけど、Astra世代になると見分けるのがだいぶ難しくなってきたな…
改行が全然入ってないから読みにくいんだよ
LLMの使い道としてあまり注目されてないと思うのが分類マシンとしての利用。大量の入力を与えて、それを分類するトークン1つだけ出力させる。「このコードにバグはある?『はい』か『いいえ』で答えて」みたいな感じ。それなら1トークン/秒でも十分使えるかもしれない
実務には使えないけど、そもそも動くという事実自体が、強力なLLMをローカルで動かせる方向に進化してることの証拠になってる
できるからやる、それだけ。しかもK3は最先端級のモデルで、それがMacBook Proで動いてる
HNでこういうコメントを見るのは好きじゃない。昔は「こんなクレイジーなことやってみた」的な投稿にみんな投票してたはずだ。全部が全部、意味があったり画期的である必要はない。とにかく動かせたこと自体がすごいんだよ
実際ちゃんと役に立ってるよ。例えば毎朝30〜40分かけてレポートを自動生成して、それをPDFにしてTelegramに送るようにしてる
『そうでないふりをするつもりはない』って、いかにもClaudeっぽい言い回しだな。批判じゃなくて、ただ気づいただけ
それに投稿者は最初のプロンプトで1000トークンくらい送ってて、システムプロンプトにもっと何か入れてたのかもしれない。おまけにApple製ハードウェアはプロンプト処理が遅いことで有名だし
改行(\n\n)を削れば20秒くらいは節約できそうだけどね
それに、いかにもLLMが生成した文章っぽい特徴だらけだ
この話題の背景と論点
「Kimi K3」のような数兆パラメータ規模のMoE(混合エキスパート)型モデルは、推論時に使う重みの一部だけを都度読み込む構造を持つ。個人のPCが積めるRAMやVRAMの容量をはるかに超えるため通常は動かせないが、今回の投稿者はモデルの重みをメモリではなくSSDに置き、必要な部分だけをThunderbolt 5経由で逐次読み出す方式で動作を実現した。SSDの読み出し速度がボトルネックとなり1トークン/秒という遅さになっているが、これは複数のNVMe SSDを束ねてストレージ側の帯域を稼ぐという、GPUを買い増す以外の選択肢を示す試みでもある。スレッドで交わされた「実用性がない」「とにかく動くことに価値がある」という対立は、こうしたホビイスト的な実験投稿がHacker Newsで頻繁に見られる典型的な構図といえる。またREADMEの文体を巡ってAI生成を疑う声が上がった点は、近年GitHub上で増えている「AIが書いたと思しきドキュメント」への警戒感を映したものだ。
※本記事は5ch(Hacker News)スレッド「Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs」より抜粋・要約して構成しています。
まだコメントはありません。