AIを自腹ハードで動かす意味は? 海外で激論
姉妹サイトの新着
海外掲示板4chanのプログラミング板「/g/」で、「個人でAIをローカル運用するために大金をかけてハードウェアを揃える意味はあるのか」という投稿をきっかけに議論が起きていた。背景には、AI用GPU1枚だけでも高額で、大規模モデルを動かすには数万ドル規模の投資が必要という現実がある。スレでは、プライバシーの確保や利用制限のない自由度を評価する声と、クラウドのサブスクで十分という現実的な意見が対立し、オープンモデルの性能や必要なVRAM容量についても見方が分かれた。
まず売却した時に値段がつく。プライバシーも守れる。拒否されないし利用規約もない、何でもできる。これだけ理由があれば十分だろ?
それは分かるけど、値段がな…クソ高い。車買うくらいの金額だぞ。
オープンモデルは今のところ完全にゴミだから、その理由は今は通用しないな
市場が崩壊するのを待てよ。品薄の『幻の存在』じゃなくなれば、半額くらいになる。
中古サーバーとGPU2枚なら、思ってるほど高くないぞ
実用的な性能が出る金額を考えてるんだよ。コーディングや研究がまともにできるレベルで。でも2万5千ドルも出す気はない。
自分が動かしてるモデルが、開発元に情報を送ってないって100%確信できるのか?
いつ終わるか分からないサービスを前提にビジネスを組むのは悪手に見える。
>>7
それ、まさにMistralのビジネスモデルの説明じゃないか。
3万ドルのAIカードを買うような奴は、たぶんAIで何か金を生むビジネスをやってるんだろ。
クラウドのAIにはクラウドなりの制限がある。火炎瓶の作り方は教えてくれないし、『お前は頭の悪いガラクタAIだ』なんて言ったら会話を切られる。
みんなエロいことをやりたいだけだろ。
オープンモデルは有料モデルに3〜6ヶ月遅れてるだけだろ、何言ってんだ…
(64GB RAM + 16GB VRAM勢より)
ChatGPTに聞いたら『RTX A6000 48GBを4枚』がコスパ最強って言われたけど、それでも2万ドルの話になるんだよな。
オープンモデルを動かすのに必要なVRAMが2TB、って話だよな。スレ主が言ってるモデルだと、それが20台以上必要になるぞwww
マジかよ。今どき2TBのVRAMなんてどこで手に入れるんだよ。
HBM搭載カードだよ。もうDDRの時代は終わり。
他サイトの新着
推論自体を動かすコストは安い。
ただ『推論(reasoning)』をやらせるのはめちゃくちゃ高い。
モデルを安く動かすには科学的なブレイクスルーが山ほど必要になるか、もっと安い電力にアクセスする必要がある。
結局、値上げする方が1000倍簡単だから、そっちに流れると思う。
Claudeが価格を一気に変えた時もビビったわ。
ホームレスを500人くらい雇ってデータセンターを襲撃させろ
(画像を貼って反応)
この話題の背景と論点
今回の議論の背景には、AI用ハードウェアの価格が高騰し続けている事情がある。スレ内では「RTX A6000 48GBを4枚で2万ドル」「オープンモデルを動かすには2TBのVRAMが必要」といった具体的な数字が挙がり、個人が最先端級のオープンモデルを自宅で動かすには、サーバー向けのHBMメモリカードが要るレベルだと指摘されている。意見が割れたのは、ローカル運用の「価値」をどこに置くかという点だ。プライバシーや検閲の無さを重視する側は、クラウド版AIが拒否するような依頼にも応じられる自由度を評価し、一方でコストを重視する側は、AIで実際に収益を上げるビジネスでない限り数万ドルの投資は正当化できないと主張した。なお、オープンモデルの性能は有料の最先端モデルに「3〜6ヶ月遅れている」という指摘もあり、どちらを選ぶかは結局は用途と予算次第という現実も見えてくる。
※本記事は海外掲示板 4chan /g/ (Technology) のスレッド「What is the point of spending a ton of money on hardware to be able to run AI locally?」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。