【海外の反応】同じH100なのに料金が4.5倍違うGPUレンタル事情
姉妹サイトの新着
GitHub上で公開されたGPUレンタル料金の比較データが、Hacker Newsで話題になっていた。同じNVIDIA H100でも、借りる業者によって時間2.69ドルから12.29ドルまで、最大4.57倍の差があるという内容だ。コメント欄では、InfiniBandやSLA、コンプライアンス対応といった正当なコスト差を指摘する声と、安価な業者ではホストが利用者のVM内部を覗いているという噂や、GPUの空き状況・安定性の悪さを挙げて「安さには理由がある」と警告する声に分かれ、議論は価格そのものよりも信頼性とプライバシーの話に広がっていった。
同じH100でも、借りる場所によって時間2.69ドルだったり12.29ドルだったりする
出典: github.com / 元記事はこちら
ホストが客のVMを覗いているなら、使う意味あるの?
Vast.aiのGPUはファームウェアで制限されているものも多いから、ワークロードを走らせるのは賭けみたいなもの。クラスタも組めない。ComfyUIとかシンプルなLLM推論用途ならいいけど、プライバシーと安定性は犠牲になる。
覗かれる心配がなく信頼できるGPUレンタル先ってどこだと思う?
> その4.57倍に含まれていないもの
> ・InfiniBand
> ・データセンターのSLA
> ・エンタープライズ向けコンプライアンス、確保された容量
…なるほどね
ただ言っておくと、どちらもGPU単体の値段の2倍はしていない。
同じ感覚。GPUが空いてるときは最高。データセンター向けじゃないカードもワークフローで使えるなら、それも助けになる。
それ動くならいいね。気になって見に行ったけど、サイトが今落ちてるっぽい。
(Discordで普通に話題になっている、について)具体的にどういうことか説明してもらえる?Runpodは使ったことがないし、Discordを掘って何の話か調べる時間もないから。
コンフィデンシャルコンピューティングでこれは解決できる?
スクリーンショットを見せてもらえる?
(イチゴの収穫を手伝うモデルをファインチューニングする過程なんて誰が覗いても気にしない、について)プライバシーは何をしていようが関係なく、デフォルトで守られているべきもの。それに、連中だって中身を見るまでは何が入ってるか分かっていないことが多い。
(競合に売る相手がいても営業秘密法に違反するリスクの方が大きいから競合は興味を示さないはず、について)競合が中国みたいな国の企業だったら話は別。
他サイトの新着
営業秘密法に違反する、という話だけど、法律があるのは特許の話。営業秘密は実効性のある取り締まりの外側にあるものだよ。
それはよくある誤解。不正な手段で営業秘密を知った場合、連邦法のDTSAや、カリフォルニア州のCUTSAのような州法で責任を問われる。9年前のアンソニー・レヴァンドウスキーの訴訟でもこの法律が使われていて、Uberは和解でその会社の0.34%の株式を手放すことになった。
完全に間違ってる:https://en.wikipedia.org/wiki/Trade_secret#United_States
GPUが低電力モードに制限されてたり、CPUのクロックが落とされてたり、それが一番の当たり外れ。自分がやってる作業に関しては公開データを処理してるだけだから覗かれても別に気にしない。でも誰かのノートPCがVRAMの半分を使ってる状態だと、それは困る。
UpCloudのスポットインスタンスはVast.aiと同じくらいの値段になることがある。普段はデュアル3090で足りないときにVast.aiを使って、プライベートじゃない用途でもっと必要になったらUpCloudのスポットに移る。
(Midjourneyは以前、生成された画像を全部サイトで公開していた、について)それは実はかなり賢いやり方だったと思う。ユーザーはエロ画像や児童の性的虐待コンテンツ、著作権侵害コンテンツを生成しても逃げ切れない。全部公開の記録に残るから。
そうだけど、インフラを持ってるからこそ強い立場にいるんだよ。
学習データ自体がセンシティブじゃない限りは大丈夫。例えば製品の写真で品質チェック用の画像認識モデルを作ってるならまあ問題ない。でも検閲されてないサポートチケットのデータだったら、それはダメ。
それがまさにAmazonが何をAmazonベーシックの商品にするか決めてるやり方。AWSもオープンソースのソフトウェアを掘り尽くしてきた。Elasticsearch、Redis、MongoDB、ブラウザレンダリングツールとか。
この話題の背景と論点
H100のクラウドレンタル価格はスポットか予約型か、ベアメタルか共有マーケットプレイスかで大きく変わる。InfiniBandやデータセンターのSLA、コンプライアンス対応といったコストは実際に存在するが、スレの指摘通りそれだけで4倍超の差を説明するのは難しい。むしろ論点は二つに分かれていた。一つは「価格差そのもの」への疑問、もう一つは安価な業者(Vast.ai、RunPodのコミュニティ枠など)でホストが利用者のVMの中身を見ている疑いという、裏付けの薄い伝聞情報だ。後者はDiscordでの噂として語られているだけで、具体的な証拠は示されていない。また営業秘密に関する議論では「特許法はあるが営業秘密は実質野放し」という誤解が出たが、米国には連邦法のDTSA(経済スパイ法)や各州のCUTSAがあり、Uberとレヴァンドウスキー氏の訴訟のように実際に摘発例もある。安さと信頼性・プライバシーはトレードオフであり、どちらが「正しい」かではなく用途によって選び方が変わるという整理で読むと見通しがよい。
※本記事は海外掲示板 Hacker News のスレッド「The same H100 costs $2.69 or $12.29 an hour depending where you rent it」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。