AIのトークン課金が青天井に、企業の「予算が組めない」問題を海外エンジニアが議論
姉妹サイトの新着
海外掲示板Hacker Newsで、AIのトークン課金が企業の予算管理を狂わせているという記事が話題になっていた。個人向けの固定料金プランと違い、企業向けのエンタープライズプランはトークンの従量課金が基本で、使う人やタスク次第で請求額が大きく跳ね上がる。スレッドでは、使用量に上限を設けて申請制にする運用の工夫や、「予算ゼロが一番管理しやすい」という皮肉、無人でAIエージェントを回すことへの懐疑論、AI推進派と慎重派の対立など、さまざまな立場からの意見が交わされていた。
AIへの支出は、企業にとって予算を立てるのがほぼ不可能になりつつある
出典: wsj.com / 元記事はこちら
中身による。例えば今、ちょっと変わったCUDAプログラムの拡張・最適化をチャットにやらせてるんだけど、Opus 5.5（high/xhigh）はかなり効率的とはいえ、1スレッドだけでもProプランの使用量を2日くらいで食いつぶす（放置して回しっぱなしならもっと早い）。しかもこれは割と範囲の限定された、そんなに大きくもないプログラムなのに。実際、5.5が出る前はFableを使ってた。
多くの企業はエンタープライズプランで、固定料金・レート制限付きの席単位じゃなくて、トークンごとの従量課金で使ってる。自分のトークン使用量を見て、APIの料金で払ったら月いくらになるか計算してみると面白いかもよ。
やり方が間違ってるか、逆に正しくやってるかのどっちかだよ。今は錬金術の時代みたいなもので、インチキも多いけど、本物のレシピもある。
まさにうちでやってることだ。デフォルトの月間上限があって、増やしたければ申請する、マネージャーがなぜ必要か話を聞く、という感じで柔軟性はあるけど、支出を減らそうというプレッシャーは多少感じる。だから「とりあえずOPUS HIGHを一日中回す」じゃなくて、タスクごとに力の入れ具合やモデル選びを細かく調整する人が増えてる。
経営陣には何が「無駄なこと」なのか分かってない。前は見えなかっただけで、トークンの使用量が数字として可視化されるようになった。もし聞かれたら、大企業の仕事の8割くらいは「無駄なこと」だと思う。
自分がバブルの中にいるだけかもしれないけど、ここで「ソフトウェア工場bro」をそんなに見かけない。むしろ「コーディングはもう解決済み」broの方が多い気がする（それはそれでウザいけど）。（編集：文法修正）
それを会社の1000人のエンジニア全員に、君と同じくらいちゃんとやらせてみろって話（30人のチームでもできなかったのに……）
それ、昔から馬鹿げてなかったことなんてあったっけ？
VSCodeでは「auto」を使ってる。たぶん一番安いのが選ばれてるんだろうけど、それで十分。
トラック運転手に「今週のガソリン予算を使い切ったから、残りの荷物は歩いて配達してくれ」なんて誰も言わないだろう。
いや、でも（その会社で働く）トラック運転手も、誰もその値段を払いたがらないからって「仕事がない」と言われることはある（単に運ぶ荷物自体がないときとの違いは運転手には分からないけど）。
いや、それは違う。ガソリン価格が今みたいに乱高下してても、それでもAIの支出よりはずっと予測しやすいコストだよ。250km走る、2015年式ボルボのトラックなら燃料Xリットルでコストいくら、と計算できる。でもAIを使って決まった問題を解かせるとなると、いくらかかるか見当もつかない。もし分かるなら、たぶんもう答えを知ってるはずだから。
自分が働いている大手銀行では、1週間でタスクが終わったら、その月の残りは手作業でコーディングすることになってる。経営陣はまったく気にしてない。それでいて毎日「もっとAIを使え」って話をしてる。
銀行は昔から、直接キャッシュを生むもの（フィンテック）以外、技術にはできるだけ投資しないものだから。あまり驚かないかな。
他サイトの新着
いや、それは材料科学者やエンジニアの仕事になるはず。
機械エンジニアには、自分が設計する対象の物理的な世界の限界を理解していることを期待すべきだ。材料科学者じゃないからって、物理的に不可能な特性を要求する設計を許していいわけじゃないのと同じこと。
その意見に同意する。データベースやプログラミング言語、フレームワークについては「永遠のスロップトーバーフェスト（AI生成コンテンツ氾濫の時代）」が来る前からちゃんとした意見を持っていたし、最近はLLM関連の知識もビジネスをやる上で当然身につけておくものだと感じるようになった。
完全にLLMによるコード生成を切り捨ててるなら、自分で思ってるほど判断力は優れてないんじゃないかな。
トークンの使用量も、たぶんべき乗則（パワーロー）に従って分布してるんだろうね。あと、これは暴走ジョブを検知するいい方法にもなりそう。データプランで似たような仕組みを見たことがある。無制限プランなのに、50GBごとに無料の追加50GBを申請しないといけない、みたいな。スマホ回線を自宅Wi-Fi代わりにされないための仕組みだった。
その意見に同意する。自分にも好みはあるけど（拡張派で、それが正しいに決まってる、だって自分の陣営だから、間違ってるなら最初からその陣営にいないはずだし、はいはい）、いろんな人がいろんなことをやって議論し合ってるのはいいことだと思う。その混沌こそが、物事を解き明かす唯一の方法だから。
AI不要派は今、高みの見物モードだよ。史上最大規模の宣伝キャンペーンにもかかわらず、間抜けな大企業が失敗していくのを眺めてる。最新の起死回生策（マスク氏の発言を伝えるロイターの記事へのリンク）。これで技術的に破綻したものの普及も、諸々の負債問題も全部解決するんだろうね！
それは同意。個人的にも、新しいモデルが出るたびに自分の判断基準（ルーブリック）が崩れる。5.6 GPTを使ってた頃は安定してたのに。この勘所を探って理解する余地はあるべきだし、そう、それも予算に織り込む必要がある。
この話題の背景と論点
背景には、個人向けサブスク（月額固定）とは別に、企業向けAIサービスの多くがトークン数に応じた従量課金になっているという事情がある。処理が長引くほど、あるいはAIエージェントを無人で長時間走らせるほど請求額が膨らみやすく、従来のIT予算のように「月いくら」と見積もるのがもともと難しい。スレッドで意見が割れたのはこの不確実性への対処法だ。個人の裁量でモデルや推論の強度を選ばせ最適化すべきだという意見、上限を決めて申請制にすべきだという意見、そもそも無人実行自体がギャンブル的でリスクが高いという懐疑論まで並んだ。押さえておきたいのは、ここでの「予算が組めない」が性能や品質の問題ではなく、使われ方次第で一桁単位でコストが変動する料金体系そのものの性質に起因しているという点だ。
※本記事は海外掲示板 Hacker News のスレッド「Spending on AI Is Becoming Almost Impossible for Businesses to Budget」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。