Asanaが「5年分の開発を2週間で完了」と発表、海外では懐疑の声
AIコーディングツールのCodexを使い、Asanaがフロントエンドのテストフレームワークを旧ツールEnzymeから移行する「5年・600万ドル相当」とされた作業をわずか2週間で終えたとOpenAIが発表した。この事例がHacker Newsで話題になったが、コメント欄では「そもそも5年という見積もり自体が最初から大きく外れていたのでは」「テストコードの置き換えという範囲の限定された作業だからできた話で、宣伝としては誇張気味」といった懐疑的な声が目立った。
Asanaは、Codexを使って5年分のエンジニアリング作業を2週間で終わらせた
出典: openai.com / 元記事はこちら
「速読講座を受けて『戦争と平和』を20分で読み終えた。ロシアの話らしい」――ウディ・アレン
何か勘違いしているのでは。普通、本を読むのは娯楽か勉強のためだ。もし仕事も娯楽や自己啓発のつもりでやっていたら、その仕事は長くは続かないと思う
記事から引用――『比較として、従来の計画では少なくとも5年、費用は約600万ドルと見積もられていた』。これがLLMによる見積もりなら、自分の経験では毎回大きく外れている。エージェントが『数週間かかる』と見積もった作業が1時間で終わることに何度も驚かされている
LLMの見積もりは学習データ、つまり人間のエンジニアリングの時間感覚をもとにしている。各社は見積もり精度を改善できるはずだが、優先していない（あるいはRLHFでその方向が削られている）のだろう。あなたの言う通り、1週間分の作業を1時間で終わらせる方が『すごい』と感じられるからだ
英国政府はNHS（国民保健サービス）の待機リストを、一部は『長く待ちすぎた人をリストから外す』という方法で大幅に減らしたことがある。今回の見出しもそれと似た匂いがする
オープンモデル系の人たちが、このセキュリティ面での検証をやってくれるのが楽しみだ
5行程度のプロンプトが凝った設定より効果を出すというのは、この手のツールでよく見る話だ。コツは範囲がはっきりした移行作業を切り出すことで、オープンエンドな設計作業を丸投げすることではない
LLMがこれまで長期間、あるいは不可能だったタスクを可能にしている例として、自分にとってより実感できるのはpgrustだ。https://github.com/malisper/pgrust
実際は『優先度の低いプロジェクトに社員1人が5年間パートタイムで関わっていた』程度の話だったのでは
もうOpenAIの言うことは何も信用していない
見積もり通りなら5年分の人員は要らないということになる。覚悟しておいた方がいい
『旧テストツールのEnzymeはメンテナンスが止まっており、Asanaのフロントエンド刷新の妨げになっていた』とのことだ。本番コードではないので、なるほど良いユースケースだ
しかもゴールが明確なので、LLMにとってはかなり単純な作業のはずだ。テストをただ削除しただけでないか、人間がちゃんと確認していることを願う
『エンジニアが1日2回進捗を確認し、提案された変更をすべてレビューした。凝った設定より単純な指示の方がうまくいった』とのこと。ああ、気の毒なAsanaの顧客たち……
『エンジニアが1日2回進捗を確認し、提案された変更をすべてレビューした』とあるが、それほど大きな変更ではなさそうだ。エンジニア1人が2週間足らずで全変更をレビューできるなら、そもそも『5年分の作業』という見積もりが盛大に外れていたことになる
細かい指摘だが、今回のケースには当てはまらないものの、変更の中には実装というより『すり合わせ』がほとんどを占めるものもある
『Bunの書き直しに16万5000ドルかかった』という話と同じくらいしか信じていない
かなり盛大な自爆に見える
何でも『見積もり』にしてしまえば、どんなことでもすごく聞こえる。むしろ驚くべきなのは、テストフレームワークの置き換えに5年・600万ドルもの見積もりを出してしまうほど、Asanaのエンジニア組織がうまく回っていないということだ
それにこの宣伝記事は、テストフレームワークを『削除する』（これのどこが大変なのか）話と、『別のものに置き換える』話を比べてしまっているように思う
『5年分の作業』が2週間で終わるなら、分かることが2つある。見積もりが間違っていたことと、もうすぐ誰もプロジェクト管理ツールを必要としなくなるということだ
どうだろう、プロジェクト管理システムの存在意義は、進捗について大げさな発表ができることにあるのかもしれない
『5年・600万ドル』のような比較は意味がない。比べるべきは他のAIとで、たとえば自前ホストのオープンウェイトモデルを使った場合や、それを提供するAPIを使った場合にいくらかかったか、といった話のはずだ
Asanaにとっては良い宣伝になっている。Geminiにこれについて聞いてみたら、こう返ってきた（https://share.gemini.google/B8nocObwgiih）。まとめると――AIは5年分の創造的で斬新な新機能をゼロから2週間で作ったのか？ いいえ。AIは5年分の、地味だが広範囲にわたるコード移行の技術的負債を2週間で片付けたのか？ はい
自分にとっては後者の方が前者と同じくらい、いやむしろ魅力的に聞こえる。顧客の多くが求めているのは目新しい新機能より、バグの修正の方だからだ
『AIが仕事で当たり前になった今も、なぜまだこの手のニュースが出るのか分からない』という意見について言えば、OpenAIが年間150億ドルを溶かしているからで、こういう大げさな話がメディアでそのまま繰り返される。月500ドルのサブスクを全社員に必須だと中間管理職に信じ込ませたい企業にとって、格好の無料広告になっている
これは誇張、下手をすれば真っ赤な嘘だと言い切れる。PRとしては効果があっても、誤った印象を与えてしまう。エンジニアたちはこれから、何ヶ月・何年とかけて見積もっていた書き直し作業について、上司から『なぜそんなにかかるのか』と詰められる覚悟をしておいた方がいい
『裏では人が地味に一生懸命直している』というのはまさにその通りだと思う。AI企業はこれをうまく自分たちの追い風にしているように見える。まあ責められない話ではある
その通り。未対応のチケットを全部『WONTFIX』でクローズすれば、『5年分のエンジニアリング作業を5分で片付けた』と主張することだってできてしまう。何の意味もない
※本記事は5ch(Hacker News)スレッド「Asana cleared 5 years of engineering work in 2 weeks with Codex」より抜粋・要約して構成しています。
まだコメントはありません。