GitHubの8月17日障害報告に「謝罪の言葉がない」海外エンジニアが反発
GitHubが8月17日に起きた大規模障害の経緯と対策をまとめた報告書を公開したところ、Hacker Newsで大きな反響を呼んだ。月間コミット数が4月以降14億件から29億件に急増していたという数字に驚きの声が上がる一方、「申し訳ない」という言葉が本文に一度も出てこない点に「謝罪になっていない」との反発が相次いだ。
障害の原因とされたAzureへの依存や、無料利用者の急増にどう対処すべきかをめぐる議論にも発展した。
8月17日の障害と、今後の取り組みについて
出典: github.blog / 元記事はこちら
「4月以降、月間コミット数は14億件から29億件に増えた」とのこと。すごい伸びだな、こんな短期間で。
本当にすごい。自分も月十件台から月数千件になった。この調子だと1〜2年以内に月1000億件超えを見込んでるはずだ。
AIが吐き出したゴミコードが大半だと気づくと、そんなにすごい話でもない。
大企業の分散システムはこのくらいのペースで伸びるもの。指数関数的でも何でもない、ありふれた話。
「該当サービスのエラーが原因で、クライアント側の再試行ループが発生し、復旧中のトラフィックが増大した」とのこと。自分が経験した最悪の障害は、だいたいこのパターンが絡んでる…
例の“サンダリングハード問題”ってやつか…
『AI用コンピューター以外の購入や、人員採用、Microsoft以外の製品利用を伴わない範囲で、この問題の解決に全力を尽くす』か。問題の元凶はAzureそのものなのに、それを解決策として持ち出すとは、見事なまでのダブルスピークだ。GitHubはそろそろ取って代わられるべきだし、早くそうなってほしい。
「既存データセンターの電力が許す限りハードウェアを増設しつつ、Azureへの移行を加速させた」とあるが、原因分析(RCA)を見ると『直接の原因は、トラフィックの新たなピークによるCentral USのロードバランサーのネットワーク飽和』とのこと。
とはいえ、Microsoft傘下の主要サービスがAzure以外で動くなんて、どう考えてもあり得ない。かつてAWSがOracleから脱却しようとしたのと同じ構図だ。技術的な妥当性がどうであれ、それ以外を提案したらキャリアが終わる。まあ、GitHubをメインフレームのz/OSに移植でもしない限り、絶対に落ちないインフラなんて存在しないけど。
『GitHubはそろそろ取って代わられるべき』というけど、あれは金食い虫で稼ぎの薄いサイトだよ。自前ホスト型も含めて競合はずっと存在してきたけど、どれも定着していない。それのどこが『取って代わられる時期』だと言えるんだ?
言いにくいけど、全員に月1ドルでも課金すれば、AIコーディングによる急増にはかなり効くはずだ。無料のものにお金を払うのは好きじゃないけど、GitHubならその価値は十分ある。
残念ながら、大多数の人は何度でも同じ選択をする。信頼できて敬意を払ってくれるサービスに月1ドル払うより、信用ならない“クソ企業”を無料で使う方を選ぶんだ…
issueとコミットごとの従量課金にして、1000コミット単位でクレジットを買わせればいい。そうすればpushする前に自分のゴミコードを見直すようになるかもしれない。
AWS CloudWatchにはトレンドとx期間後の予測を表示する機能があるけど、Azureにはそういう機能はないのか?あればもっとうまくスケールを予測できたはずでは。ポストモーテムを見る限り、エンジニアがこの事態に備えられていなかったように見える。
トレンドラインは、実際のスケールで何が起こるかまでは教えてくれない。次の10%や20%の成長に完璧に備えたつもりでも同じこと。マイク・タイソンの言葉通り、『誰でも顔面を殴られるまでは計画を持っている』ってやつだ。
今年で一番あいまいな障害報告のひとつじゃないか。
根本原因分析(RCA)は別文書だけど、ブログ記事からリンクされてるよ。内容は具体的で技術的だ。
主要な機能がほぼ8時間もダウンしたのに、この記事には『申し訳ない』『謝罪する』という言葉が一言も出てこない。『あの日リリース作業をしていた方々には、期待に応えられませんでした』なんて、典型的な“謝ってるようで謝ってない”企業スピークだ。もう無理。
むしろそこが良かった。事実と対応にフォーカスしてる。『申し訳ない』と言ったところで、『期待に応えられなかった』以上の何が得られるんだ。
はいはい、さようなら。
GitHubが落ちて、ハードディスクもメモリも手に入らない。AIのおかげだな!このままだとテック業界は“大渋滞”に向かってる気がする。
これはむしろ良いことだ!好景気ってこういうものだろう。みんな面白いアイデアを実現したくて、リソースを奪い合ってるってことなんだから。
『ほとんどの人はGitHubや各機能を無料で使っている』というけど、その情報の出典は?(GitHubのリソース利用の大半は有料枠だと思うし、こっちは怒ってるんだが)
無料プラン(期間限定の試用ではなく本当の無料枠)を持つプラットフォームとしては、それは珍しい話に聞こえる。普通は課金してくれるのはごく一部だけじゃないのか?
Forgejoがまさにそれを目指してるはず。Codebergで軽く触った程度だけど、悪くなさそうだよ?
Forgejoはなかなか良い。ただCI周りはactベースで残念な出来で、GitHub Appsのような機能がないのでサービスアカウントが使えない(ユーザーアカウントをサービス代わりに使うのは最悪)。自分でホストしてるけど、ユーザーが3人程度ならGitHubより稼働率を上げるのは簡単。GitLabは絶対おすすめしない。
『Forgejoはセルフホスト型の軽量ソフトウェアフォージです』って、それじゃ何も言ってないのと同じ。『Forgejoとは何か』という問いには答えず、彼らの価値観だの多様性だのの話が延々と続いて、次はもうインストール方法。おかしいだろ。結局これが何で、何をするものなのか、いまだに分からない。
うわ。ユーザーごとに月間push数の上限を設けるべきなんじゃないか。
それをやったら『エンシッティフィケーション(サービスの改悪)』という叫びが増えるだけで、『今度こそ絶対に落ちない』次の無料プラットフォームへの大移動を早めるだけだろう。
指数バックオフは味方だぞ…使ってる人が少なすぎる。
ジッターも忘れずに!
2023年に10億ドルの収益があって、今はおそらく20億ドル以上ある…支出額を示すデータは持ってるのか?
『それ以降、300万コア以上のCPU、120ペタバイトの高速ストレージ、そしてかなりのネットワーク容量を追加した。既存データセンターの電力が許す限りハードウェアを増設しつつ、Azure移行も加速させた』とあるけど、それが安いわけがない。
知っての通りMicrosoftはコストを公開してないけど、無料枠のコンピュートとストレージだけ見ても、1億5000万人以上の開発者のコードをホストし、月20億件超のGitHub Actionsワークフローを処理するには天文学的なサーバー性能とストレージが必要になる。『無料』枠はMicrosoftが集客用の損失として抱えてる、巨大なコストの塊なんだよ。それのどこが“無料”じゃないのか理解できたら教えてくれ。
Azureを悪者にするために、自分の論理を無理やりねじ曲げてるな。それに、キャパシティ枯渇を経験したことがないように聞こえる。物事はゆっくり壊れて、最後に突然壊れるものだ。
いや、GitHubは誠実さに欠ける嘘つきで、動機も不純、説明も信じがたいと言ってるんだ。ねじ曲がってるのはむしろ彼らの声明の方だろう。ゆっくり壊れていたなら、なぜその時点で直さなかった?なぜ気づかなかった?こういう問題を監視して見つける役目の人間を、まとめて解雇したからじゃないのか。SREとはそのためにいるはずなんだが。
GitLabは無料・有料問わずトラフィックがかなり少ないのが強み。上限設定は現状の利用量よりずっと余裕があるから、問題になりにくい。
付け加えると、GitLabの有料エンタープライズプランはシート単価で見るとGitHubより高い。安さを理由に移行した企業は多かったけど、もう安くはない。今度は価格ではなく安定性を理由にGitLabへ移行する企業が出てくるとしたら、皮肉な話だ。
※本記事は5ch(Hacker News)スレッド「The August 17 outage, and the work ahead」より抜粋・要約して構成しています。
まだコメントはありません。