kernel.orgもAIクローラーに悲鳴 海外「オープンウェブは死につつある」
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【動画】女子トイレだけがなぜ混むのか、その理由がついに判明
- ニュース速報まとめMAP【キキクル】「命が危ない」高市総理もXで警告。福井県の大雨特別警報が示す最悪のシナリオ
- なんJ傑作まとめアンテナMAP前澤氏、超豪華メガヨットについに乗船、愛犬とヘリで着艦！ハワイの海でダイヤモンドヘッド見ながら筋トレ
- アニメ声優まとめアンテナMAP【悲報】アニメ業界「もう今のアニメは日本人向けに作ってません、海外市場で極めて需要が高いジャンルは異世界転生なので今後もなろう系を作り続けます、日常？百合？オワコンです」
- VTuberまとめアンテナMAP【にじさんじ】はかちぇ、ジョジョ歌枠を企画したいけれどおじさんだらけの公民館のど自慢大会になるのは嫌
- だめぽアンテナ【悲報】中田英寿さん（50歳）、土方として働いてる模様wwwwwwwwwwwwwwwwww
- ヌルポあんてなTGRハースF1のオコン枠は持ち込み金額次第になるんじゃないかと話題に
- 2chまとめアプリ+スペーシアX死亡事故の見張り員「位置につく前に作業が始まっていた」「退避していると思った」
- News人【画像】日本の武士「小柄です、馬はポニー級です」←こう聞くと一気にショボく感じるけど、実際どうだったの？他
- ブルーアンテナ仕事帰りにスマホを見たり買い物しただけで妻に泣かれる。夕飯が遅いから買い食いしても文句言われる…俺が悪いのか？
- ウマーあんてなホンダ・日産「車の頭脳」で連合、米中新興EVに対抗 5ch「負け組連合だろ」
- 憂国あんてな|●|野党支持者が一線を踏み越えた模様、著作権ガン無視の人気作の不正使用にファンが激怒しており……
- おまとめアンテナ【悲報】大谷4年連続に黄色信号
- リアルな海外の反応アンテナ【PICK UP】【もえるあじあ(･∀･)】【ｗ】中道分裂 公明党に見放される
- とろたまヘッドライン【超悲報】パチ屋さん、店内のトイレにガチのマジで本当にとんでもないモノを置き忘れてしまう…
- うほうほあんてな【画像】のど自慢で陰好みの女さん、見つかる
- アナグロあんてな海外「本気で日本人に生まれたかった…」 日本の女子高生の恋愛風景が青春すぎると話題に
- まとめクローラPixivにAIイラスト上げてるんだが全く伸びない
- ワロタあんてな【驚愕】元ジャンポケ斉藤さん、まさかのノーダメ！？7年求刑されたあとに焼肉屋で大宴会していたことが判明してしまう！？！？！？！？
- ぶーアンテナ【動画】めちゃイケのこのシーン、今更大炎上ｗｗｗｗｗｗｗｗｗｗｗ
Linuxカーネルのソースコードを配布するgit.kernel.orgが、AIクローラーによる大量アクセスに悲鳴を上げている。管理者のブログ記事「Creepy Crawlies」は、AI学習用データを集めるボットが単純なgit cloneではなく、コミット一つひとつのHTMLページを律儀にレンダリングさせて負荷をかけている実態を報告した。これを受けたHacker Newsのスレッドでは、プルーフ・オブ・ワーク型の防御ツール「Anubis」の限界や、レート制限・分散型git・課金化・訴訟といった対策案が乱れ飛び、「オープンウェブはもう終わりつつある」という悲観論と、「そもそもサーバー側の実装が非効率なだけでは」という冷静な指摘とで意見が割れた。
しつこいクローラーたち（原題: Creepy Crawlies）
出典: people.kernel.org / 元記事はこちら
余談だけど、なぜshallow clone(浅いクローン)が悪者扱いされてるんだろう？てっきりコストが安いと思ってた。まあ自分のディスク容量的には安いってだけで、サーバー側はどのblobを渡すか計算しないといけないから重いってこと?
> なぜgit.kernel.orgがクローラーにとって『面白い』のかクローラーにとって『面白い』かどうかは、対象を絞り込む基準にはならない。うちのB2Bの洗車場サイトでも同じ問題が起きてる。
gitの(部分)バイナリダウンロードだけ提供して、HTMLのレンダリングをクライアント側でやる、というのはどれくらい現実的なんだろう。リクエスト数自体は多いままだろうけど、サーバー側の負荷は減る。SPAは好きじゃないけど、こういう用途なら使い道があるかもしれない。
gitの性質を考えたら、そのHTMLって基本的にキャッシュしやすいんじゃないの？もちろんタダではないのは分かるけど、cgitが毎回生成するよりはずっと軽いはず。
Anubisの問題点の一つは、一度POW(プルーフ・オブ・ワーク)を解いてしまえば、あとはそのクッキーを持っていれば再度解く必要がないこと。スクレイパー側はもうそれを学習済みだろう。だからAnubisは広く使われるようになった今では、以前ほど効果的じゃない。
自分なりの感想としては、結局『実在の人間のためにウェブを劣化させて、どうせ前進し続けるボットを少し遅らせているだけ』ということ。この解決策は問題そのものより悪い。もうそろそろ、自分たちが知っていたようなオープンなウェブは死につつあると認めるべき時期に来ている……
Claudeもこれ、GitHubのリポジトリでよくやる。だからagentsファイルに『/tmpにクローンしてそこを見ろ』って一行書いてある。
面白いのが、『AIは悪だ、データセンターがエネルギーを無駄にしてる』と言う人がいる一方で、『AIは悪だ、人間とそのスマホにエネルギーを無駄遣いさせることになる』と言う人もいること。
そもそもこの手のスクレイパーを動かしてるのって誰なんだ？大手AIラボなんて多くても15社くらいじゃないの？で、その中の誰も『git cloneして丸ごとオフラインで使えばいい』と気づくほど賢くないってこと?
kernel.orgの場合、未認証のアクセスには履歴なしの最新カーネルリポジトリだけを返す、というのはどうだろう(相対的にURL数がごく少なくなる)。kernel.orgのフル機能を使いたければログインする、という形にすればいい。
実際に作業している人たちにコストを押し付けるんじゃなくて、すべてのユーザーが公平な負担をしたら、AIアクセスのコストってどれくらいになるんだろうね。
利用には常にアカウントを必須にして、アカウント作成には難易度の高いAnubisチャレンジか遅延を課す、というのは十分に理にかなっているんじゃない?
深夜3時に本番障害のデバッグをしてるときを思い出すな。どっちもびっくりして飛び上がる原因になる。
kernel.orgは例外であって、ルールじゃない。他のサイトと同じようにクロールされているだけで、たまたまgitリポジトリをホストしているだけ。狙い撃ちされたクロールだとは限らなくて、単に一般的なクロールキューに大量に入ってしまっているだけのことも多い。
サーバーラックの中の本物の『気持ち悪い虫(creepy crawlies)』の方が、どんなコードのバグよりも大抵びっくりする。
積極的にレート制限すればいいんじゃないの？HTMLレンダリングされたコミットを正当に使う人はほとんど影響を受けないし、クローラーは完全に足止めできる。429を一定回数返したらIPをブロックすることもできるし……
気になったんだけど、ボット(とトラフィック)対策が本題なら、なんでradicleみたいな分散型gitソリューションが検討されないんだろう？ https://radicle.dev/
『有用な仕事の証明(読み取りリクエストの提供など)』対『無駄な仕事の証明』という形で、P2Pネットワークに戻ることになるのかもね。
1か月以上前のものは事前にレンダリングして圧縮し、静的コンテンツとして配信する、というのはどうだろう。最適ではないし、容量とCPUのトレードオフになるけど、その方が安上がりかもしれない。
ページの中に『もっと効率のいいダウンロード方法はこれです』とbotに伝えるテキストを入れておく、というのはどうだろう。
AIのせいで、Web開発の一番簡単な部分がさらに簡単になった一方で、一番難しい部分はほぼ不可能になったよね。
> スマホが計算処理でうっすら熱くなる、っていうくだり個人的には、訪れたサイトが自分に断りもなく電気代を無駄に食わせようとしてくるなら、それは敵対的で悪質だと思う。オプトインもないし。
自分もこの問題を抱えてたんだけど、うちのgiteaサイトはクローラー以外誰も使ってないから、アクセスログをスクリプトで走査して、直近24時間でコミットをリクエストしてきたIPを片っ端からBANするようにした。
Anubisの計算処理を暗号資産のマイニングに転用したらどうなるんだろう
案としては『CAPTCHAを解くには絵文字のシーホースを入力してください』みたいなのはどう？ LLMを無限ループさせたり、ガードレールに引っかけたりするようなやつ。
話がそれるけど、あのグラフを誰が(何のツールで)作ったか知ってる人いる?
クローラーからのリクエストをヒューリスティックに検知して、脆弱性や悪いコード・議論などを埋め込んだLLM生成の改変ページを返す、みたいな仕組みがあってもいいんじゃないかな。
他サイトの新着
人間性証明(Proof-of-humanity)は早く来てほしい。プライバシーを守った年齢証明の話をしているけど、ここで見てきたように、こういう仕組みの本当の使い道は『人間性の証明』になるはず。
モバイル端末で開発してる人ってそんなに多いの?
年1ドルのサブスクリプションがあれば助かるかもね。
なんでまだ誰もこれで訴訟を起こしてないんだろう？
いいグラフだね。どのツールで作ったか知ってる人いる?
生のコミットだけ配信してフロントエンドでレンダリングすればいいだけじゃん。何を文句言ってるのか正直わからない、ちゃんとパフォーマンス出せばいいだけの話。
自分ならCloudflareを入れるけど、ボットブロック機能は外して、キャッシュオンリーモードだけ有効にするかな。
非本質的なものへの未認証トラフィックはとりあえず遅くすればいいのでは……
『creepy crawly』って、実は南アフリカ発祥のプール掃除用具の名前でもあるんだよ。70年代にそれを売り出した会社の名前が『Kreepy Krauly』。オーストラリアでも人気。https://kreepykrauly.co.za/about-us/
14億リクエストで25万8160 CPU時間？それって秒あたり1.5リクエストくらいってこと？だとしたら、問題はむしろ向こう側のソフトウェアが全然最適化されていないことなんじゃないかと思えてきた。
ブロックしようとするんじゃなくて、マネタイズすればいいのでは？プルーフ・オブ・ワークの計算リソースを、お金になるもの(ビットコインマイニングとか)に向ければいい。
> 結局どうすればいいのかって話だけど正直、答えはシンプルで『訴える』だと思う。これがDDoSじゃないと主張するのは難しいはず。
この話題の背景と論点
背景には、2024年以降Anubisのようなプルーフ・オブ・ワーク型のボット対策が、kernel.orgをはじめ多くのオープンソースgitホスティングで導入されてきた事情がある。git履歴のコミットごとにHTMLページを生成するcgitのような仕組みは、ページ数がリポジトリの規模に比例して膨大になりやすく、AI学習用クローラーがそれを律儀に一つずつ辿ることでサーバー負荷が跳ね上がる。スレでは、レート制限や静的キャッシュ化、Radicleのような分散型プロトコルへの移行、利用の有料化、訴訟といった多方向の対策案が出た一方、「実在の人間のためのウェブ体験を犠牲にしてボットを一時的に遅らせているだけ」という悲観論も根強い。見落とされがちなのは、14億とも言われるリクエスト数を単純な「物量の暴力」と捉えがちな点で、実際には秒間1.5リクエスト程度に過ぎず、問題の本質はサーバー側のレンダリング処理が重いこと、つまりソフトウェアの効率の悪さにもある、という指摘が本文中では異色の視点として扱われている。
※本記事は5ch(Hacker News)スレッド「Creepy Crawlies」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。