Cloudflareの新AI「Clef」公開に「オープンソースじゃない」の声
姉妹サイトの新着
米CloudflareがAIを使った軽量な分類用モデル「Clef」をオープン公開し、Hacker Newsで活発な議論になった。元ネタとなったのは「Typesafe」社の「Jev」という決定モデルで、Jev発表からわずか数週間でClefのような代替モデルが次々登場したことに驚きの声が上がった一方、「公開されているのは重みだけで学習データやパイプラインは非公開だから、これはオープンソースではなくオープンウェイトだ」という指摘も相次いだ。価格面ではClefの入力トークン料金がJevの約6倍になる点や、決定モデルという技術自体がJev登場より前から存在していたという指摘も話題になった。
Clef: 私たちのオープンソース決定モデル
出典: blog.cloudflare.com / 元記事はこちら
これって本当に、Typesafeの新しいパラダイムをベースに決定モデルを作って、しかもTypesafe自身のランキングでJevより良いモデルを作ったってこと？それがたった数週間でなされたの?
>>2 彼らはすでに本番環境で決定モデルを使っているはずだよ。ボットやDDoS攻撃者、スパマーを検知するのが事業の一部だからね。
AI/ML分野の素人質問なんだけど、決定モデルってそんなに簡単に作れるものなの？もうJevの代替品が溢れてるけど。それとも企業や個人がarXivの論文か何かを元にすでに作り込んでいたとか？ ――料金は…うーん高めだけど、画像エンコーディングが組み込まれてるなら試さない理由にはならないかな。
>>3 Jevをゼロからライブコーディングしてみた動画。Qwenのアーキテクチャを理解する回: 
>>3 うん、MLの基礎知識があればかなり簡単だよ。
これは「オープンウェイト」であって「オープンソース」じゃない。重みは寛容なライセンスだけど、独自のQwenベースから再現するためのデータや学習パイプラインは公開されていない。重みは「ソース」じゃないんだよ。
>>4 このツッコミを見たくなくてコメント欄に直行したのに…（しょんぼり）
ClefはQwen3.8-27Bベース、Clef-flashはQwen3.8-9Bベースらしい。つまり自分の理解では方向性はJevと似てるけど、より新しいモデルを使ってる感じ。
価格は入力100万トークンあたり0.24ドルで、Jevの約6倍。Clef-flashは0.09ドルで、こちらはかなり競争力がある。
2年間もステルスで開発してたのか…
ひどい名前だな
CloudflareのWAFルールに使うのが良いユースケースになりそう。リクエストの文脈を広く渡して、チャレンジの種類やブロックするトラフィックを直接選ばせる、みたいな。まあ今はコストが高すぎるかもしれないけど。
TypesafeがJevを出してから数日〜数週間で、こんなに多くの人が決定モデルを作れた理由を誰か説明してくれない？決定モデルという概念自体は前からあったものなの？真似しやすいものなのかな？
>>11 新しいのは、追加学習なしで何にでも使えるとされる『賢い』決定モデルという部分。用途がかなり狭いなら、良質なデータさえあればBERTベースの決定モデルをノートPCで1時間くらいで学習できる。clefやjevへの往復より速く答えが返ってくるし、メモリも1GB未満で済む。
>>11 すでに学習済みの大規模Transformerモデルを使って作れるから、LLMを一から学習するときのような大規模計算資源や高品質データ、データクレンジング、強化学習といったものは必要ないんだよ。
>>11 自動化におけるAIの問いは「一貫性があって予測可能な、ほぼ100%の決定論的な形で判断を下せるか」ということ。多くの人が同じ問いに行き着いて、その答えを模索し始めたんだと思う。
画像入力に対応してるのか。いいね！
すごい、ありがとうCloudflare！
Cloudflareがコンシューマーのエッジレベルのモデルをリリースしてくれるのは嬉しいね。
Jevの中の人たちがちょっと気の毒。これほどの競争を予想してたのかな？
ちょっと待ってて、自分のクラウドスタック全部Cloudflareで組んでくるから
1つのモデルに会社の全てを賭けたのに、1週間で周りに出し抜かれるなんて。こんなの見たことない。
>>17 1ヶ月もかからず誰もが自前のバージョンを立ち上げられるなら、そもそもそこにあった「製品」の価値はそんなに高くなかったんじゃないかな。
キャリブレーションについて言及がないけど、結局ただのLLMファインチューンなの?
>>18 （引用）「事後学習では、有効なスキーマ出力に対してラベルスムージング付きクロスエントロピーを使い、さらにBrierロスを組み合わせて確率のキャリブレーションを精緻化している」とのこと。
他サイトの新着
「yes」の「urgency（緊急度）」って何？
いやー、Cloudflareには正直好感度上がりっぱなし。面白い新サービスを安定して出し続けてる上に、製品もしっかりしてて価格もいい。できすぎてて逆に怖いくらい。
>>11 Qwenみたいなモデルを合成データでファインチューンするだけでいい。実はTypesafeとほぼ同じようなモデルをJevより1年も前に作って発表していた人もいた（ただアカデミックな発表だったから、あまり話題にならなかっただけ）。
>>11 これを読むといい: https://magazine.sebastianraschka.com/p/classifier-history-a…
>>11 この概念自体はJevより1年くらい前から存在してたよ。「Laya」を見てみて。
>>22 残ってる『簡単に取れる果実』を具体的に挙げてみてよ。
>>45 『手が届きやすい』ことと『気づきやすい』ことは必ずしもイコールじゃないよ。
>>27 そもそもこの『決定モデル』って何なの？既存のLLMにプロンプトを与えて選択肢を1つ選ばせる。デコードは1トークン分（というか最後の1トークンぶんのロジット集合全部。トークンというのは1つのロジットを選ぶことを意味する）で、それで『判断した』ことになる。それだけのもの？
>>31 単なる構造化出力だけじゃない。logprobsのレベルまで降りて、モデルに答えを一語で出させて、出力トークンをランキングして答えを選ぶというやり方は、小型のQwenやGemmaのモデルでもかなりうまく機能する。個人的に面白いのは、Jevはこの手法に加えて、選択肢それぞれに独立した複数の確信度を持たせるための事後学習をしているらしいこと。
>>32 Jevもデータやアルゴリズムの面で工夫はしてると思う。ただ、それが従来のLLM＋ちょっとした工夫を有意に上回るほどのものかどうかは、まだ分からない。
>>34 すごく賢いマルチツールのハンマーがあれば、そのハンマーはほとんどどんな釘にも対応できる。それは良いことだよね。
この話題の背景と論点
ここで言う「決定モデル」は、文章を生成するLLMとは異なり、与えられた選択肢の中から一つを確信度つきで選ぶことに特化した小型モデルを指す。スレッドでは、この技術自体はJevの登場より前から研究されていたとの指摘が複数あり、既存の大規模言語モデルを合成データでファインチューンし、出力トークンの確率をランキングする手法がベースにあるため、基礎知識があれば短期間で類似モデルを作れることが説明されていた。また「重みのみ公開でデータや学習パイプラインは非公開」という形態は、AI業界で「オープンウェイト」と呼ばれ「オープンソース」とは区別される点も論点になった。
※本記事は5ch(Hacker News)スレッド「Clef: our open-source decision models」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。