AIモデルをトレントで保存する新サービス「Pirate Face」が登場
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP千原ジュニア、街で見かけた初心者マーク車 “まさかの位置”にツッコミ
- ニュース速報まとめMAP【映画】ナイトミュージアムが金曜ロードショーに！お前ら観るしかねぇｗｗｗ
- なんJ傑作まとめアンテナMAP【困惑】芦田愛菜さん主演「南田南弁護士は天才肌」予告＆ポスター解禁ｗｗｗｗｗｗｗｗｗｗ
- アニメ声優まとめアンテナMAP【悲報】しぐれういさん謝罪したのに、未だにブチ切れてる人が多すぎる
- VTuberまとめアンテナMAP【にじさんじ】Rei7、ダイナソー竜崎とインセクター羽賀の方が分かる
- だめぽアンテナ【X】習近平、脳梗塞！？
- ヌルポあんてな海外「国ガチャに失敗した…」 日本の被災地の避難所の様子に海外から羨望と称賛の声
- 2chまとめアプリ+年齢公表したVTuber、2カ月で視聴者層が激変してしまうｗｗｗｗ
- News人海外メディア：アロンソ、2027年はF1を離れWECでアストンマーチンのハイパーカー計画に移籍を検討？他
- ブルーアンテナ南ことりちゃん、グラビアアイドルになってしまうwwwww
- ウマーあんてな【海外の反応】マドリー・ダービー実況スレ、ヴィニシウス起用巡り海外勢が激論
- 勝つるあんてな！【悲報】度会隆輝さん、ホームランを追いすぎてフェンスに激突
- 5chnavi10年近く好きだった彼から私の友達のセンスや親を見下す発言をされた。その途端、残っていた好意まで一気に消えて…
- にゅーもふ【閲覧注意】 100年前のロシア大飢饉、死んだ瞬間 ”人肉市場” に卸されてたってマジかよ…
- 海外の反応アンテナ.com外国人「なぜ日本人を特別扱いするのか？日本人との接し方について神経質な外国人が多すぎる」
- ぷぅアンテナ【乃木坂46】瀬戸口心月の網タイツ美脚！ 他
- Ask Reddit まとめ海外「彼女は単三電池を耳元で振って、残量を音で確かめようとしてた」男たちが明かす“女性に冷めたしょうもない理由”
- Red4 海外の反応まとめ【海外の反応】日本経済がドイツや中国を抜き返すことは可能だと思う？ → 「エネルギー自給を達成して他国の影響を受けないようになれば」「ドイツがGDPを追い抜いたのはコロナ後のインフレのおかげだぞ」
- キター！アンテナアジア大会、韓国戦で今度は国歌流れず 全競技で一時演奏中止か
- ２ちゃんマップ【悲報】まんさん、まともに豚汁が作れずにブチギレられてしまう
Hugging Faceで配布されているAIモデルの重みが、企業の方針転換やサービス終了で消えてしまうことへの備えとして、モデルをトレント化して保存する「Pirate Face」というサービスがHacker Newsで話題になった。スレでは、なぜトレント配布がこれまで主流にならなかったのか、BitTorrentのV1とV2の違い、SteamやBlizzardが過去にゲーム配信でトレントを使っていた実例などを挙げながら、長期保存の手段としてのトレントの是非が交わされた。あわせて、検閲解除済み(abliterated)モデルが今後入手しにくくなるのではという懸念の声も出ていた。
パイレーツフェイス、削除されるLLMモデルを救出
出典: pirateface.co / 元記事はこちら
AIモデルの重みを配布するなら、本来トレントが最適なはず。Hugging Faceみたいな単一障害点に頼る理由がわからない。BitTorrentはまさにこういう用途のために作られたものだ。
>>3
経験上、公開トレントは時間が経つと死んでしまうことが多い。BitTorrent V1だと長期のシード維持が面倒なのもよくない。V2はほとんど使われていないし。
経験上、公開トレントは時間が経つと死んでしまうことが多い。BitTorrent V1だと長期のシード維持が面倒なのもよくない。V2はほとんど使われていないし。
>>18
そこがずっと理解できない。直接配布している側(アップローダー)が、同じ期間だけトレントも用意するのを妨げるものって何かあるのか? 永続性の観点では明らかにトレントの方が優れているように見えるんだけど。
そこがずっと理解できない。直接配布している側(アップローダー)が、同じ期間だけトレントも用意するのを妨げるものって何かあるのか? 永続性の観点では明らかにトレントの方が優れているように見えるんだけど。
>>18
V2がなぜ全然使われないのか、ずっと不思議に思っていた……ファイルのハッシュ単体で検索できるのに。
V2がなぜ全然使われないのか、ずっと不思議に思っていた……ファイルのハッシュ単体で検索できるのに。
SteamやBlizzard(他にもあったはず)は、CDNが安くなる前、トレントでゲームを配信していた時期がある。StarCraft 2が発売されたとき、インストーラー(Battle.netインストーラーのゴミが入る前)にはシーダーとリーチャーを表示するグラフィカルな画面があった。参考: https://warcraft.wiki.gg/wiki/Blizzard_Downloader
>>4
自分がいたトレーディング会社では、「リファレンスデータのマスター」ファイルは大抵大きなjsonか同等のものだった。それを100〜1000台規模のマシンに配るのに、プライベートなBitTorrentを使うことがよくあった。
自分がいたトレーディング会社では、「リファレンスデータのマスター」ファイルは大抵大きなjsonか同等のものだった。それを100〜1000台規模のマシンに配るのに、プライベートなBitTorrentを使うことがよくあった。
>>22
自分も同じ経験がある。それに触発されて、当時はCDNが無い(か用意しづらい)環境向けに、社内マシンに動画をトレント経由で配信していたことがある。
自分も同じ経験がある。それに触発されて、当時はCDNが無い(か用意しづらい)環境向けに、社内マシンに動画をトレント経由で配信していたことがある。
>>22
プライベートネットワークなら、マルチキャストという選択肢もある。
プライベートネットワークなら、マルチキャストという選択肢もある。
本来これは最初からあるべき機能だった(そうしていれば買収も防げたかもしれない)けど、遅くてもやらないよりはマシだ。
>>7
Hugging Faceは最初から『買収されるための餌』みたいに見えていた。
Hugging Faceは最初から『買収されるための餌』みたいに見えていた。
>>24
AIとモデル版のGitHub、という位置づけだったのを覚えている。企業が何年もサービスの全ラインナップを赤字補填で維持しているとき、その先がどうなるかは大体予想がつく。
AIとモデル版のGitHub、という位置づけだったのを覚えている。企業が何年もサービスの全ラインナップを赤字補填で維持しているとき、その先がどうなるかは大体予想がつく。
>>24
だからこそ、こういうものが今まで存在しなかったのが逆に意外だ。存在してくれてほっとしている。
だからこそ、こういうものが今まで存在しなかったのが逆に意外だ。存在してくれてほっとしている。
ユーザー名を登録するのにXitter(X/Twitter)への投稿が必須じゃなければ、応援したいところなんだけど。かなり変なやり方だと思う。
いつこうなるかとずっと思っていた。検閲を解除した(abliterated)モデルがHugging Faceで公開され続けられる日数は、もう残り少ない気がする。政府が中央集権的な管理を望まない理由がないだろう。
かなり賢いやり方だと思う。トレントはもっといろんな用途に使われてよかったはずで、これはまさにぴったりのユースケースだ。
正直、モデルのトレント化は、大手AI企業がオープンモデルを止めようとする努力をすべて無意味にすると思う。映画と同じで、一度出回った重みを止める方法はない。もう魔神は瓶から出てしまった。
『uncensored』で検索してもトレントが1つも出てこない。検閲なしモデルは最優先で扱うべきだと思う。特に今はNvidiaがHugging Faceを所有している(という話がある)から、今後のアメリカの法律に合わせてサービスを改悪していくだろう。
>>13
Hugging Face上にはそういう結果もまだあるはずだよ。あと『abliteration』や『heretic』というキーワードでも検索してみて。Heresyはモデルの検閲解除(abliterate)に使われるツールだ。
Hugging Face上にはそういう結果もまだあるはずだよ。あと『abliteration』や『heretic』というキーワードでも検索してみて。Heresyはモデルの検閲解除(abliterate)に使われるツールだ。
>>13
自分も最初にそれを検索した。HF上にまだ載っているのは知っているけど、使おうとするたびにリンク切れか、サイズが手に負えないかのどちらかだった。新しく揃うことを期待していたので、また見に来る。
自分も最初にそれを検索した。HF上にまだ載っているのは知っているけど、使おうとするたびにリンク切れか、サイズが手に負えないかのどちらかだった。新しく揃うことを期待していたので、また見に来る。
こうしてメロビンジアンとエグザイルの出番というわけか……(『マトリックス』ネタ)
いい取り組みだと思う。LLM界隈でこういう(昔からある)効率化の工夫が再発見されていくのを見るのは、なんだか不思議な感じがする。別に古い技術というわけでもないと思っていたんだけど、結局そうなんだろうな。
これでGPT-4.5が欲しくなってきた。
>>2
専門家じゃない人向けに、これをもう少し説明してもらえる? 正直まだ頭の中で整理できていない。
専門家じゃない人向けに、これをもう少し説明してもらえる? 正直まだ頭の中で整理できていない。
>>17
重みを編集して拒否反応(refusal)の信号自体を出さないようにするのではなく、一旦好きにさせておいて、その拒否信号だけを後から消す、というやり方。量子化済みの重みを編集するのは避けたい、精度がかなり落ちることがあるので。
重みを編集して拒否反応(refusal)の信号自体を出さないようにするのではなく、一旦好きにさせておいて、その拒否信号だけを後から消す、というやり方。量子化済みの重みを編集するのは避けたい、精度がかなり落ちることがあるので。
>>3
てっきりもうこの用途にトレントが使われているものだと思っていた。ニュースになっていること自体に驚いたけど、同時にほっとしてもいる。
てっきりもうこの用途にトレントが使われているものだと思っていた。ニュースになっていること自体に驚いたけど、同時にほっとしてもいる。
>>19
記憶が正しければMistralが昔やっていたはず。今もそうかは分からないけど……追記: 確認したら、やっていたのは事実。でも今はもうやっていないみたい。https://x.com/MistralAI/status/1833758285167722836
記憶が正しければMistralが昔やっていたはず。今もそうかは分からないけど……追記: 確認したら、やっていたのは事実。でも今はもうやっていないみたい。https://x.com/MistralAI/status/1833758285167722836
>>3
昔、IPFSを使って似たようなことをやろうとしたことがある。みんなが参加できる、重みや学習データ用の分散ファイルシステムみたいなネットワークをイメージしていた。
昔、IPFSを使って似たようなことをやろうとしたことがある。みんなが参加できる、重みや学習データ用の分散ファイルシステムみたいなネットワークをイメージしていた。
>>4
同じことをソフトウェア配布でやろうとした会社がいくつかあった。かなり物議を醸した。ユーザーは、ソフト会社が自分たちの回線帯域を勝手に使ってソフトを配っていることに怒っていた。
同じことをソフトウェア配布でやろうとした会社がいくつかあった。かなり物議を醸した。ユーザーは、ソフト会社が自分たちの回線帯域を勝手に使ってソフトを配っていることに怒っていた。
>>18
BTv1の一番の問題は、ファイル単位のチェックサムが無いことと、スウォームのマージ(=複数のトレントで同じファイルのシードプールを共有する仕組み)が無いことだった。BTv2はその後者を仕様に含めているけど、実際に実装しているのはBiglyBTくらいだと思う。最初からこの2つの機能があれば、『トレントが死ぬ問題』はかなり解決していたはず。
BTv1の一番の問題は、ファイル単位のチェックサムが無いことと、スウォームのマージ(=複数のトレントで同じファイルのシードプールを共有する仕組み)が無いことだった。BTv2はその後者を仕様に含めているけど、実際に実装しているのはBiglyBTくらいだと思う。最初からこの2つの機能があれば、『トレントが死ぬ問題』はかなり解決していたはず。
他サイトの新着
>>18
誰か一人、あるいはどこか一組織がシードし続けると約束すればそれで十分。ほとんどの人は何かしらの見返りがないとシードしたがらない。もしこのサイトがまとまったデータ保存の取り組みなら、ずっとシードし続ける人が何人かは出てくるはず。
誰か一人、あるいはどこか一組織がシードし続けると約束すればそれで十分。ほとんどの人は何かしらの見返りがないとシードしたがらない。もしこのサイトがまとまったデータ保存の取り組みなら、ずっとシードし続ける人が何人かは出てくるはず。
>>32
(シード継続への見返りの仕組みに)以前取り組んでいたキム・ドットコムは、今アメリカに向かっているらしい。https://www.rnz.co.nz/news/science-and-technology/651123/cou… もうメディアに全然取り上げられなくなっているのが興味深い。
(シード継続への見返りの仕組みに)以前取り組んでいたキム・ドットコムは、今アメリカに向かっているらしい。https://www.rnz.co.nz/news/science-and-technology/651123/cou… もうメディアに全然取り上げられなくなっているのが興味深い。
>>18
ウェブシード付きのトレントは、直接のダウンロードリンク単体よりも明らかに障害に強い。
ウェブシード付きのトレントは、直接のダウンロードリンク単体よりも明らかに障害に強い。
>>30
もう使っていないモデルなら、そのためにストレージを提供し続ける気がない可能性もある。
もう使っていないモデルなら、そのためにストレージを提供し続ける気がない可能性もある。
>>41
それだと最初の論点への答えになっていない気がする。ストレージを提供していないなら、集中管理でも分散でも結局同じことじゃないか? トレント/P2Pは冗長性を足すだけのものだから、ダウンロードリンク単体より可用性が悪くなることはあり得ないのでは?
それだと最初の論点への答えになっていない気がする。ストレージを提供していないなら、集中管理でも分散でも結局同じことじゃないか? トレント/P2Pは冗長性を足すだけのものだから、ダウンロードリンク単体より可用性が悪くなることはあり得ないのでは?
>>34
歴史は経路依存だから。エンジニアは同じ教訓を何度も学び直す羽目になる。Plan9が理論上Linuxより優れているかどうかなんて関係なくて、みんなLinuxを使っていて、誰もアプリを全部移植しようとはしない。
歴史は経路依存だから。エンジニアは同じ教訓を何度も学び直す羽目になる。Plan9が理論上Linuxより優れているかどうかなんて関係なくて、みんなLinuxを使っていて、誰もアプリを全部移植しようとはしない。
>>40
でもモデルのリリースって、そもそも後から変更できないものじゃないの?
でもモデルのリリースって、そもそも後から変更できないものじゃないの?
>>44
『複数のトレントにまたがって同じファイルを提供する』というのは、発見(検索)の観点だと相当複雑になりそう。
『複数のトレントにまたがって同じファイルを提供する』というのは、発見(検索)の観点だと相当複雑になりそう。
>>49
『Firefoxで通常のファイルダウンロードと同じUXの、ブラウザ完結型トレントの選択肢』ってあるの? → 昔のOperaがまさにそれだった。
『Firefoxで通常のファイルダウンロードと同じUXの、ブラウザ完結型トレントの選択肢』ってあるの? → 昔のOperaがまさにそれだった。
この話題の背景と論点
Hugging Faceは長らくAIモデル配布の事実上の標準基盤として使われてきたが、スレでは「いつか方針転換や買収でアクセスできなくなるかもしれない基盤に依存すべきではない」という懸念が繰り返し語られた。BitTorrentにはファイル単位のハッシュ検証などを備えたV2規格が存在するが、実装が広まらず今もV1が主流という「枯れた技術ほど後から置き換えにくい」典型例として引き合いに出されている。また検閲を解除した(abliterated)モデルの入手性を心配する声もあり、プラットフォーム側の一存でファイルが消えることへの不安が議論の背景にある。なお、本文中に見られた「自分のユーザー名を確保した」という招待リンク付きの投稿は宣伝目的の定型文とみられるため、記事では取り上げていない。
※本記事は5ch(Hacker News)スレッド「Pirate Face Rescues LLM Models from Deletion」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。