「エリーゼのために」が別の曲に…AIピアノ自動補完アプリが海外で話題
Hacker Newsで、ピアノの演奏をリアルタイムかつオンデバイスで自動補完する125Mパラメータのモデルが公開され、大きな反響を呼んだ。開発者への学習コストや高速化手法についての技術的な質問が相次ぐ一方、「エリーゼのために」の出だしを弾くとまったく違う方向に展開していく挙動に「落ち着かない」「むしろ新鮮で面白い」と評価が分かれた。MIDIやMODファイルへの懐かしさを語る脱線も盛り上がった。
Show HN: 125Mモデルを訓練してオンデバイスでピアノの自動補完をした
125MパラメータのTransformerを訓練して、ピアノの演奏をリアルタイムで自動補完できるようにした(iPhone 15上で秒間約108ノート)。アイデアとしては基本的にGitHub CopilotやTabnineと同じで、コードの代わりにMIDIピアノで数音弾くことでプロンプトを与える。モデルはそこから続きを、すべてオンデバイスで生成する。試したい人のためにアプリは無料で公開している。モデルや学習、Core ML、うまくいかなかった数々のことについて、質問があれば喜んで答える。
出典: simedw.com / 元記事はこちら
『エリーゼのために』の出だしが流れたと思ったら、そこから信じられない方向に展開していくのが、なんとも落ち着かない気分にさせられる。
>>5
不条理コメディが好きなら、Hans Teeuwenのこのネタが最高に面白い。よく知られた曲がとんでもない方向に転がっていく話。 https://www.youtube.com/watch?v=FCDPxNyLAww
不条理コメディが好きなら、Hans Teeuwenのこのネタが最高に面白い。よく知られた曲がとんでもない方向に転がっていく話。 https://www.youtube.com/watch?v=FCDPxNyLAww
>>5
自分はむしろ新鮮で面白いと感じた。AIがどう斬新な形で発展させられるかがよく分かる、興味深い特徴だと思う。
自分はむしろ新鮮で面白いと感じた。AIがどう斬新な形で発展させられるかがよく分かる、興味深い特徴だと思う。
>>5
聴かせてもらえる?
聴かせてもらえる?
音楽の著作権訴訟に対抗するために、あらゆるメロディをアルゴリズムで生成しようとしたこのプロジェクトを思い出した。 https://allthemusic.info/
>>6
ありがとう。あのページのTEDxトークを楽しく見た。
ありがとう。あのページのTEDxトークを楽しく見た。
2003年までさかのぼる、Francois Pachetの『Continuator』(階層的マルコフモデルを使用)を思い出す。 https://www.francoispachet.fr/continuator/
面白そう!iPhoneの(比較的しょぼい)スピーカーから鳴らすんじゃなくて、MIDIノートを自分のプレイヤーピアノに送り返してほしいな。
ああ、MIDIファイルか。当時ネットから現実的にダウンロードできた唯一の音楽の種類で、電話代がとんでもないことにならないよう、とんでもない時間に起きて落とさないといけなかった。
>>9
MIDIは今でもプロの音楽制作で広く使われている。当時ダサく聞こえたのは、再生していたシンセサイザーの音があまり良くなかったから。
MIDIは今でもプロの音楽制作で広く使われている。当時ダサく聞こえたのは、再生していたシンセサイザーの音があまり良くなかったから。
>>54
Microsoft GS Wavetable SynthでのCanyon.midを思い出す。
Microsoft GS Wavetable SynthでのCanyon.midを思い出す。
>>54
MIDIはプロトコルであって、これから先もなくなったり置き換えられたりすることはない。I2CやMIDIみたいなプロトコルは、たぶん人類とずっと一緒にい続けると思う。
MIDIはプロトコルであって、これから先もなくなったり置き換えられたりすることはない。I2CやMIDIみたいなプロトコルは、たぶん人類とずっと一緒にい続けると思う。
自分がメロディを弾いたら、きちんとした4部構成の伴奏を、できればバロック風の良いスタイルで生成してくれるようなものが欲しい。音楽編集ソフトで使えるファイル形式に書き出せたらなお嬉しい。
>>10
自然な次の一歩に感じる。シンプルなメロディから始めて、演奏スタイルに沿いながらシステムが残りを埋めてくれるようになれば、ゼロから一曲丸ごと生成するよりも実験の役に立ちそう。
自然な次の一歩に感じる。シンプルなメロディから始めて、演奏スタイルに沿いながらシステムが残りを埋めてくれるようになれば、ゼロから一曲丸ごと生成するよりも実験の役に立ちそう。
>>10
それは面白いアイデアだ。ピアノを弾き始めたら、ジャズバンドのベースとドラムが入ってくる、みたいなこともできそう。
それは面白いアイデアだ。ピアノを弾き始めたら、ジャズバンドのベースとドラムが入ってくる、みたいなこともできそう。
本当にすごい!NeurIPSで生で見たデモを思い出した。 https://www.youtube.com/watch?v=8s3V922h3CU (論文はこちら https://openreview.net/pdf?id=3yeBer3J5z)。こういうクリエイティブなAIの仕事が好きなら、『NeurIPS Creative AI Track 2025』の他の投稿も見てみることをおすすめする。
『エルゼビアのために』論文アクセスライブラリー、ハロウィンの安全のためキャンディを配れ、赤ちゃんをミルクセーキから引き離せ、それを振り払え。
>>15
(fürとforのダジャレで)私は新しいLLMの支配者たちを一人の人間として歓迎するよ。
(fürとforのダジャレで)私は新しいLLMの支配者たちを一人の人間として歓迎するよ。
同じ曲を一緒に弾ける、セッション相手が欲しいな。
スタンフォードの素晴らしい『Anticipatory Music Transformer』を蒸留してみるのもいいかもしれない。 https://crfm.stanford.edu/2023/06/16/anticipatory-music-tran… 表現方法などについての彼らの判断も参考にしてみて。
音そのものより、音同士の関係性のほうが重要な場合が多いことに気づいた。位置情報でよくやるように、音高もベクトルでエンコードできるかもしれない。
アイデアは最高!ただ改善の余地はかなりある、まずはリズムと構成(曲としてのまとまりの感覚)から。
>>19
ありがとう。感覚としてはGPT-2くらいのレベルまで来たと思っていて、公開するには十分だけど、まだ改善の余地はたくさんある。小節・拍のトークンを追加するとリズムの改善に役立ちそうだし、曲全体を見据えた長期的なプランニングの仕組みも必要だと思う。
ありがとう。感覚としてはGPT-2くらいのレベルまで来たと思っていて、公開するには十分だけど、まだ改善の余地はたくさんある。小節・拍のトークンを追加するとリズムの改善に役立ちそうだし、曲全体を見据えた長期的なプランニングの仕組みも必要だと思う。
本当にすごい、秒間ノート数を犠牲にしてでも生成のクオリティを上げられないか?どのみち秒間108ノートを弾ける人間なんていないんだから、クオリティ向上のためにCoTをやらせるような学習もありでは。
>>25
そう、何らかのプランニングのステップを入れるのはTODOリストに入ってる。あと試したいのは、複数の続きを並列生成して、一番良さそうなものを選んで、そこから続ける方法。選ぶ部分を自動化できるかもしれない。秒間100ノートももう少し伸ばせると思う、推論の最適化にはまだあまり時間をかけていないので。
そう、何らかのプランニングのステップを入れるのはTODOリストに入ってる。あと試したいのは、複数の続きを並列生成して、一番良さそうなものを選んで、そこから続ける方法。選ぶ部分を自動化できるかもしれない。秒間100ノートももう少し伸ばせると思う、推論の最適化にはまだあまり時間をかけていないので。
そのスピードでオンデバイスで125Mモデルを動かせているのは印象的。iPhoneでそのパフォーマンスを出すために、モデルをどれくらい最適化する必要があった?
>>26
一番の速度改善は、音符の表現方法をcompound note eventに変えたこと。自己回帰のパス数がだいたい5分の1になった。今のモデルはCore MLを使っていて、初回実行時にカーネルを最適化してくれる。それ以上のパフォーマンスチューニングにはそこまで時間をかけていない。
一番の速度改善は、音符の表現方法をcompound note eventに変えたこと。自己回帰のパス数がだいたい5分の1になった。今のモデルはCore MLを使っていて、初回実行時にカーネルを最適化してくれる。それ以上のパフォーマンスチューニングにはそこまで時間をかけていない。
>>26
音符の表現方法を変えた話が興味深かった。問題の表現方法を変えるだけで、モデル自体を最適化しようとするよりずっと大きな改善につながることがある。
音符の表現方法を変えた話が興味深かった。問題の表現方法を変えるだけで、モデル自体を最適化しようとするよりずっと大きな改善につながることがある。
こういうモデルの学習にどれくらいコストがかかったか、差し支えなければ教えてもらえる?
>>35
運良く4基のRTX 4090にアクセスできたから、クラウドGPUの料金を直接払わずに済んだ。もし払っていたら、学習を何度もやり直したり実験を重ねたりした分、それなりの額になっていたと思う。
運良く4基のRTX 4090にアクセスできたから、クラウドGPUの料金を直接払わずに済んだ。もし払っていたら、学習を何度もやり直したり実験を重ねたりした分、それなりの額になっていたと思う。
とても面白い!DPOの学習例のサイズと、学習にかかった時間について少し教えてもらえる?
>>36
DPOは700件くらいの選好データしかなくて、データ量としては大したことない。GPU1基での学習は12分くらいだった。事前学習はもちろんずっと遅くて、125Mモデルで半日くらいかかった。
DPOは700件くらいの選好データしかなくて、データ量としては大したことない。GPU1基での学習は12分くらいだった。事前学習はもちろんずっと遅くて、125Mモデルで半日くらいかかった。
『最終的にはペアワイズ評価にGemini 3.5 Flashを使った』って、それって……(ゲフンゲフン)蒸留じゃない?面白いプロジェクトだね!
>>42
なんてことだ!
なんてことだ!
>>3
少し置いていかれてる感じがする。あの動画で何を聴き取ればいいの?
少し置いていかれてる感じがする。あの動画で何を聴き取ればいいの?
>>49
クラシックのセッションだよ。
クラシックのセッションだよ。
>>9
MODファイルをダウンロードしてたのを思い出す。MIDIよりちょっと大きいだけなのに、音は良かった。自分はPCだったけど、たしかAmigaの文化だったと思う。
MODファイルをダウンロードしてたのを思い出す。MIDIよりちょっと大きいだけなのに、音は良かった。自分はPCだったけど、たしかAmigaの文化だったと思う。
>>55
『Need For Madness』は好きなゲームの一つで、その魅力の3分の2くらいは音楽のおかげだと思う。MODファイルの曲がたくさん使われてた。
『Need For Madness』は好きなゲームの一つで、その魅力の3分の2くらいは音楽のおかげだと思う。MODファイルの曲がたくさん使われてた。
>>11
投稿者は別の楽しみ方を見つけたみたいだ。『誰かの研究をそのまま実装するんじゃなく、自分自身で問題に取り組む楽しさが欲しかった』とのこと。
投稿者は別の楽しみ方を見つけたみたいだ。『誰かの研究をそのまま実装するんじゃなく、自分自身で問題に取り組む楽しさが欲しかった』とのこと。
>>60
なるほど、それは納得。
なるほど、それは納得。
※本記事は5ch(Hacker News)スレッド「Show HN: I trained a 125M model to autocomplete piano on-device」より抜粋・要約して構成しています。
まだコメントはありません。