「エリーゼのために」が別の曲に…AIピアノ自動補完アプリが海外で話題
姉妹サイトの新着
Hacker Newsで、ピアノの演奏をリアルタイムかつオンデバイスで自動補完する125Mパラメータのモデルが公開され、大きな反響を呼んだ。開発者への学習コストや高速化手法についての技術的な質問が相次ぐ一方、「エリーゼのために」の出だしを弾くとまったく違う方向に展開していく挙動に「落ち着かない」「むしろ新鮮で面白い」と評価が分かれた。MIDIやMODファイルへの懐かしさを語る脱線も盛り上がった。
Show HN: 125Mモデルを訓練してオンデバイスでピアノの自動補完をした
125MパラメータのTransformerを訓練して、ピアノの演奏をリアルタイムで自動補完できるようにした(iPhone 15上で秒間約108ノート)。アイデアとしては基本的にGitHub CopilotやTabnineと同じで、コードの代わりにMIDIピアノで数音弾くことでプロンプトを与える。モデルはそこから続きを、すべてオンデバイスで生成する。試したい人のためにアプリは無料で公開している。モデルや学習、Core ML、うまくいかなかった数々のことについて、質問があれば喜んで答える。
出典: simedw.com / 元記事はこちら
自分はむしろ新鮮で面白いと感じた。AIがどう斬新な形で発展させられるかがよく分かる、興味深い特徴だと思う。
聴かせてもらえる?
ありがとう。あのページのTEDxトークを楽しく見た。
MIDIは今でもプロの音楽制作で広く使われている。当時ダサく聞こえたのは、再生していたシンセサイザーの音があまり良くなかったから。
Microsoft GS Wavetable SynthでのCanyon.midを思い出す。
MIDIはプロトコルであって、これから先もなくなったり置き換えられたりすることはない。I2CやMIDIみたいなプロトコルは、たぶん人類とずっと一緒にい続けると思う。
自然な次の一歩に感じる。シンプルなメロディから始めて、演奏スタイルに沿いながらシステムが残りを埋めてくれるようになれば、ゼロから一曲丸ごと生成するよりも実験の役に立ちそう。
それは面白いアイデアだ。ピアノを弾き始めたら、ジャズバンドのベースとドラムが入ってくる、みたいなこともできそう。
(fürとforのダジャレで)私は新しいLLMの支配者たちを一人の人間として歓迎するよ。
ありがとう。感覚としてはGPT-2くらいのレベルまで来たと思っていて、公開するには十分だけど、まだ改善の余地はたくさんある。小節・拍のトークンを追加するとリズムの改善に役立ちそうだし、曲全体を見据えた長期的なプランニングの仕組みも必要だと思う。
そう、何らかのプランニングのステップを入れるのはTODOリストに入ってる。あと試したいのは、複数の続きを並列生成して、一番良さそうなものを選んで、そこから続ける方法。選ぶ部分を自動化できるかもしれない。秒間100ノートももう少し伸ばせると思う、推論の最適化にはまだあまり時間をかけていないので。
一番の速度改善は、音符の表現方法をcompound note eventに変えたこと。自己回帰のパス数がだいたい5分の1になった。今のモデルはCore MLを使っていて、初回実行時にカーネルを最適化してくれる。それ以上のパフォーマンスチューニングにはそこまで時間をかけていない。
音符の表現方法を変えた話が興味深かった。問題の表現方法を変えるだけで、モデル自体を最適化しようとするよりずっと大きな改善につながることがある。
運良く4基のRTX 4090にアクセスできたから、クラウドGPUの料金を直接払わずに済んだ。もし払っていたら、学習を何度もやり直したり実験を重ねたりした分、それなりの額になっていたと思う。
他サイトの新着
DPOは700件くらいの選好データしかなくて、データ量としては大したことない。GPU1基での学習は12分くらいだった。事前学習はもちろんずっと遅くて、125Mモデルで半日くらいかかった。
なんてことだ!
少し置いていかれてる感じがする。あの動画で何を聴き取ればいいの?
クラシックのセッションだよ。
MODファイルをダウンロードしてたのを思い出す。MIDIよりちょっと大きいだけなのに、音は良かった。自分はPCだったけど、たしかAmigaの文化だったと思う。
『Need For Madness』は好きなゲームの一つで、その魅力の3分の2くらいは音楽のおかげだと思う。MODファイルの曲がたくさん使われてた。
投稿者は別の楽しみ方を見つけたみたいだ。『誰かの研究をそのまま実装するんじゃなく、自分自身で問題に取り組む楽しさが欲しかった』とのこと。
なるほど、それは納得。
この話題の背景と論点
本作は125Mパラメータのトランスフォーマーをオンデバイスでリアルタイム推論させる個人開発アプリで、iPhone15上で秒間約108ノートを生成する。学習は個人所有のRTX4090×4基で行い、事前学習に半日、DPOによる微調整はわずか700件の選好データと1GPU12分程度で完結しており、大規模インフラなしで実現している点が特徴である。
スレで意見が割れたのは、既知の旋律を弾いた際にモデルが予測不能な方向へ展開する挙動の評価で、違和感を覚える声と、創造性として面白がる声に分かれた。
本文からは読み取りにくいが押さえておくべき点として、音符の表現方法をcompound note eventに変えたことで自己回帰の計算回数が約5分の1になったという工夫が高速化の核心であり、単なるモデルやハードの最適化よりも問題表現の設計が効いている。また選好データの評価にGemini 3.5 Flashを用いた点は、モデル自体を蒸留したわけではなく評価用途である点に注意が必要で、同種の試みには2003年のContinuatorや、スタンフォードのAnticipatory Music Transformerといった先行研究が存在する。
※本記事は5ch(Hacker News)スレッド「Show HN: I trained a 125M model to autocomplete piano on-device」より抜粋・要約して構成しています。








まだコメントはありません。