MP3 to MIDI: zongoraátirat felvételből, két kézre

Az MP3 to MIDI eszköz egy zongorás hangfelvételből szabványos MIDI-fájlt készít, amit két kézzel el is lehet játszani. Nem a nyers hangfelismerés eredményét kapod, hanem egy letisztázott zongoraátiratot:

• Right hand sáv: a dallam (mindig a legfelső szólam) és mellette általában egy-két akkordhang, oktávon belül.
• Left hand sáv: a basszusvonal, egy-egy basszushanggal a harmóniaváltásoknál vagy az eredeti kíséret lüktetésében.

A program megállapítja a felvétel tempóját (BPM), az ütemmutatót (4/4 vagy 3/4) és az ütemek elejét, majd a hangokat a zenei lüktetéshez igazítja. Az előreütött akkordok, a szinkópák, a szünetek és a kitartott hangok megmaradnak, ahogy a felvételen szólnak. A gyors bontott akkordok és glisszandók is megmaradnak, csak egyenletes ritmusba kerülnek. Megkapod a hangnemet is, ami előjegyzésként bekerül a MIDI-fájlba.

Minden a böngésződben történik, a fájl nem kerül fel szerverre. A felismerő modellt az első használatkor tölti le a böngésző (21,7 MB), utána megjegyzi.

A felismerő zongorahangra van tanítva. Ezért a legjobb eredményt ezekkel kapod:

• szólózongora: saját felvétel, koncertfelvétel, zongorás feldolgozás;
• leválasztott zongorasáv (stem): ha egy dal zongorasávja külön fájlban megvan;
• jó minőségű hang: kevés zaj és visszhang, nincs torzítás.

Teljes zenekari vagy énekes dalnál a dob, az ének és a gitár is hangokat „csempészhet” az átiratba, és a basszus is bizonytalanabb lesz. Ilyenkor érdemes először leválasztani a zongorasávot egy hangszer-szétválasztó programmal, és azt feltölteni. A digitális zongorán vagy szintetizátoron játszott zongorahang is jól működik. Más hangszerekkel (gitár, hegedű, ének) az eszköz nem boldogul megbízhatóan.

Felvétel	Várható eredmény
Szólózongora, tiszta hang	Pontos dallam, basszus és ritmus
Leválasztott zongorasáv	Jó, néhány kimaradó halk hanggal
Zongora + ének, kevés hangszer	Használható, kézi javítás kellhet
Teljes zenekar, dob	Sok téves hang, előbb válaszd le a zongorát

Az átirat négy lépésben készül.

1. Hangfelismerés. Egy neurális hálózat tízmilliszekundumos pontossággal megkeresi, mikor melyik billentyűt ütötték le, meddig tartották és milyen erővel. A modell a ByteDance kutatóinak nyílt forrású zongorafelismerője (Kong és munkatársai, CC BY 4.0 licenc), a böngészőbe átültetve.
2. Tisztítás. A nagyon halk, nagyon rövid, bizonytalan hangok (például egy hangzás felhangjai vagy egy véletlen súrolás) kimaradnak.
3. Tempó és ütem. A program a hangindulásokból kiszámolja a lüktetést, a tizenhatod-rácsot és azt, hol kezdődnek az ütemek. A harmóniaváltások és a basszushangok általában az ütem elejére esnek, ez segít eldönteni, melyik ütés az egyes. Ha a felvétel tempója közben változik, a MIDI is követi.
4. Két kézre bontás. A legmélyebb hang a bal kézé, ha a basszusregiszterben szól. A jobb kéz megkapja a felső szólamot (a dallamot) és a legfontosabb akkordhangokat, elsősorban a tercet és a szeptimet. A fogás akkor is oktávon belül marad, ha közben egy korábbi hang még szól. Ha egy fontos akkordhang túl mélyen van, egy oktávval feljebb kerül.

Az eredményt még a letöltés előtt meghallgathatod, akár kezenként külön is. Egy kottasáv mutatja, melyik hang melyik kézé.

Az átirat a felismerés után azonnal újraszámolódik, ha valamelyik beállítást átállítod. Újra felismerni nem kell.

• Sűrűség. Egyszerű: dallam és mellette egy akkordhang, kezdőknek. Normál: dallam és két akkordhang; tömör fogásnál ritkán négy hang. Gazdag: dallam és legfeljebb három akkordhang. Mindhárom oktávon belül marad.
• Tempó. A gépi tempóbecslés néha a valódi tempó felét vagy kétszeresét adja (a 70-es ballada 140-nek is olvasható). Ilyenkor a Fele vagy a Kétszerese gomb rendbe teszi a kottát. Kézi módban te adod meg a BPM-et.
• Ütemmutató. Automatikusan 4/4 vagy 3/4; keringőnél, menüettnél kézzel is választhatsz.
• Oktávos basszus. Bekapcsolva a bal kéz oktávot fog ott, ahol az eredetiben is oktáv szól. Alapból egy-egy basszushangot játszik, ez könnyebb.

A MIDI nem hang, hanem utasítások sora: melyik hang, mikor, meddig, milyen erővel. Ezért könnyen szerkeszthető és bármilyen hangszínnel lejátszható. A letöltött fájlban három sáv van: egy vezérlősáv (tempó, ütemmutató, hangnem), valamint a Right hand és a Left hand sáv akusztikus zongora hangszínnel.

• Kottaszerkesztő (például MuseScore): megnyitva két kottasort kapsz, violin- és basszuskulccsal. A program a tempót és az ütemmutatót is beolvassa.
• Zongoratanuló program: a lehulló hangjegyes programok a két sávot külön kézként kezelik, így kezenként is gyakorolhatsz.
• Zeneszerkesztő (DAW): a sávok külön szerkeszthetők, más hangszínre cserélhetők, a tempó módosítható.

Tipp: a kottát érdemes egyszer átnézni. A gépi átirat a hangok túlnyomó többségét eltalálja, de egy-egy elhagyott díszítő- vagy belső hangot zenei ízlés szerint visszaírhatsz.

A felismerés a saját gépeden fut, ezért ideje a gép sebességétől függ. Egy átlagos laptopon nagyjából annyi ideig tart, mint a feldolgozott rész hossza, telefonon ennek akár két-háromszorosa. Közben a haladásjelző mutatja, mennyi van még hátra, és bármikor megszakíthatod. Egyszerre legfeljebb 8 perc dolgozható fel; hosszabb darabnál add meg a kezdést és a véget, és részletenként haladj.

• Ha a lap közben a háttérbe kerül, a böngésző lelassíthatja a számolást. Hagyd nyitva az ablakot.
• Az első használatkor a modell letöltése is idő, utána már nem kell.
• Ha a tempó vagy az ütem nem stimmel, előbb a beállításokkal próbálkozz. A felismerést nem kell újraindítani.