Audio programming

[Teva]

Interesuje me da li je neko imao iskustva sa programiranjem audio alata i izvlačenjem informacija iz audio zapisa? Informacija tipa tempo, ritam, note i sl. Uglavnom su mi potrebni načini i algoritmi za izvlačenje "prirodnih" informacija iz raw audio formata.

Da li je neko imao iskustva sa tako nečim? Ili bilo čim sličnim?

[Neutrino]

Šta tačno podrazumevaš pod "prirodnim" informacijama? Headeri audio kontejnera obično sadrže sve potrebne meta podatke o audio fajlu.

[Teva]

Pa podrazumevam bilo šta što bi nekome ko se bavi samo muzikom značilo.
Znači ritam, tempo, melodije, visine tonova, akordi itd... Hederi uglavnom sadrže informacije tehničke prirode (bitrate, frekvenciju, mono/stereo itd).

[voodoo_]

Juri nekog sa signala i sistema

[Dzungla]

Mmmm signali

[doctor]

Majko Božija signali. Beži koliko te noge nose

[enaB]

Teško da to može
Programi koji u pesmi prepoznaju visinu i trajanje tonova i ispisuju note postoje ali ne znam ni za jedan koji to radi dobro, pogotovo ako je pesma malo sadržajnija to tek ni na šta ne liči. Kad bi uspeo da samo pravilno ispiše note za sve instrumente to bi bi već bio ogroman uspeh srpske nauke, a o ostalim dateljima tipa metrika, dinamika, pa i tempo koji može da bude promenljiv da ni ne govorimo.

[voodoo_]

A jeste sad, crna mađija

Postoji nešto što se zove Furijeova analiza, signal se razloži na komponente u frekvencijskom spektru, zna se koji instrument gađa koje frekvencije, i onda analiziraš jačinu signala na određenim frekvencijama.

Uglavnom nađeš nekog sa signala i sistema koji se specijalizovao za audio i zna da radi u Matlabu, i voziš.

[enaB]

Naravno da postoji, i svi oni imaju iste osnovne frekvencije ako su dobro nastimovani, a opet potpuno razlicite tonove. Cak ni instrumenti istog tipa nemaju iste tonove.
Ne kazem da ne moze da se razlikuje violina od klavira, ali dok se ne uverim u suprotno i dalje tvrdim da to ne moze da radi dobro, za iole slozeniju kompoziciju. Ipak je kompjuter samo glupa masina, sta zna on sta je muzika

[voodoo_]

Pa zato je tu potkovani audio inženjer da kontroliše, neće kompjuter sam uraditi ništa.

[enaB]

Audio inzenjer je tehnicke struke, ovde se radi o muzici Ako ce vec neko ko se dobro razume u muziku da kontrolise, onda mu ne treba program.

Da ne tupim dalje, javite kad to uspete da napravite, voleo bih to da vidim.

[SirDuck]

voodoo_ kaže:

A jeste sad, crna mađija

Postoji nešto što se zove Furijeova analiza, signal se razloži na komponente u frekvencijskom spektru, zna se koji instrument gađa koje frekvencije, i onda analiziraš jačinu signala na određenim frekvencijama.

Uglavnom nađeš nekog sa signala i sistema koji se specijalizovao za audio i zna da radi u Matlabu, i voziš.

Zvuci jednostavno al tu vrlo brzo nastane opsti haos jer instrumenti ne proizvode savrsene sinusoide nego niz istih, pa kad imas vise tonova, recimo jedan akord na gitari, imas dosta harmonika pored fundamenta.
Ako imas dva instrumenta gde jedan svira tise, ovaj tisi ce se jedva videti.
Mozes da juris fundamente, oni su najveceg intenziteta, ali ne kod svakog instrumenta.

Takodje cim imas bubanj il nesto sto udara, to pojede velik deo spektra na kratko vreme i dodatno prlja sliku.

To su neki osnovni problemi, nisam pisao programe koji pokusavaju ovo da rade, ali za komplikovanije numere je vrlo zahebano izvuci te informacije. Pogotovo kad pustis neke metalce i spektar izgleda ko ravna linija x)

PS: ne juris signalce nego AVT, mi se vise zanimamo muzikom

[Teva]

A dobro nisam ni mislio da mogu da zaobiđem Furijea, interesuje me koliko je optimistično nadati se da iz raw audio-a može izvući dovoljno informacija koje bi pomogle nekom recimo muzičaru.

Jel postoji neka iscrpna literatura za izvlačenje takvih čuda iz snimka? Da li je optimistično nadati se da se određenim filterima može ispeglati spektar tako da mogu da dobijem neke konkretnije informacije?

Generalno mi je ideja da izvučem sve što mogu iz raw audio-a za dalju analizu. Ono što mene primarno zanima je šta ja konkretno mogu da izvadim? Šta mogu da očekujem? Pošto imam neki dedlajn koji bi morao da ispoštujem pa da znam šta su mi opcije

[SirDuck]

Teva kaže:

A dobro nisam ni mislio da mogu da zaobiđem Furijea, interesuje me koliko je optimistično nadati se da iz raw audio-a može izvući dovoljno informacija koje bi pomogle nekom recimo muzičaru.

Jel postoji neka iscrpna literatura za izvlačenje takvih čuda iz snimka? Da li je optimistično nadati se da se određenim filterima može ispeglati spektar tako da mogu da dobijem neke konkretnije informacije?

Generalno mi je ideja da izvučem sve što mogu iz raw audio-a za dalju analizu. Ono što mene primarno zanima je šta ja konkretno mogu da izvadim? Šta mogu da očekujem? Pošto imam neki dedlajn koji bi morao da ispoštujem pa da znam šta su mi opcije

Pazi, nisam se zanimao konkretno takvim programima, ali ovako kolko znam to ne može da bude jednostavno.
Ritam bi vrv mogao da izvučeš, a tonove za sve što sadrži više od jednog instrumenta već dosta teško.
Prepoznavanje instrumenata nikako

Uzmimo jedan primer gde npr. gitara i klavir sviraju isti ton istovremeno. Iz toga bi izvukao informaciju da taj ton postoji, ali ne i da ga sviraju i gitara i klavir. A onda uzmimo primer gde ne sviraju istovremeno nego naizmenično. Opet imaš detekciju tona ali ne znaš ko kada svira.

Ako ubacimo sada najobičniji bend sa 2 gitare, bas gitarom i vokalom situacija postaje mnogo komplikovanija. Spektri se preklapaju, imaš 8 tonova (ako ritam gitara udara akorde, a solo i bas udaraju po jedan) i spektar postaje sve homogeniji:

Spektar kada svira samo klavir:


Spektar kada se uključi i sve ostalo:


Izvinjavam se na ovakvoj "analizi" ali me mrzi pa palim matlab i seckam snimak
Na drugoj slici već ne znaš šta se dešava jer su se svi spektri izmešali. Možda možeš da nađeš neke fundamente ali nećeš znati od kojeg su instrumenta.

Sad, verovatno postoje algoritmi koji mogu nešto da izvuku, ali ja ih lično nisam izučavao. U svakom slučaju nisu jednostavni i na takvim programima verovatno radi po nekoliko audio inženjera neko duže vreme.

[enaB]

Pogledajte samo na YouTube dokle je kompanija kao što je Google dogurala sa prepoznavanjem govora u snimcima. I dalje je daleko od upotrebljivog, a muzika je još komplikovanija.

[Teva]

Ali kompanija kao što je Google nema mene xD

Šalu na stranu, pazi ja sa mojim "Ok, Google"-om pričam na sasvim zadovoljavajućem nivou, i razume me. To dosta zavisi od kvaliteta snimka (po meni). Generalno kada pričam, bar za ovo što meni treba, pretpostavljam da je dobijen audio snimak optimalnog kvaliteta (studijski snimak pesme u nekoj random kompresiji, recimo .mp3).

Moja ideja je da rankiram pesme na osnovu prirodnih karakteristika koje mogu da izvučem iz pesme. Prvobitna zamisao je bila da se rankiraju na osnovu tempa/ritma ali ako mogu da izvučem još nešto korisno, bi bilo do jaja. Za sada sam još uvek u fazi planiranja, pa mi je bitno da znam šta mogu da izvučem a šta ne... Odnosno na šta mogu sigurno da računam a na šta ne mogu.

[toxic]

A u koje svrhe ti to treba? Mislim da bi neka katalogizacija muzike (ako sam razumeo) bila poprilicno neefikasna i spora na taj nacin.

[Teva]

U svrhe dinamičkog određivanja plejlisti Tako da je u pitanju neka katagolizacija u neku ruku... Mada ideja je da se izračunavanje skora vrši samo jednom nakon čega bi se čuvalo u bazi. Za sad bi radio neku vrstu pametnog šaflovanja u lokalu. Skup pesama ne bi trebao da pređe 30, max 50 za početak.
Za sad smatram da su ostali uslovi idelani (ili ulazi dovoljno mali da bi to radilo u razumnom vremenu) tj. baziram se na samom izračunavanju ranka pesme pošto mi to manje više diktira ostale uslove (oprimizaciju i organizaciju ostatka).

[Dzungla]

Trudim se, nije da se ne trudim da shvatim nameru ... Ali priznajem da ne posedujem dovoljno informacija da bih znao o kakvj aplikaciji bi se radilo! xD

Da li je ideja da pesmu (audio fajl, mp3) kategorizuješ pri unosu u bazu (statički - meriš peak, freq. ili šta god), a dinamički da selektuješ liste na osnovu kriterijuma?
Rekao bih da tu dinamički deo "ladna voda" u odnosu na to kako dobiti info

Možda ovde nađeš nešto.

[Teva]

Najprostije rečeno hoću da mi se pesme izsortiraju po tempu i da se puštaju tim redosledom.

Međutim razmišljam malo i u nekom širem smislu, da li mogu i drugi faktori da učestvuju kao kriterijum sortiranja? Koji? Da li će sami pojedinačno činiti kriterijum ili če se kombinovati u kriterijum (idealno)? Da li će biti skupo i sporo sortiranje na osnovu tog kriterijuma? Ako je sporo da li je pametno da se pesme jednom "izrangiraju" pa da se čuva rang i onda na osnovu toga da se pravi raspored?

To je inicijalna ideja i neka propratna pitanja koja trenutno imam. Ali me najviše interesuje trenutno to prvo pitanje vezano za kriterijum i faktore, jer će potencijalno odgovori da utiču i na ishode ostalih pitanja