O vestackoj inteligenciji

[Nemesis]

Ovu temu otvaram kao nastavak diskusije sa LINK koju M. Silenius, Sveštenik i moja malenkost želimo da rasteretimo od elemenata koji nisu zanimljivi ne-programerima.


Za početak ne bi bilo loše da definišemo šta spada pod AI. Ja sam imao raspravu sa kolegom koji zastupa stanoviše da je najobičniji kod koji rešava problem po random principu najjednostavniji vid AI-a. S druge strane ako uzem definicju da je inteligencija: a very general mental capability that, among other things, involves the ability to reason, plan, solve problems, think abstractly, comprehend complex ideas, learn quickly and learn from experience. (izvor wikipedia) onda se AI jednio može zasnovati na neuronskim mrežama i genetskim algoritmima.

Svešteniče i Sileniuse, čekam vas...

[M.Silenus]

Prvo.... Je6eni pseudonim mi je M.Silenus, ne Silenius ( ako je prezime Martina Silenusa u originalu Silenius , baš me briga, čitao sam prevod Hiperiona i pisalo je Silenus )

Drugo, načekaćeš se da za nedelju ili dve počnem da čitam jednu knjigu o neuralnim mrežama...

Inače, pošto studiram računarstvo i informatiku na MATF-u , na četvrtoj godini postoji kao izborni predmet veštačka inteligencija, koji sam mislio da izaberem ako uopšte bude moglo ( sve imam neki osećada da se niko nije time bavio već duuuugoooo vremena ).

Sada sam jedino sposoban za nekakve kvazi-naučne spekulacije na temu AI.

Da ne zaboravim, pogledajte ai.planet.

[Nemesis]

M.Silenus kaže:

Prvo.... Je6eni pseudonim mi je M.Silenus, ne Silenius ( ako je prezime Martina Silenusa u originalu Silenius , baš me briga, čitao sam prevod Hiperiona i pisalo je Silenus )

Sorry about that!
Meni je u secanju ostao Silenius ali kao opravdanje knjigu sam citao pre ravno trinaest godina i to na engleskom, tako da mi je u glavi ostao ovakav naziv. Tvoj pseudonim sam odmah povezao sa karakterom iz knjige i nisam ga detaljnije pogledao. Od sada M. Silenus. Nema greske.

M.Silenus kaže:

Drugo, načekaćeš se da za nedelju ili dve počnem da čitam jednu knjigu o neuralnim mrežama...

Ne zurim ja nigde. Cisto sam hteo da razdvojimo temu jer igraci na jedan nacin dozivljavaju racunarskog protivnika a programeri potpuno drugacije. Imao sam utisak da bi se svelo da mi objasnjavamo igracima sta je to AI sto ne bi bilo produktivno.

M.Silenus kaže:

Inače, pošto studiram računarstvo i informatiku na MATF-u , na četvrtoj godini postoji kao izborni predmet veštačka inteligencija, koji sam mislio da izaberem ako uopšte bude moglo ( sve imam neki osećada da se niko nije time bavio već duuuugoooo vremena ).

Smatram da covek treba da upise i studira sta voli. Ako te to zanima samo napred.
Medjutim kod mnogih predmeta je jedna situacija na papiru a u praksi potpuno drugacije. Ne mogu da se otrgnem utisku da se svi suvise bave teorijom a od implementacije bukvalno nista. Raspitaj se prvo malo kod onih koji su slusali taj predmet o utiscima a posle toga mozda i da svratis kod profesora na konsultacije i porazgovaras o predmetu.

M.Silenus kaže:

Sada sam jedino sposoban za nekakve kvazi-naučne spekulacije na temu AI.

Ni ja nisam nista bolji. Igrom slucajeva sam morao da implementiram neki trivijalni oblik AI i to je moj max. Medjutim ova oblast mi je bila uvek interesantna zato sto je mnogo "kreativnija" i "dinamicnija" nasuprot dosadnim stvarima kao sto su baze podataka.

[bobi]

Dobra tema.

hmmm... uopste nisam podkovan znanjem poput vas nekoliko koji ste pricali na onoj drugoj temi, ipak izlozicu svoje misljenje.
Smatram da je ce u dalekoj buducnosti (za par hiljada godina, ili cak dosta manje) jedan obican robot imati takav AI, da ga obican covek nece razlikovati od drugog coveka. Naravno takav jedan robot nece imati emocije vec ce moci samo da ih simulira.
Takodje smatram da ce i tada (kao i sada) koren samog AI-a biti if->then basic naredba.
Tacnije, sve ce se svoditi na reakciju AI-a u odnosu na situaciju u kojoj se nadje, a imace jednostavno, sve moguce varijante i situacije vec implementirane pre njegovog starta. Iako ce biti spreman odmah da dela, taj AI ce simulirati da uci. Naravno, nece ljudi sedeti i isprogramirati sve situacije, vec ce sam AI, verovatno, mnogim skriptama ubrzavati sam proces ucenja, odbacujuci ono sto je 99% nemoguce da se desi...

Vise ni sam ne znam sta sam hteo da kazem, toliko su misli pocele da naviru

[M.Silenus]

Nemesis kaže:

Smatram da covek treba da upise i studira sta voli. Ako te to zanima samo napred.
Medjutim kod mnogih predmeta je jedna situacija na papiru a u praksi potpuno drugacije. Ne mogu da se otrgnem utisku da se svi suvise bave teorijom a od implementacije bukvalno nista. Raspitaj se prvo malo kod onih koji su slusali taj predmet o utiscima a posle toga mozda i da svratis kod profesora na konsultacije i porazgovaras o predmetu.

Ovde ima jedna mala začkoljica. Čini mi se da niko živi nije uze AI kao izborni predmet u skorije vreme - ako je ikada. Tako da će verovatno da bude računska mehanika ( al su bliske oblasti ), no o tom potom.

bobi kaže:

Takodje smatram da ce i tada (kao i sada) koren samog AI-a biti if->then basic naredba.

To imaš i danas, u obliku FTM-a ( Finite State Machine ), i masovno se koristi u nekim igrama, mada sam čitao da, ako se pretera sa tim čudom, može da bude kontraproduktivno.

Ja AI budućnosti zamišljam kao hardversku neuralnu mrežu, gde će neuroni imati mogućnost mutacije, pa će prirodnom selekcijom da se biraju efikasniji i "jeftiniji" neuroni. Al ga skarabudžih...

[Auror]

Mislim da ce vjestackoj inteligenciji hvaliti brzina.Ne raspolazem nikakvim podacima ali mislim da je covjekov mozak sposoban da u nekom malom djelu vremena izvede mnogo zakljucaka i zamisli dok hardverska neuralna mreza ne moze ni priblizno toj nekoj cifri.

[Nemesis]

Auror kaže:

Mislim da ce vjestackoj inteligenciji hvaliti brzina.Ne raspolazem nikakvim podacima ali mislim da je covjekov mozak sposoban da u nekom malom djelu vremena izvede mnogo zakljucaka i zamisli dok hardverska neuralna mreza ne moze ni priblizno toj nekoj cifri.

Hardver je najmanji problem. Možda nije idealan primer da povučem paralelu ali uzmi Google koji je pre dve godine došao do toga da mu hardver nije nikakvo ograničenje za kvalitetno pretraživanje već dobri algoritmi.

Za razliku od mnogih metoda (npr. iz operacionih istraživanja) koje za svaki dodat parametar se eksponencijalno povećavaju (mislim po vremenu potrebnom za kompletno pretraživanje i nalaženje optimalnog rešenja) genetski algoritmi imaju sjajnu karakteristiku i da sa veoma velikim brojem parametara veoma brzo konvergiraju ka rešenju. Nažalost često se zaglavljuju u lokalnim minimumima (ili maksimumima; u zavisnosti od tipa ekstremizacije) pa je potrebno dodatno "žongliranje" da bi iz njih iskočili.

[Nemesis]

bobi kaže:

Tacnije, sve ce se svoditi na reakciju AI-a u odnosu na situaciju u kojoj se nadje, a imace jednostavno, sve moguce varijante i situacije vec implementirane pre njegovog starta. Iako ce biti spreman odmah da dela, taj AI ce simulirati da uci. Naravno, nece ljudi sedeti i isprogramirati sve situacije, vec ce sam AI, verovatno, mnogim skriptama ubrzavati sam proces ucenja, odbacujuci ono sto je 99% nemoguce da se desi...

Proces učenja nije komplikovan kao što vam izgleda. Međutim problem je što ljudi i dalje programiraju KAKO mašina da uči. Samim tim unapred se favorizuje jedno željeno stanje što onemogućava razvoj van datih ograničenja koja su uslovljena zadatim ciljem.
Dakle nema potreba da mašina simulira da uči. Ona će to zaista činiti. Pitanje je da li nam takvo učenje zadovoljava potrebe...

A što se tiče skripti uzmi trivijalan primer:
Kao dete si se u jednom kontaktu susreo sa vatrom. I sugurno opekao. Posle toga to iskustvo je zapisano u tvoju "skriptu" i svaki put kad priđeš vatri javlja se glasić koji kaže: "No, no! Pec pec!"
Zbog toga si bio pažljiviji sa vatricom i savladao tehnike "manipulisanja" a da se ne opečeš. I to je išlo u "skriptu".
Vremenom te "skripte" su se upoređivale i brusile u tvoj mozgu shodno tvom specifičnom karakteru i sad imaš sebi svojstven stav svaki put kad priđeš vatri. (od toga da si potpuno ravnodušan i da te baš briga i ako se opečeš, do onog drugog ekstema da i dalje sve bojažljivo radiš i gledaš da to prepustiš nekom drugom)

Banalan primer. Ako i ja razumem šta sam hteo da kažem svaka mi čast. [Evo "šef" je gledao šta pišem i odlučio da me danas pusti kući ranije. ]

[priest (of_the_moon)]

Evo i mene najzad.

U vreme kada sam se prijavih na ovaj forum radio sam na programu za projektovanje neuronske mreže, završio jedan dobar deo i stao kod implementacije zvuka. Input su prvo trebali da budu "sirovi" semplovi, pa sam se onda predomislio i hteo da to bude spektar frekvencija (mnogo približnije prirodnim NN), ali trebalo je napisati kod za transformaciju semplova u spektar. I tu sam negde stao. Ne samo zbog transformacija, nego nisam ni imao više vremena da se bavim tim.
Anyway, vaše ideje za implementaciju zvuka?

Što se tiče opšte diskusije o inteligenciji, pa imam neka svoja razmišljanja (tripovanja?, dođe mi ponekad ). Nekom drugom prilikom.

[VGagi]

Aktuelna procena je da ce za stvaranje seed AI trebati 30-50 godina.

Hardware je tu minorni problem. Mnogo veci problem je u tome sto jos uvek ne znamo kako zaista funkcionisu bioloski sistemi i kakva je zavisnost samosvesti od stepena kompleksnosti "hardware"-a. Ako npr posmatrate hardware-ske implementacije NN-a, pojedinacni neuroni u njima rade vec odavno brze nego bioloski neuroni. Medjutim, procesiranje podataka u bioloskom neuronu je mnogo kompleksnije od jednostavne aproksimacije kakve imamo u danasnjim NN. Takodje, bioloske neuronske mreze su mnogo kompleksnije i plasticnije u svojoj organizaciji od bilo cega sto smo danas sposobni napraviti.

Sto ne znaci da nismo daleko odmakli. Jesmo. Stvar je u tome sto pojedini aspekti imaju vrlo jasnu vojnu / ekonomsku primenu, i, shodno tome, o tim aspektima ima relativno malo informacija (primer: face & speech recognition, ili pak prepoznavanje terena, koje se primenjuje npr kod raketa, aviona i vozila; ekspertski sistemi raznih nivoa i stalno rastuce game primena, itd).

Srecom, postoje i public projekti, npr Blue Brain (dali su obecanje da ce svoju bazu podataka i kompletan software uciniti javno dostupnim).

Licno, misljenja sam da bi seed AI mogla biti kreirana stapanjem specijalno pisanog distributed computing sistema pri cemu klijenti ne bi bili samo jadnostavne racunaljke kao kod seti@home i folding@home, vec raznorodne prirode: vestacke NN mreze, ekspertski sistemi, bioloske NN mreze, pa cak i ljudi, sve povezano preko interneta i usmereno na resavanje jednog istog komplesnog problema (huh, evo prologa za sagu o Hyperion-u ).

Da sve ovo ne bi bila samo kvazi-naucna spekulacija na temu AI, evo jos jednog zanimljivog linka.

[priest (of_the_moon)]

Ja krenuo da pričam o konkretnom problemu, i svi me isqlirali.

Mislim da će ova tema ipak prerasti na okolo naokolo pa nigde.

[Nemesis]

priest (of_the_moon) kaže:

Ja krenuo da pričam o konkretnom problemu, i svi me isqlirali.

Mislim da će ova tema ipak prerasti na okolo naokolo pa nigde.

Ne. Nikako te nismo iskulirali. Meni se mnogo dopalo ali sam stekao utisak da ti se ne priča mnogo o tome.
Veeeoooma me interesuju datalji, pa ako možeš daj što više informacija.

[VGagi]

priest (of_the_moon) kaže:

... radio sam na programu za projektovanje neuronske mreže, završio jedan dobar deo i stao kod implementacije zvuka. Input su prvo trebali da budu "sirovi" semplovi, pa sam se onda predomislio i hteo da to bude spektar frekvencija (mnogo približnije prirodnim NN), ali trebalo je napisati kod za transformaciju semplova u spektar.

Meni cak nije jasna ni vrsta programa koju si pravio. Program koji projektuje NN je jedna stvar, a NN koja procesira zvuk sasvim druga. Sta je od ovoga dvoga ?

[M.Silenus]

Ajd, kad sam već tu...
Koliko se danas neuralne mreže ( ili uopšte bilo koji oblik AI ) koriste u praksi, i gde bi to bilo?

[VGagi]

M.Silenus kaže:

Koliko se danas neuralne mreže ( ili uopšte bilo koji oblik AI ) koriste u praksi, i gde bi to bilo?

OCR programi (pocevsi od Abbyy Fine Reader-a, koji dolazi sa obucenom NN, pa do SubRip-a, koji dolazi sa neobucenom NN)
Speech recognition programi (uglavnom sa neobucenom NN)
Face recognition programi
Pattern recognition programi (antivirus programi, vidi ovo)
.
.
.
google realworld neural networks applications

Ekspertski sistemi imaju veoma siroku gamu primena, ali je uglavnom rec o programima s kojim se obicni korisnik racunara ne srece (npr ekspertski sistem za postavljanje lekarske dijagnoze na osnovu simptoma bolesti)

Takodje bih te posavetovao da "procunjas" po fakultetima koji se bave sa AI; moze mnogo toga da se nauci. Npr Stanford

[priest (of_the_moon)]

Nemesis kaže:

Veeeoooma me interesuju datalji, pa ako možeš daj što više informacija.

Da, detalji.
Znate li u kom je obliku najčešće predstavljen zvuk na kompu? Ok, ako ne izguglajte malo.
E sad, kada bih ja mreži dodao jedan input, koji bi prosleđivao informacijue o zvuku u njegovom "native" obliku, znači jedan sempl jedna informacija, javila bi se dva problema.
Prvi je problem brzine. Ako se zvuk sadrži 8000 semplova po sekundi, da bi se obradio ceo mreža bi morala da se procesira 8K puta u sekundi. Ovo je malo preveliki zalogaj za mog Semprona.
Ovo sam rešio tako što sam umesto jednog inputa, dodao 1000, u koje se semplovi sukcesivno upisuju. (Najlepše od svega je što ovo dodavanje program dozvoljava čak i dok je procesiranje mreže u toku. Kako sam ponosan na njega .) Znači mreža bi se procesirala na najmanje 8Hz, što je prihvatljivo.
Međutim tu se javlja drugi problem, ako se tako može nazvati.
Pošto težimo oponašati prirodne NN, zavirimo malo u knjige biologije. Prirodni NN "procesiraju" zvuk na drugi način. U njima postoje mnogo inputa, i svaki prenosi informacije o određenoj frekvenciji. U ljudskom NN postoji recimo 10000 (*2 za stereo ) inputa za zvuk, i svaki "hvata" određenu frekvenciju iz opsega 20-20000Hz. Naravno, ove informacije su tu da bi se stekla slika o načinu funkcionisanja, i ne moraju biti tačne.
Ja bih napravio recimo 100-tinak inputa, i svaki bi prosleđivao samo određenu frekvenciju, za 200Hz višu od prethodnog, počevši od 100Hz. Ali...
Da bi iz semlova dobio spektar frekvencija, neophodan radi pravilong raspoređivanja zvuka po inputima, potrebno je da se npr svakih 1000 semplova "propusti" kroz određene matematičke transformacije. Saznaćete više o njima guglajući FFT (fast Fourier transform, upozorenje: samo za advanced korisnike ). Ovo inače koriste razni muzički plejeri, za vizuelizaciju u toku pesama.
Opravdanje što još nisam napisao kod za FFT je da ceo ovaj projekat radim iz mog čistog interesovanja.

[priest (of_the_moon)]

VGagi kaže:

Meni cak nije jasna ni vrsta programa koju si pravio. Program koji projektuje NN je jedna stvar, a NN koja procesira zvuk sasvim druga. Sta je od ovoga dvoga ?

Bilo koja NN koju projektuješ mora imati input. Ako isprojektuješ da taj input bude zvuk sa recimo mikrofona i kreneš da procesiraš, dobiješ NN koji procesira zvuk. Jel' sad jasnije?

[VGagi]

priest (of_the_moon) kaže:

Bilo koja NN koju projektuješ mora imati input. Ako isprojektuješ da taj input bude zvuk sa recimo mikrofona i kreneš da procesiraš, dobiješ NN koji procesira zvuk. Jel' sad jasnije?

Pa i mislio sam da je nesto za procesiranje zvuka samo nisam bio siguran zato sto si upotrebio izraz "program za projektovanje neuronske mreže" a to je nesto sasvim drugo od NN koja procesira zvuk; taj izraz se odnosi na programe poput BrainMaker-a koji sluze za developing drugih NN.

Sto se tice tvog problema, kol'ko ja znam speech recognition programi koriste filtere kako bi se ogranicio frekventni opseg (nisi bio sasvim jasan sa svrhom svoje NN; ako je rech o speech recognition-u, pogledaj voxxopensource na SourceForge-u).

A ako bas hoces da ides preko algoritama koji se koriste za audio vizuelizaciju, pogledaj:
http://www.fftw.org/links.html
http://www.videolan.org/vlc/download-sources.html
http://www.mp3-tech.org/programmer/programmers.html
http://www.speech.kth.se/wavesurfer/

[al0cunit]

@priest (of_the_moon)
ja to sada ucim u skoli ... slaganje i pravljenje slozenih oscilacija(harmonickih) ... odnose izmedju primarnog harmonika i ostalih harmonika 1:1/2:1/3 itd ..... radjenje spektra frekfencija i graficko predstavljanje ... bash danas sam neshto pricao o tome ... "Milicu nije loshe .." ... ne kontam bash to najbolje ... tako da idem iz ovog threada ...

[priest (of_the_moon)]

VGagi kaže:

Pa i mislio sam da je nesto za procesiranje zvuka samo nisam bio siguran zato sto si upotrebio izraz "program za projektovanje neuronske mreže" a to je nesto sasvim drugo od NN koja procesira zvuk; taj izraz se odnosi na programe poput BrainMaker-a koji sluze za developing drugih NN.

Pravim tj pravio sam program za projektovanje NN, koji između ostalog omogućuje da zvuk bude input, a samim tim i projektovanje NN za procesiranje zvuka.

VGagi kaže:

Sto se tice tvog problema, kol'ko ja znam speech recognition programi koriste filtere kako bi se ogranicio frekventni opseg (nisi bio sasvim jasan sa svrhom svoje NN; ako je rech o speech recognition-u, pogledaj voxxopensource na SourceForge-u).

Ok, ali iz mikrofona se može dobiti zvuk samo kao gomila semplova. Spektar frekvencija se mora izračunati naknadno.

VGagi kaže:

A ako bas hoces da ides preko algoritama koji se koriste za audio vizuelizaciju

I ti algoritmi za vizuelizaciju koriste FFT, tako da, koliko je meni poznato, ne postoji drugi način.
Proučiću linkove kada budem nastavio sa radom, što se neće skoro desiti. Thanks anyway.