AI: Cerebrus, Google, Intel

Da li ste se ikada zapitali kakvi su sistemi potrebni kako bi se na pravi način implementirao jedan uspešan oblik veštačke inteligencije? Čudovišni!

Godinama unazad (ako ne i decenijama), perjanicu inovacija u svetu elektronike, posebno u oblasti poluprovodnika, nosili su uređaji za pojedinačnog korisnika. Potrošački mentalitet, globalizacija i popularizacija računarstva su stavili računare svih oblika u ruke poslovnih ljudi, profesora, đaka, sportista. Trka za bržim i boljim uređajem pumpala je jedra tehnološkog napretka, sezonu za sezonom. Čudni svet poluprovodnika, u službi zemaljske plovidbe milijardi uređaja, osluškivao je potrebe tržišta i odgovarao – održavajući u život Murov zakon (Gordon Moore) i sve druge. Takva višedecenijska tradicija je stvorila svet u kakvom danas živimo – svet prenosnika. Na zadnjim vratima računarskoga sveta, tiho, bez sujete, te malo ponosa, na svoj red već dugo čekaju serveri i serverske tehnologije. Čini se da je čekanju konačno došao kraj.

Infrastruktura veštačke inteligencije

Da li ste se ikada zapitali kakvi su sistemi potrebni kako bi se na pravi način implementirao jedan uspešan oblik veštačke inteligencije (AI – artificial intelligence)? Najpre, jasno je da je i na „običnom” kućnom računaru moguće napisati i pokrenuti softverski program „veštačke inteligencije” koji bi zadivio nekoga. Takođe, istina je da za mnoge primere upotrebe mašinskog učenja nije potrebna „zver” od računara. Ipak, ako želite da izuzetno veliku količinu podataka iskoristite na maksimalan način (a to je nekako poenta, zar ne), biće vam potrebna značajno kompleksnija računarska moć. Takvu moć imaju isključivo serveri i serverske farme i, bez njihovog značajnijeg napretka, sposobnost algoritama mašinskog učenja neće rasti brzinom koja nam je potrebna. Bez velike pompe, procesori i druge komponente serverskih tehnologija započeli su svoj dugo očekivani povratak.

Jedna od najzanimljivijih startap kompanija u ovoj sferi je Cerebras Systems, sa timom od preko 150 računarskih arhitekata, naučnika i istraživača iz oblasti dubokog učenja (eng. deep learning). Njihova misija je kreiranje nove klase računarskih sistema koje su u stanju da današnjim najkvalitetnijim sistemima veštačke inteligencije donesu unapređenja od nekoliko redova veličine. Ova startap kompanija stoji iza najvećeg čipa na svetu, grdosije po imenu Cerebras Wafer Scale Engine sa 1,2 triliona tranzistora.

Ovo svojevrsno čudo tehnike ima površinu od 46.225 kvadratnih milimetara (8 × 9 inča = 203,2 × 228,6 milimetara, u svom sistemu sadrži 400.000 procesora koji su optimizovani za izvršavanje naredbi sistema veštačke inteligencije i diči se sa 18 gigabajta memorije na čipu, te protočnošću od devet petabajta u sekundi. Ove fantastične brojke su izvedene u 16-nanometarskom proizvodnom procesu TSMC-a, tajvanskog člana velike trojke poluprovodničkog miljea. Poređenja radi, sam čip ima površinu kao 56 najmoćnijih serverskih GPU čipova kompanije Nvidia.

Nakon tri godine relativno „tihog” razvoja, bez bombastičnih naslova na tehnološkim portalima, Cerebras je na „Hot Chips” konferenciji, simpozijumu visokoperformantnih čipova i tehnologija, održanoj na Stenfordu u SAD, predstavio ovaj čip i – preko noći postao zvezda računarstva.

Ovaj rekorder u mnogim kategorijama veličine ima zanimljivu priču, posebno u domenu izazova koji su bili postavljeni pred tako glomazan proizvod. Tim od tačno 173 inženjera, pojačan 112 miliona vrednom investicijom kapitala, pred sobom je imao prvi izazov – kako da od silicijumskog vafera, na kome se inače nalazi veliki broj procesora koje prave razne kompanije – naprave jedan jedini čip. Za početak, podsetimo se da u litografskoj proizvodnji nastaje izvestan broj „loših” čipova. Sa druge strane, iz kružnog vafera „iseći” četvorougaono parče maksimalne veličine bez oštećenja rubnih delova čipa – napredna je rabota. Ipak, prednost ovakvog dizajna vafera omogućava veze između pojedinačnih procesora na vaferu direktnim putem, što značajno ubrzava performanse. Da bi ovo bilo moguće, a u kontekstu toga da se TSMC-u ne isplati da napravi proizvodni proces samo za ovaj procesor, Cerebras je morao da napravi revolucionaran dizajn, ali i da napiše potpuno nov softver na procesorskom nivou, koji omogućava komunikaciju tako velikog broja elemenata.

Način na koji je Cerebras rešio eventualni problem sa neispravnim jezgrima vafera je veoma interesantan. Naime, unutar dizajna svog rešenja inženjeri su „ostavili” određen broj dodatnih jezgara na vaferu, raspoređenih po određenom algoritmu, kao „rezervne”, a koji će se aktivirati u broju i rasporedu koji odgovara jezgrima koja su u procesu litografije ostala nedovoljno dobra. To praktično znači da je 1-1,5 odsto prostora namenjeno eventualno problematičnim jezgrima. Iako je procenat potencijalno problematičnih jezgara mali, u apsolutnom broju je za ovaj procesor potrebno četiri do šest hiljada rezervnih procesora, koji „zaceljuju” problematična mesta na vaferu. Pomenuti izazovi, iako praktično nerešivi u proteklim decenijama litografske proizvodnje procesora, nisu bili preteški za tim ove kompanije. Osnivači Cerebrasa su ljudi koji su stajali iza kompanije SeaMicro, koju je AMD preuzeo 2012. godine za 334 miliona američkih dolara.

Ipak, znanja koja je SeaMicro imao nisu bila mnogo od pomoći u aspektu testiranja završenog proizvoda. Testirati Intelov ili AMD-ov čip nije toliko teško. OEM partneri ovih velikih proizvođača imaju sisteme koji jedva čekaju nove primerke procesora kako bi analizirali nove sposobnosti. Ipak, na tržištu nije postojao niti jedan OEM partner koji je imao razvijene alate za testiranje čipa većeg od tastature.

Rešenje ovog, ali i drugih problema u realizaciji ovog čipa, Cerebras je pronašao u inovacijama. Kreiran je čitav proizvodni tok, od realizacije matične ploče, preko konektora, do alata za montažu i inicijalizaciju. Cerebras je sada u stanju da tržištu i partnerima ponudi rešenje po sistemu „ključ u ruke”.

Izazovi su bili prisutni u domenu toplote koju toliki čip generiše. Pod opterećenjem, čipovi značajno dižu temperaturu. Kada imate čip sa 400.000 procesora, generisana toplotna energija je izuzetna. Upravo je ovo bio razlog zašto je Cerebras morao da potraži pomoć stručnjaka iz oblasti materijala, čiji je doprinos bio ključan u izradi novih interkonekcionih vodova, zasnovanih na upotrebi materijala koji do sada nisu korišćeni u svrhu izrade čipova. Zgodno je imati doktore nauke iz ove oblasti kada pravite čip-rekordera.

No, gde je toplota, tu mora biti i sistema za hlađenje. Lako ćete pronaći informaciju da ovaj čip troši 15 kilovata (!) struje kako bi radio. To je otprilike kao da u isto vreme uključite desetak modernih mašina za pranje veša. To čudo treba ohladiti! Cerebras je, za ovu potrebu, morao da koristi treću dimenziju, te da čip stavi „pod uglom”, i tako distribuira hlađenje duž vertikalne ose, na velikom broju tačaka ovog gigantskog čipa.

Kako skalirati proizvodnju ovako nečega? Odlično pitanje! Ni Cerebras trenutno nije siguran kako će to izvesti, ali im olakšavajuću okolnost predstavlja činjenica da namesto nekoliko stotina ili hiljada proizvoda, nekakvoj farmi za veštačku inteligenciju će biti dovoljno svega nekoliko ovih moćnih grdosija. Navodno, Cerebras trenutno ima samo demo proizvod. Dokle će ovaj revolucionarni proizvod stići, saznaćemo uskoro. Potrebe „veštačke inteligencije” rastu na dnevnom nivou, a investitori u očekuju brz povrat svog novca uloženog u Cerebras. Čini se da se neće dugo čekati na zadovoljna lica finansijera ovog projekta. Prema očekivanjima direktora Cerebrasa, za samo koju godinu, čak trećina svih računarskih kapaciteta će raditi u službu „veštačke inteligencije”.

Velika kontra

Na otvaranju jedne konferencije u kalifornijskom mestu Santa Klara, softverski inženjer zaposlen u kompaniji Google, tesno fokusiran na oblast veštačke inteligencije, izjavio je kako je svet u kome živimo nedovoljno pripremljen za potrebe koje ova grana računarstva zahteva. Taman kada je Murov zakon postao ugrožen, eksponencijalno je počela da raste glad veštačke inteligencije za resursima. Problemi koje je Intel imao sa novim proizvodnim procesom su najava novog vremena u poluprovodničkoj industriji – onog u kojem će napredak u korišćenju dosadašnjih tehnologija udariti u zidove i koji će naterati akademsku i istraživačku javnost u akcije pronalaska alternativa.

Prema trenutno dostupnim podacima, broj naučnih radova iz oblasti AI-ja raste 100 odsto svakih godinu i po dana. Sa druge strane, potrebe algoritama veštačke inteligencije za brojem aritmetičkih operacija sa pomičnim zarezom se duplira svaka tri do četiri meseca. Pomenuti inženjer iz Googlea, Klif Jang (Cliff Young), istakao je da povećanje zahteva za bržim aritmetičkim operacijama dolazi kao posledica dokazanih vrednosti „dubokog učenja”. Prvi rezultati vredni pomena su došli u oblasti prepoznavanja slike. Tada su u kompaniji Google shvatili da je to tehnologija na koju se treba kladiti. Jangov tim poslednjih pet godina dominantno radi na mašinskom učenju. U paraleli, Google radi na razvoju sopstvenih procesorskih jedinica, posebno prilagođenih mašinskom učenju i izgradnji neuronskih mreža, prepoznajući nedostatak u efikasnom izvršavanju ovih tehnologija i metodologija na tradicionalnim čipovima. Trenutno, Google pomenute procesore u klasterima koristi kao osnovu sopstvenog oblaka. Velika je investicija vremena inženjera ove kompanije u realizaciji paralelizma na nivou podataka, ali i čitavih modela. Ključnu ulogu u ovim naporima igraju i noviteti u domenu interkonektora, koji obezbeđuju maksimalnu protočnost između delova sistema.

O ovom delu rada kompanije Google se ponajmanje zna. Ono što se može saznati jeste da nemali broj kompanija testira upotrebu analognih konektora, namesto digitalnih, a sve u cilju poboljšanja performansi. Namesto prenosa podataka u obliku nula i jedinica, ovi analogni konektori bi mogli prenositi podatke u vidu kontinualnih talasa. Uzbudljivo je vreme za fizičare, očigledno. Njihovo teorijsko i eksperimentalno znanje biće okosnica analognih konekcija u digitalnim sistemima.

Prema skorijim istraživanjima kompanije SlashData, veštine u vezi sa mašinskim učenjem i naukama o podacima predstavljaju prvi izbor softveraša kada su u pitanju želje za usavršavanjem. Sa preko 45 odsto onih koji žele da u skorijoj budućnosti savladaju znanja iz ove oblasti, osnove mašinskog učenja i nauke o podacima predstavljaju dominantnu skupinu znanja kojima teže softveraši svih godina iskustava. Ovo ne treba da čudi jer se znanja iz ove oblasti nalaze na tromeđi kodiranja, matematike i poslovanja. Budimo iskreni, teško je u ovom prostoru naći aktivnost koja ne donosi priliku za ostvarivanje, kako poslovno, tako i materijalno.

Svet u plavom

Iako, sa jedne strane, niže probleme u realizaciji procesora na novom proizvodnom procesu, Intel svakako ne staje sa inovacijama. Tokom leta je na samitu organizacije DARPA u Detroitu predstavljen projekat čudnog imena – „Pohoiki Beach”, koji predstavlja klaster od 64 Loihi čipa, posebno namenjen za operacije mimike ljudskog mozga. Ovi neuromorfni čipovi su razvijeni u saradnji sa Kalifornijskim institutom za tehnologiju (California Institute of Technology), a odlikuju se sposobnošću da prime informacije o okolini prilikom izvršavanja operacija, slično ljudskom mozgu.

Jedan Loihi čip se sastoji od 130.000 „neurona” i 130 miliona sinapsi, a diči se gotovo hiljadu puta manjom potrošnjom električne energije po operaciji koju izvršava, u odnosu na tradicionalne čipove. Pomenuti klaster ovih čipova je, prema rečima Intela, u stanju da obradi informacije 10.000 puta brže nego tradicionalna kombinacija centralnog i grafičkog procesora. Ipak, ne treba ih stavljati „na crtu” sa procesorima iz vaših laptopova. Ova rešenja pokazuju svoj potencijal primenom u tehnologiji samovozećih automobila ili drugih primena veštačke inteligencije u biomedicinske svrhe (veštačka koža, udovi i slično).

Planovi Intela otkrivaju da je cilj doći do brojke od 100 miliona neurona, koji bi trebalo da obezbede veliku moć na malom prostoru, što će olakšati implementaciju sledeće generacije globalno umreženih uređaja (IoT – internet of things). Da li je realnija primena u robotićima veličine dečijih igračaka, ili u izgradnji velikih sistema čija moć računanja prilazi najsloženijim oblicima života, pokazaće već narednih nekoliko godina.

• • •

Dok svet traga za sledećim uređajem koji će zapaliti potrošače širom planete, napredak u oblasti veštačke inteligencije, mašinskog i dubokog učenja, automatizacije i globalno umreženih uređaja nastavlja da prikuplja sve veću pažnju akademske javnosti. Velike kompanije imaju sve veće izazove da zadrže najbolje stručnjake koji radije odlaze u startap kompanije koje rešavaju „velike” probleme, no da velikim gazdama radom kupuju superautomobile. Dok borba za talenat obeležava sve industrije našeg vremena, u svetu potrošačke elektronike se kombinacija talenta, inovacija i investicija smanjuje svakog dana. Novi šerif dolazi u grad. Ko je on i šta su mu planovi? Niko (još uvek) ne zna. Ipak, znamo da radi za „veštačku inteligenciju”!

Momir ĐEKIĆ