Softver
Vesti
Phi-3 pokazuje iznenađujuću moć lokalnih jezičkih modela
Mali, a rečit!
Ivan JAKIĆ
24. april 2024.

Kompanija Microsoft je objavila novi, besplatni jezički model pod imenom Phi-3-mini, koji je jednostavniji i jeftiniji za „održavanje” i upotrebu od tradicionalnih velikih jezičkih modela, poput GPT-4 Turbo. Kompaktna veličina je idealna za lokalno pokretanje, što bi moglo da imitira sposobnosti besplatne verzije jezičkog modela kompanije OpenAI ,ChatGPT, ali ne zahtevajući aktivnu internet konekciju.



Glavna „merna jedinica” za veličinu u polju veštačke inteligencije jeste broj parametara. Parametri su numeričke vrednosti u neuronskoj mreži, koje određuju način na koji jezički model obrađuje i generiše tekst. Veliki skupovi podataka se koriste u toku treniranja jezičkih modela, koji se eksponencijalnim enkodiranjem predstavljaju kao znanje. Veći broj parametara omogućava modelu da obradi više kompleksnih slojeva generisanja jezika, ali istovremeno zahteva proporcijalno više računarskih resursa za pokretanje. 



Najveći jezički modeli današnjice, poput PaLM 2 kompanije Alphabet, poseduju na stotine milijardi parametara. Pretpostavlja se da GPT-4 raspolaže sa preko bilion parametara raspoređenih u osam modela sa po 220 milijardi. Oba modela zahtevaju moćne grafičke čipove smeštene u data centre kako bi se pravilno pokretali. 



Kontrastno trendu, Microsoft je odlučio da „cilja” na manje dimenzije sa Phi-3-mini, koji sadrži samo 3.8 milijardi parametara treniranih na 3.3 billiona tokena. Takve karakterisitke ga čine idealnim za pokretanje na komercijalnim grafičkim karticama ili hardveru posvećenom veštačkoj inteligenciji, koji poseduju mobilni uređaji novije generacije. Phi-3 je prirodna evolucija prethodna dva „mala” jezička modela kompanije Microsoft — Phi-2, objavljenog u decembru i Phi-1, objavljenog u junu 2023. godine. Pored standardne Phi-3-mini verzije, predstavljena je i jača, Phi-3-mini-128K, koja shodno nazivu poseduje 128 hiljada tokena, čineći ga trideset i dva puta „elokventnijim” od originala. Kreirane su i verzije sa sedam i četrnaest milijardi parametara, za koje softverski gigant tvrdi da su značajno sposobnije. 



Phi-3 bi trebalo da poseduje ukupne performanse konkurentne modelima Mixtral 8x7B i GPT-3.5, sudeći po dokumentovanoj mašti Microsoft inženjera pod nazivom „Tehnički izveštaji o Phi-3: Visoko sposoban jezički model na vašem telefonu”. Zahtevajući manje od osam gigabajta RAM, Phi-3 može da generiše tokene podnošljivom brzinom i na običnom procesoru. Pošto je pod MIT licencom, moći će da se ugodno pokrene i na uređajima popu Raspberry Pi, dok bi kvalitet rezultata trebalo da parira četiri puta većim modelima. Ukoliko se ovaj mališan pokaže uspešno na testovima, mogao bi da predstavlja vodiča koji će da obesmisli potrebu za velikim modelima iz data centara, barem za svakodnevne zadatke običnih korisnika.



Interakcija sa Phi-3 je dostupna na Azure platformi, kao i putem partnerskih platformi za modele mašinskog učenja, Hugging Face i Ollama — framework koji omogućava lokalno izvršavanje Phi-3 na računarima.  

Microsoft
Phi-3-mini
LLM
AI
PRETHODNI TEKST
SLEDEĆI TEKST
Najčitanije
Igre
Telefoni
Hardver
Softver
Nauka
Aktuelno štampano izdanje
JUN 2024
Microsoft Windows/Android TV: Strimovanje igara u kućnoj mreži
Sa PC -a na Android TV
Šta kažete na to da se zavalite u fotelju ili kauč i da u PC igrama uživate na velikom ekranu?
AMD Ryzen 5 8600G
Pametan igrač
ova serija APU-ova donosi revoluciju u ovaj segment, jer pruža sasvim solidne performanse u igrama...
Gigabyte Aorus CO49DQ
Prelep pogled iz tenka
Nije prvi put da se srećemo sa monitorskom grdosijom od 49 inča, ali sada je pred nama prvi takav sa OLED panelom...
Synology DiskStation DS423+
Trajna investicija
NAS koji ide dobro utabanim stazama i definitivno možemo da ga preporučimo malim i srednjim preduzećima, ali i za ličnu upotrebu...
Huawei Watch Fit 3
Elegantniji i sposobniji
Hibridni satić koji ne samo da miri svet fitnes narukvica i klasičnih „pametnih satova”, već postavlja potpuno nove standarde u klasi...
Samsung Galaxy A15 5G i A25 5G
Prvi borbeni redovi
Galaxy A15 5G jedan je od najjeftinijih Samsungovih telefona sa 5G modemom i naslednik je Galaxyja A14 5G...
Microsoft Windows 11: Kreiranje bootabilne Windows instalacije
Prebacivanje Windowsa na USB stik
Media Creation Tool se jednostavno koristi, a proces se svodi na pritiskanje tastera Next i minimalnu interakciju...
Windows je u padu
Ali Microsoft je jak
Već duže od jedne decenije, Microsoft se suočava sa izazovima u održavanju tržišne dominacije svog vodećeg proizvoda - Windowsa...
Tehnološke granice pametnog nakita
Još sazreva
Nosiva tehnologija napredovala je velikim koracima tokom poslednjih petnaest godina...
Crow Country
Brutalno dobra low-poly, retro, TPS, horor avantura...
Senua’s Saga: Hellblade II
Ako „padate” na atmosferu i pozadinsku priču, spremite se na spektakl koji se retko viđa...
Homeworld 3
Pretvaranje jedne sjajne ideje u obični, neupečatljivi prosek...
© 2024 Svet kompjutera. Sva prava zadrzana.
Novi broj - Arhiva - Forum - O nama