Phi model umetne inteligence avtor Microsoft - majhen, poceni in ne trpi za "halucinacijami". Tako pravijo o novem jezikovnem modelu, ki mu napovedujejo lepo prihodnost.
GPT je naravnost odličen, hkrati pa je strašno drag in ne more biti popoln za vsakogar. Zaradi teh in mnogih drugih razlogov Microsoft eksperimentira z veliko manjšimi modeli AI. Phi-3-mini naj bi celo osramotil delo inženirjev OpenAI.
Zanimivo tudi: Tranzistorji prihodnosti: Čaka nas nova doba čipov
ChatGPT ni zdravilo
ChatGPT je izum, ki se financira, kurira in izboljšuje Microsoft. Pravzaprav ne sodi Microsoft, ter podjetje OpenAI, ki Microsoft nima v lasti (je vodilna, čeprav ne največja vlagateljica). Jezikovni model GPT je dal Microsoft velikanska prednost pred ostalimi velikimi tehnološkimi korporacijami, ki zdaj hitijo, da bi jih dohitele. Vendar pa obstaja ogromno težav z GPT, od katerih mnogih še ni mogoče rešiti.
Prvič, to je jezikovni model, ki zahteva zelo veliko virov. Spletno usmerjeno Microsoft OpenAI's Copilot ali ChatGPT ustvarjata zelo visoke operativne stroške za Microsoft. To ni značilnost le GPT, ampak tudi vseh večjih jezikovnih modelov. Poleg tega je GPT, tako kot njegovi konkurenti, nagnjen k "halucinacijam", kar pomeni, da lahko ustvari odgovore na poizvedbe, ki vsebujejo napačne ali zavajajoče informacije. Več podatkov kot tak model absorbira, bolj se nagiba k ustvarjanju podobne vsebine. Zato halucinacije in lažne izjave niso mit, izsesan iz digitalnega prsta. Uporabniki pogosto ugotavljajo, da veliki jezikovni modeli pogosto delajo napake, dajejo netočne podatke in delujejo na neobstoječih dejstvih.
Obe težavi sta zelo resni, zato OpenAI, Microsoft, Meta, Google in drugi si prizadevajo razviti ne samo tehnologijo Large Language Model, temveč tudi Small Language Model, ki lahko v praksi ustvari veliko boljše rezultate.
Digitalnemu računovodskemu pomočniku ni treba veliko vedeti o kvantni fiziki. Lahko je veliko manjše in manj zapleteno (in zato cenejše) in če bi se urilo samo na podatkih, ki so potrebni za njegov namen, bi teoretično moralo manj halucinirati. Čeprav je to lažje reči kot narediti. Tehnologija GenAI je še vedno divji IT podvig. In čeprav delo napreduje z izjemno hitrostjo, je še vedno težko doseči praktičen preboj pri temeljnih vprašanjih. Ampak podjetje Microsoft pred kratkim napovedal tak preboj. Govorimo o majhnem jezikovnem modelu Microsoft Phi.
Zanimivo tudi: Kako se Tajvan, Kitajska in ZDA borijo za tehnološko prevlado: velika vojna čipov
Kaj je znano o Microsoft Phi
Najprej je treba opozoriti, da je bil poskus izveden brez sodelovanja podjetja OpenAI. Se pravi, to je razvoj inženirjev Microsoft.
Modeli Microsoft Phi je serija malih jezikovnih modelov (SLM), ki dosegajo izjemne rezultate pri različnih testih. Prvi model, Phi-1, je imel 1,3 milijarde parametrov in dosegel najboljše rezultate kodiranja Python med obstoječimi SLM-ji.
Razvijalci so se nato osredotočili na razumevanje jezika in razmišljanje ter ustvarili model Phi-1.5, ki je imel prav tako 1,3 milijarde parametrov in je pokazal zmogljivost, primerljivo z modeli s petkrat več parametri.
Phi-2 je model z 2,7 milijardami parametrov, ki prikazuje izjemne zmožnosti sklepanja in razumevanja jezika ter deluje na ravni najboljših osnovnih modelov s 13 milijardami parametrov. Phi-2 izstopa od drugih modelov zaradi svojih inovacij v skaliranju modela in usposabljanju za urejanje podatkov.
Na voljo je v katalogu modelov Azure AI Studio, ki omogoča raziskave in razvoj na področju jezikovnih modelov. Phi-2 je bil izstreljen decembra 2023. Razvijalci zagotavljajo, da deluje tako dobro kot Mistral ali llama 2 iz Mete. In Phi-3 deluje še bolje kot prejšnja različica.
Vendar je model Phi-3, ki je bil pravkar najavljen, popolnoma nov v kakovosti. Vsaj tako je mogoče soditi iz navedenih informacij Microsoft. Po navedbah podjetja je Phi-3 glede na kazalnike vseh znanih meril uspešnosti boljši od katerega koli drugega modela podobne velikosti, vključno z jezikovno analizo, programiranjem ali matematičnim delom.
Phi-3-mini, najmanjša različica tega modela, je pravkar na voljo vsem zainteresiranim. To pomeni, da je na voljo od 23. aprila. Phi-3-mini ima 3,8 milijarde parametrov in po meritvah Microsoft, dvakrat učinkovitejši od katerega koli drugega modela enake velikosti. Najdete ga v katalogu modelov AI storitve v oblaku Microsoft Azure, modelna platforma za strojno učenje Hugging Face, in Ollama, ogrodje za izvajanje modelov v lokalnem računalniku.
Kot trdi Microsoft, Phi-3-mini ne potrebuje močnih čipov Nvidia. Model lahko deluje na navadnih računalniških čipih. Ali pa se prilega tudi na telefon, ki ni povezan z internetom.
Manjša moč pomeni tudi, da modeli ne bodo tako natančni. Phi-3 ne bo primeren za zdravnike ali davčne računovodje, bo pa v pomoč pri preprostejših opravilih. Na primer za ciljanje oglaševanja ali povzemanje ocen na internetu.
Ker manjši modeli zahtevajo manj obdelave, bodo cenejši za zasebna podjetja. Se pravi v Microsoft več bo strank, ki bi želele vključiti AI v svoje delo, a se jim je zdelo predrago. Ni pa še jasno, koliko bodo stali.
Kdaj se bodo pojavili mali in srednji modeli, še ni znano. Toda slednji bo močnejši in dražji. Čeprav je že znano, da bo imel Phi-3-small 7 milijard parametrov, Phi-3-medium pa kar 14 milijard parametrov.
Preberite tudi:
- Grafenski mikročipi bodo naredili telefone hitrejše in enostavnejše
- O kvantnih računalnikih z enostavnimi besedami
Kako uporabljati Phi-3-mini?
GPT-4 Turbo zahteva zmogljive čipe AI, ki so še vedno zelo dragi. Mali govorni model Phi-3 lahko deluje brez povezave, brez oblaka, tudi s čipom na mobilnem telefonu.
Phi-3 ni produkt za končne uporabnike, temveč tehnologija, ki jo bodo razvijalci lahko uporabljali in implementirali v svoje aplikacije – tako v oblaku, torej oddaljene, kot tiste, ki delujejo lokalno in brez povezave. Pričakuje se, da bo brezhibno deloval z napravami in njihovimi komponentami, kot so mobilni telefoni, avtomobili in njihovi infotainment sistemi ali celo IoT senzorji. V nekaterih scenarijih je lahko ta tehnologija neprecenljiva.
Microsoft daje celo konkreten primer, da nam ni treba napenjati domišljije. Predstavljajte si kmeta, ki pregleduje svoje pridelke in vidi znake bolezni na listih, steblih in vejah. Ker je daleč od telekomunikacijskih stebrov, bo moral le vzeti telefon, slikati poškodbo, jo dati v aplikacijo, ki uporablja tehnologijo Phi-3 – in model bo hitro in brez povezave analiziral fotografijo in svetoval kako natančno se boriti proti tej bolezni.
Kot pojasnjuje Microsoft, je bil ključ do uspeha GPT črpanje ogromnih količin podatkov za usposabljanje. Pri tako velikih naborih podatkov visoka kakovost podatkov ne pride v poštev. Medtem je bil pri urjenju modela Phi uporabljen ravno nasproten pristop OpenAI. Namesto da bi model napolnili z informacijami, je bil poudarek na postopnem in temeljitem učenju.
Namesto uporabe neobdelanih internetnih podatkov raziskovalci Microsoft ustvaril nabor podatkov TinyStories, ki ustvarja milijone miniaturnih "otroških" zgodb. Te zgodbe so bile uporabljene za urjenje zelo majhnih jezikovnih modelov. Raziskovalci so nato šli še dlje in ustvarili nabor podatkov CodeTextbook, ki je uporabil skrbno izbrane, javno dostopne podatke, ki so bili filtrirani glede na izobraževalno vrednost in kakovost vsebine. Ti podatki so bili nato večkrat filtrirani in poslani nazaj v veliki jezikovni model (LLM) za nadaljnjo sintezo.
Vse to je omogočilo ustvarjanje niza podatkov, ki zadostuje za usposabljanje zmogljivejšega SLM. Poleg tega je bil pri razvoju modela Phi-3 uporabljen večnivojski pristop k obvladovanju in zmanjševanju tveganja, vključno z ocenjevanjem, testiranjem in ročnimi prilagoditvami. Posledično, kot trdi Microsoft, lahko razvijalci, ki uporabljajo družino modelov Phi-3, izkoristijo nabor orodij, ki je na voljo v Azure AI, za izdelavo bolj varnih in zanesljivih aplikacij.
Preberite tudi: Teleportacija z znanstvenega vidika in njena prihodnost
Microsoft Bo Phi nadomestil modele tipa ChatGPT?
Sploh ne. Majhni jezikovni modeli (SLM), tudi če so usposobljeni na visokokakovostnih podatkih, imajo svoje omejitve in niso zasnovani za poglobljeno učenje. Veliki jezikovni modeli (LLM) zaradi svoje velikosti in računalniške moči prekašajo SLM pri kompleksnem razmišljanju. Študije LLM so in bodo še naprej posebej uporabne na področjih, kot je odkrivanje zdravil, kjer je treba brskati po obsežnih zbirkah znanstvenih člankov in analizirati kompleksne vzorce. Po drugi strani pa se lahko SLM uporablja za enostavnejša opravila, kot je povzemanje glavnih točk dolgega besedilnega dokumenta, ustvarjanje vsebine ali napajanje klepetalnih botov za pomoč uporabnikom.
Microsoft, je dejala, interno že uporablja hibridne nabore modelov, kjer LLM prevzame vodilno vlogo in usmerja določene poizvedbe, ki zahtevajo manj računalniške moči, v SLM, medtem ko sam obravnava druge, bolj zapletene poizvedbe. Phi je pozicioniran za računalništvo na napravah, brez uporabe oblaka. Vendar pa bo še vedno obstajala vrzel med majhnimi jezikovnimi modeli in stopnjo inteligence, ki jo je mogoče doseči z velikimi modeli v oblaku. Ta vrzel, zahvaljujoč nenehnemu razvoju LLM, verjetno ne bo kmalu izginila.
Phi-3 morajo še preveriti zunanje neodvisne stranke. Microsoft včasih govori o 25-krat večji učinkovitosti oziroma energijski učinkovitosti v ekstremnih primerih v primerjavi s konkurenti, kar se sliši pravljično. Čeprav po drugi strani ne gre pozabiti, da so ta leta minila Microsoft malce odvadila dejstva, da je nedvomno vodilna v IT inovacijah, in morda zato temu ne verjamemo ravno. Programi na osnovi umetne inteligence, ki se takoj odzovejo in delujejo brez povezave, namesto da bi ustvarjali? To bi bil vreden vrhunec sedanje revolucije. Na žalost obstaja ena ključna težava.
Preberite tudi: Vse o čipu Neuralink Telepathy: kaj je in kako deluje
Phi-3 od Microsoft razume le angleško
Phi-3 ni množično požrl petabajtov, ki so mu bili vrženi. Skrbno in skrbno usposabljanje modela vključuje eno manjšo težavo. Phi-3 je bil usposobljen za informacije v angleščini in še nima pojma o katerem koli drugem jeziku. Ne samo ukrajinski, tudi nemški, španski, francoski ali kitajski. Seveda to močno zmanjša njegovo privlačnost za večino uporabnikov po vsem svetu.
Ampak v Microsoft zagotovil, da delo na njegovem razvoju in izboljšavah poteka. Čeprav se ne smete zavajati z dejstvom, da je ukrajinski trg prednostna naloga katere koli velike korporacije. Zato bomo morali na podporo ukrajinskega jezika čakati zelo dolgo. A to dejstvo nikoli ni ustavilo navdušencev in tistih, ki želijo biti v koraku z napredkom.
Preberite tudi: