Phi dirbtinio intelekto modelis Microsoft – mažas, pigus ir nepatiria „haliucinacijų“. Taip jie sako apie naują kalbos modelį, kuriam prognozuojama puiki ateitis.
GPT yra tikrai puikus, bet tuo pačiu ir siaubingai brangus, ir negali būti tobulas visiems. Dėl šių ir daugelio kitų priežasčių Microsoft eksperimentuoja su daug mažesniais AI modeliais. Teigiama, kad „Phi-3-mini“ netgi daro gėdą OpenAI inžinierių darbui.
Taip pat įdomu: Ateities tranzistoriai: mūsų laukia nauja lustų era
ChatGPT nėra panacėja
ChatGPT yra finansuojamas, kuruojamas ir tobulinamas išradimas Microsoft. Tiesą sakant, tai nepriklauso Microsoft, ir bendrovė OpenAI, kuri Microsoft nepriklauso (ji yra pagrindinis, nors ir ne didžiausias investuotojas). GPT kalbos modelis davė Microsoft milžiniškas pranašumas prieš likusias didžiąsias technologijų korporacijas, kurios dabar skuba pasivyti. Tačiau su GPT yra daugybė problemų, kurių daugelio dar nepavyksta išspręsti.
Visų pirma, tai labai daug išteklių reikalaujantis kalbos modelis. Orientuotas į internetą Microsoft „OpenAI Copilot“ arba „ChatGPT“ sukuria labai dideles veiklos išlaidas Microsoft. Tai ne tik GPT, bet ir visų pagrindinių kalbų modelių savybė. Be to, GPT, kaip ir jos konkurentai, yra linkusi į „haliucinacijas“, tai yra, gali generuoti atsakymus į užklausas, kuriose yra melagingos ar klaidinančios informacijos. Kuo daugiau duomenų toks modelis sugeria, tuo daugiau jis linkęs generuoti panašų turinį. Todėl haliucinacijos ir melagingi teiginiai nėra iš skaitmeninio piršto išsiurbtas mitas. Vartotojai dažnai pastebi, kad dideli kalbiniai modeliai dažnai daro klaidas, pateikia netikslius duomenis ir remiasi neegzistuojančiais faktais.
Abi problemos yra labai rimtos, todėl OpenAI, Microsoft, Meta, Google ir kiti kuria ne tik Large Language Model technologiją, bet ir Small Language Model, kuri praktiškai gali duoti daug geresnių rezultatų.
Skaitmeniniam buhalterio padėjėjui nereikia daug išmanyti apie kvantinę fiziką. Jis gali būti daug mažesnis ir ne toks sudėtingas (taigi ir pigesnis), o mokantis tik pagal paskirtį būtinus duomenis, teoriškai turėtų mažiau haliucinuoti. Nors tai lengviau pasakyti nei padaryti. „GenAI“ technologija vis dar yra laukinė IT įmonė. Ir nors darbai vyksta neregėtu tempu, esminiais klausimais praktiškai pasiekti proveržį vis dar sunku. Tačiau įmonė Microsoft neseniai paskelbė apie tokį proveržį. Kalbame apie mažą kalbos modelį Microsoft Phi.
Taip pat įdomu: Kaip Taivanas, Kinija ir JAV kovoja dėl technologinio dominavimo: didysis lustų karas
Apie ką žinoma Microsoft phi
Visų pirma, reikia pažymėti, kad eksperimentas buvo atliktas nedalyvaujant OpenAI kompanijai. Tai yra, tai yra inžinierių tobulėjimas Microsoft.
Modeliai Microsoft Phi yra mažų kalbų modelių (SLM) serija, kuri pasiekia išskirtinių rezultatų atliekant įvairius testus. Pirmasis modelis Phi-1 turėjo 1,3 milijardo parametrų ir pasiekė geriausius Python kodavimo rezultatus tarp esamų SLM.
Tada kūrėjai sutelkė dėmesį į kalbos supratimą ir mąstymą, sukurdami Phi-1.5 modelį, kuris taip pat turėjo 1,3 milijardo parametrų ir parodė našumą, palyginamą su modeliais su penkis kartus didesniais parametrais.
Phi-2 yra 2,7 milijardo parametrų modelis, demonstruojantis išskirtines samprotavimo ir kalbos supratimo galimybes, veikiantis geriausių bazinių modelių su 13 milijardų parametrų lygiu. Phi-2 išsiskiria iš kitų modelių dėl modelio mastelio keitimo ir duomenų kuravimo mokymo naujovių.
Jį galima rasti Azure AI Studio modelių kataloge, kuris palengvina tyrimus ir plėtrą kalbų modelių srityje. Phi-2 buvo paleistas 2023 m. gruodžio mėn. Kūrėjai tikina, kad jis veikia taip pat gerai kaip „Mistral“ ar „Lama 2“ iš „Meta“. Ir Phi-3 veikia dar geriau nei ankstesnė versija.
Tačiau ką tik paskelbtas Phi-3 modelis savo kokybe yra visiškai naujas. Bent jau taip galima spręsti iš pateiktos informacijos Microsoft. Bendrovės teigimu, pagal visų žinomų etalonų rodiklius „Phi-3“ veikia geriau nei bet kuris kitas panašaus dydžio modelis, įskaitant kalbos analizę, programavimo darbus ar matematinius darbus.
„Phi-3-mini“, mažiausia šio modelio versija, ką tik tapo prieinama visoms suinteresuotoms šalims. Tai yra, ji buvo prieinama nuo balandžio 23 d. Phi-3-mini turi 3,8 milijardo parametrų ir, remiantis matavimais Microsoft, dvigubai efektyvesnis nei bet kuris kitas tokio pat dydžio modelis. Jį galima rasti debesies paslaugos AI modelių kataloge Microsoft Azure, Hugging Face mašininio mokymosi modelio platforma ir Ollama, modelių paleidimo vietiniame kompiuteryje sistema.
Kaip jis teigia Microsoft, Phi-3-mini nereikalauja galingų lustų Nvidia. Modelis gali veikti su įprastomis kompiuterio lustais. Arba tinka net prie interneto neprijungtame telefone.
Mažiau galios taip pat reiškia, kad modeliai nebus tokie tikslūs. Phi-3 netiks gydytojams ar mokesčių buhalteriams, bet padės atliekant paprastesnius darbus. Pavyzdžiui, nukreipti reklamą arba apibendrinti atsiliepimus internete.
Kadangi mažesni modeliai reikalauja mažiau apdorojimo, privačioms įmonėms juos naudoti bus pigiau. Tai yra, į Microsoft atsiras daugiau klientų, kurie norėtų įtraukti dirbtinį intelektą į savo darbą, tačiau manė, kad tai per brangu. Tačiau kol kas neaišku, kiek jie kainuos.
Kada pasirodys maži ir vidutiniai modeliai, kol kas nežinoma. Tačiau pastarasis bus galingesnis ir brangesnis. Nors jau žinoma, kad Phi-3-small turės 7 milijardus, o Phi-3-medium – net 14 milijardų parametrų.
Taip pat skaitykite:
- Grafeninės mikroschemos padarys telefonus greitesnius ir lengvesnius
- Apie kvantinius kompiuterius paprastais žodžiais
Kaip naudoti Phi-3-mini?
GPT-4 Turbo reikia galingų AI lustų, kurie vis dar yra labai brangūs. „Phi-3“ mažas kalbos modelis gali veikti neprisijungus, be debesies, net ir su lustu mobiliajame telefone.
„Phi-3“ yra ne galutiniams vartotojams skirtas produktas, o technologija, kurią kūrėjai galės naudoti ir įdiegti savo programose – tiek debesies pagrindu, tai yra nuotoliniu būdu, tiek tose, kurios veikia vietoje ir neprisijungus. Tikimasi, kad jis sklandžiai veiks su įrenginiais ir jų komponentais, tokiais kaip mobilieji telefonai, automobiliai ir jų informacinės pramoginės sistemos ar net daiktų interneto jutikliai. Kai kuriais atvejais ši technologija gali būti neįkainojama.
Microsoft net pateikia konkretų pavyzdį, kad nereikėtų įtempti savo vaizduotės. Įsivaizduokite, kad ūkininkas apžiūri savo pasėlius ir mato ligos požymius ant lapų, stiebų ir šakų. Būdamas toli nuo telekomunikacijų stiebų, jam tereikės ištraukti telefoną, nufotografuoti pažeidimą, įdėti jį į programą, kurioje naudojama Phi-3 technologija – ir modelis greitai ir neprisijungęs analizuos nuotrauką bei patars. kaip tiksliai kovoti su šia liga.
Kaip jis aiškina Microsoft, raktas į GPT sėkmę buvo panaudoti didžiulius duomenų kiekius mokymui. Turint tokius didelius duomenų rinkinius, aukšta duomenų kokybė nekyla. Tuo tarpu treniruojant Phi modelį buvo naudojamas visiškai priešingas OpenAI metodas. Užuot prikimšę modelį informacija, dėmesys buvo sutelktas į laipsnišką ir išsamų mokymąsi.
Užuot naudoję neapdorotus interneto duomenis, mokslininkai Microsoft sukūrė „TinyStories“ duomenų rinkinį, sugeneruodamas milijonus miniatiūrinių „kūdikių“ istorijų. Šios istorijos buvo naudojamos ugdant labai mažus kalbos modelius. Tada mokslininkai nuėjo toliau, kurdami „CodeTextbook“ duomenų rinkinį, kuriame buvo naudojami kruopščiai atrinkti, viešai prieinami duomenys, kurie buvo filtruojami pagal švietimo vertę ir turinio kokybę. Tada šie duomenys buvo keletą kartų filtruojami ir grąžinami į didelės kalbos modelį (LLM) tolesnei sintezei.
Visa tai leido sukurti duomenų masyvą, pakankamą apmokyti pajėgesnį SLM. Be to, kuriant Phi-3 modelį, įskaitant vertinimą, testavimą ir rankinį koregavimą, buvo naudojamas kelių lygių rizikos valdymo ir mažinimo metodas. Dėl to, kaip jis teigia Microsoft, kūrėjai, naudojantys „Phi-3“ modelių šeimą, gali pasinaudoti Azure AI įrankių rinkiniu, kad sukurtų saugesnes ir patikimesnes programas.
Taip pat skaitykite: Teleportacija moksliniu požiūriu ir jos ateitis
Microsoft Ar Phi pakeis ChatGPT tipo modelius?
Visai ne. Maži kalbų modeliai (SLM), net ir mokomi naudojant aukštos kokybės duomenis, turi savo apribojimų ir nėra skirti giliam mokymuisi. Dėl savo dydžio ir skaičiavimo galios didelių kalbų modeliai (LLM) pranoksta SLM sudėtingų samprotavimų atžvilgiu. LLM yra ir toliau bus ypač naudingi tokiose srityse kaip vaistų atradimas, kur reikia ieškoti didelių mokslinių straipsnių rinkinių ir analizuoti sudėtingus modelius. Kita vertus, SLM galima naudoti atliekant paprastesnes užduotis, pavyzdžiui, apibendrinant pagrindinius ilgo tekstinio dokumento punktus, kuriant turinį ar įjungiant klientų aptarnavimo pokalbių robotus.
Microsoft, sakė ji, jau naudoja hibridinius modelių rinkinius viduje, kur LLM pirmauja, nukreipdama tam tikras užklausas, kurioms reikia mažiau skaičiavimo galios, SLM, o kitas, sudėtingesnes užklausas tvarko pats. „Phi“ skirta kompiuteriams įrenginiuose, nenaudojant debesies. Tačiau vis tiek bus atotrūkis tarp mažų kalbų modelių ir intelekto lygio, kurį galima pasiekti naudojant didelius debesies modelius. Šis atotrūkis dėl nuolatinio LLM plėtros greičiausiai neišnyks.
„Phi-3“ dar turi patikrinti išorės nepriklausomos šalys. Microsoft kartais kalba apie 25 kartus didesnį efektyvumą arba energijos vartojimo efektyvumą kraštutiniais atvejais, palyginti su konkurentais, o tai skamba gana pasakiškai. Nors, kita vertus, negalima pamiršti, kad šie metai praėjo Microsoft šiek tiek atpratino mus nuo to, kad yra aiškus IT inovacijų lyderis, o gal dėl to nelabai tikime. AI pagrįstos programos, kurios reaguoja akimirksniu ir veikia neprisijungus, o ne generuoja? Tai būtų verta dabartinės revoliucijos kulminacija. Deja, yra viena esminė problema.
Taip pat skaitykite: Viskas apie Neuralink Telepathy lustą: kas tai yra ir kaip jis veikia
Phi-3 nuo Microsoft supranta tik angliskai
„Phi-3“ nesuvalgė masiškai į jį išmestų petabaitų. Kruopštus ir kruopštus modelio mokymas yra susijęs su viena nedidelė problema. Phi-3 buvo apmokytas su informacija anglų kalba ir dar neįsivaizduoja jokios kitos kalbos. Ne tik ukrainiečių, bet ir vokiečių, ispanų, prancūzų ar kinų. Žinoma, tai labai sumažina jos patrauklumą daugumai vartotojų visame pasaulyje.
Bet į Microsoft patikino, kad vyksta jo kūrimo ir tobulinimo darbai. Nors nereikėtų savęs apgaudinėti tuo, kad Ukrainos rinka yra prioritetas bet kuriai iš didžiųjų korporacijų. Todėl ukrainiečių kalbos palaikymo teks laukti labai ilgai. Tačiau šis faktas niekada nesustabdė entuziastų ir tų, kurie nori neatsilikti nuo pažangos.
Taip pat skaitykite: