Tokijo universiteto komanda pristatė Alter3 – humanoidinį robotą, kuris gali atlikti judesius naudodamas GPT-4 Large Language Model (LLM). Alter3 naudoja naujausią įrankį Atidarykite AI dinamiškai priimti įvairias pozas, nuo asmenukės pozos iki vaiduokliškumo, ir visa tai nereikia iš anksto užprogramuotų duomenų bazės įrašų.
„Alter3 atsakas į pokalbio turinį naudojant veido išraiškas ir gestus yra reikšmingas humanoidinės robotikos pažanga, kuri lengvai pritaikoma kitiems androidams su minimaliais pakeitimais“, – teigė mokslininkai.
LLM integracijos su robotais srityje pagrindinis dėmesys skiriamas pagrindinės komunikacijos gerinimui ir realistiškų atsakymų modeliavimui. Tyrėjai taip pat gilinasi į LLM galimybes, leidžiančias robotams suprasti ir vykdyti sudėtingas instrukcijas, taip padidinant jų funkcionalumą.
Tradiciškai žemo lygio valdymas darbai yra susietas su technine įranga ir nepriklauso LLM korporacijų kompetencijai. Tai sukuria sunkumų tiesiogiai valdant LLM pagrįstus darbus. Spręsdama šią problemą, japonų komanda sukūrė metodą, kaip žmogaus judesių išraiškas paversti į „Android“ suprantamą kodą. Tai reiškia, kad robotas gali savarankiškai generuoti veiksmų sekas laikui bėgant, kūrėjams nereikalaujant individualiai programuoti kiekvienos kūno dalies.
Bendraudamas asmuo gali duoti Alter3 komandas, pvz., „Padarykite asmenukę su savo iPhone“. Vėliau robotas inicijuoja eilę užklausų GPT-4, kad gautų reikiamų veiksmų nurodymus. GPT-4 išvers tai į Python kodą, kuris leidžia darbui „suprasti“ ir atlikti reikiamus judesius. Ši naujovė leidžia Alter3 judinti viršutinę kūno dalį, o apatinė kūno dalis nejuda, pritvirtinta prie stovo.
„Alter3“ yra trečioji „Alter“ humanoidinių robotų serijos iteracija nuo 2016 m., turinti 43 vykdymo elementus, atsakingus už veido išraiškas ir galūnių judesius, maitinamus suspausto oro. Ši konfigūracija suteikia platų išraiškingų gestų spektrą. Robotas negali vaikščioti, bet gali imituoti tipiškus ėjimo ir bėgimo judesius.
„Alter3“ taip pat pademonstravo galimybę kopijuoti žmogaus pozas naudojant fotoaparatą ir „OpenPose“ sistemą. Robotas pritaiko savo sąnarius prie stebimų pozų ir išsaugo sėkmingas imitacijas vėlesniam naudojimui. Sąveika su žmogumi lėmė įvairesnes laikysenas, palaikant idėją, kad skirtingi judesiai atsiranda imituojant žmogų, panašiai kaip naujagimiai mokosi mėgdžiodami.
Prieš LLM tyrėjai turėjo atidžiai kontroliuoti visas 43 pavaras, kad atkurtų žmogaus pozą arba imituotų elgesį, pavyzdžiui, patiekiant arbatą ar žaidžiant šachmatais. Tam reikėjo atlikti daugybę rankinių koregavimų, tačiau AI padėjo išvaduoti komandą iš šios rutinos. „Tikimės, kad Alter3 efektyviai įsitrauks į dialogą rodydama kontekstui svarbias veido išraiškas ir gestus. Tai parodė gebėjimą atspindėti emocijas, pavyzdžiui, parodyti liūdesį ar laimę, taip dalindamasi emocijomis su mumis“, - sako mokslininkai.
Taip pat skaitykite: