Žmogoidiniai robotai vystėsi lėtai per du dešimtmečius, tačiau pastaruoju metu šioje srityje matome vis daugiau proveržių. Kaip neseniai rašėme, MWC 2024 parodoje buvo pristatytas AI robotas Amekair kita plėtra, Unitree H1, sumušė greičio rekordą tarp humanoidinių robotų. O dabar internete pasirodė įspūdingas „Figure AI“ ir „OpenAI“ kompanijų bendradarbiavimo rezultatas – stulbinantis vaizdo įrašas apie humanoidinį robotą, kuris dabar gali palaikyti pokalbius su žmonėmis.
„Startup Figure AI“ išleido vaizdo įrašą, kuriame parodytas „Fig. 01“ robotas, dirbantis su naujuoju vaizdo kalbos modeliu (VLM). Jame 01 paveikslas stovi prie stalo, ant kurio yra lėkštė, obuolys ir puodelis. Kairėje pusėje yra džiovintuvas. O į žmogaus klausimą, ką prieš save mato robotas, jis atsako smulkiai aprašydamas viską, kas guli ant stalo.
Ir tada vyras paklausia, ar gali ką nors suvalgyti, o robotas atsako: „Žinoma“, o tada vikriu sklandžiu judesiu paima obuolį ir paduoda vyrui. Po to ateina dar vienas stulbinantis demonstravimas – vyras pila suglamžytas šiukšles iš krepšio priešais 01 paveikslą ir prašo roboto paaiškinti, kodėl jis taip pasielgė, ir tuo pat metu surinkti šiukšles į krepšį. O savo „mintį“ paaiškina, popierių grąžindamas į šiukšliadėžę. „Taigi aš daviau tau obuolį, nes tai vienintelis valgomas daiktas, kurį galėčiau tau duoti nuo stalo“, – sakė robotas.
Įmonės atstovai paaiškino, kad 01 paveiksle naudojamas iš anksto parengtas multimodalinis modelis OpenAI, VLM, kad suprastų vaizdus ir tekstus, o atsakymams generuoti remiasi balso raginimais. Tai skiriasi nuo, tarkime, OpenAI GPT-4, kuriame pagrindinis dėmesys skiriamas rašytiniams raginimams.
Ji taip pat naudoja tai, ką bendrovė vadina „išmoktomis žemo lygio bimanualinėmis manipuliacijomis“. Sistema koordinuoja tikslų vaizdo kalibravimą (iki pikselių lygio) su savo neuroniniu tinklu judesio valdymui. „Šie tinklai gauna vaizdus 10 Hz dažniu ir generuoja 24 DOF veiksmus (riešo pozas ir pirštų sąnarių kampus) 200 Hz dažniu“, – sakoma paveikslo AI pranešime.
Bendrovė teigia, kad kiekvienas elgesys vaizdo įraše yra pagrįstas sistemos mokymusi, todėl niekas užkulisiuose netraukia 01 paveikslo virvelių. Žinoma, yra niuansas – nėra žinoma, kiek kartų robotas atliko šią procedūrą. Galbūt tai buvo šimtas kartas, o tai paaiškina jo tikslius judesius. Bet bet kuriuo atveju šis pasiekimas atrodo įspūdingai ir šiek tiek fantastiškai.
01 paveikslas dabar atlieka realaus pasaulio užduotis
Viskas yra autonomiška:
- Autonominė navigacija ir jėga pagrįstas manipuliavimas
- Išmoktas regėjimo modelis šiukšlių aptikimui ir prioritetų nustatymui
- Reaktyviosios šiukšliadėžės manipuliavimas (tvirtas, kad būtų galima keisti pozą)
- Galima apibendrinti kitoms rinkimo / vietos užduotims pav.twitter.com/0wFmYnq0GC— Figūra (@Figure_robot) Vasaris 26, 2024
Taip pat skaitykite: