Penktadienį mokslininkai iš NVIDIA paskelbė Magic3D – dirbtinio intelekto modelį, galintį generuoti 3D modelius iš tekstinių aprašymų. Įvedus užuominą, pvz., „Mėlyna nuodinga smiginio varlė, sėdinti ant vandens lelijos“, „Magic3D“ per maždaug 40 minučių sukuria XNUMXD tinklelio modelį su spalvota tekstūra. Atlikus modifikacijas, gautas modelis gali būti naudojamas vaizdo žaidimuose ar meno scenose CGI formatu.
Savo moksliniame straipsnyje NVIDIA mano, kad „Magic3D“ yra atsakas į „DreamFusion“ – teksto į 3D modelį, apie kurį „Google“ mokslininkai paskelbė rugsėjį. Kaip „DreamFusion“ naudoja teksto į vaizdą modelį, kad sukurtų 2D vaizdą, kuris vėliau optimizuojamas į tūrinius NeRF (neuroninio spinduliavimo lauko) duomenis, „Magic3D“ naudoja dviejų etapų procesą, kuris paima apytikslį modelį, sukurtą esant žemai skyrai, ir optimizuoja jį didesnę raišką. Straipsnio autorių teigimu, gautas Magic3D metodas gali generuoti trimačius objektus dvigubai greičiau nei DreamFusion.
„Magic3D“ taip pat gali atlikti 3D tinklelio redagavimą skrydžio metu. Naudodami mažos skyros 3D modelį ir pagrindinį patarimą galite pakeisti tekstą, kad pakeistumėte gautą modelį. „Magic3D“ taip pat demonstruoja to paties siužeto išsaugojimą per kelias kartas (ši sąvoka dažnai vadinama darna) ir 2D vaizdo stiliaus (pvz., kubizmo paveikslo) pritaikymą 3D modeliui.
NVIDIA savo tiriamuoju darbu neišleido jokio Magic3D kodo.
Galimybė generuoti 3D iš teksto atrodo natūrali raida šiuolaikiniuose difuzijos modeliuose, kurie naudoja neuroninius tinklus naujam turiniui sintezuoti po intensyvaus duomenų masyvo mokymo. Tik 2022 m. pamatėme galingų teksto į vaizdą modelių, tokių kaip DALL-E ir Stable Diffusion, atsiradimą, taip pat pradinius teksto į vaizdo įrašus generatorius iš Google ir Meta.
Kalbant apie Magic3D, tyrėjai tikisi, kad jis leis bet kam sukurti 3D modelius be specialaus mokymo. Patobulinta gauta technologija gali paspartinti vaizdo žaidimų (ir virtualios realybės) kūrimą ir galiausiai gali būti panaudota specialiuosiuose kino ir televizijos efektuose. Straipsnio pabaigoje jie rašo: „Tikimės, kad su Magic3D galime demokratizuoti 3D sintezę ir atskleisti kiekvieno kūrybinį potencialą kuriant 3D turinį“.
Jūs galite padėti Ukrainai kovoti su Rusijos įsibrovėliais. Geriausias būdas tai padaryti – aukoti lėšas Ukrainos ginkluotosioms pajėgoms per Išgelbėk gyvybę arba per oficialų puslapį NBU.
Taip pat skaitykite:
- Švedijoje jie išmoko spausdinti mikroelektroniką 3D spausdintuvais
- Dulkės gali būti naudojamos 3D spausdinimui Marse