AI gali per kelias sekundes perkelti realaus pasaulio objektus į VR kaip 3D išteklius, o naujasis Meta SAM 3D objektų modelis nustato naują kokybės standartą.
Jau daugelį metų buvo įmanoma sukurti realaus pasaulio objekto 3D modelį, fiksuojant dešimtis jo vaizdų iš aplinkinių kampų, naudojant tradicinius fotogrametrijos metodus. Pavyzdžiui, „Epic“ „RealityScan“ apdorojimas debesyje užtrunka maždaug 15–45 minutes, o „Apple“ siūlo įrenginyje esančią Object Capture API, skirtą „iPhone Pro“ modeliams, kuri užtrunka apie 5 minutes.
Tačiau per pastaruosius metus atsirado pažangių AI modelių, kurie per kelias sekundes gali sukurti 3D iš vieno vaizdo. Ir nors jie nesiūlo tos pačios kokybės fotogrametrijos, kokybė nuolat gerėjo su kiekvienu nauju modeliu, atspindinčiu bendrą sparčią AI pažangą.
„EchoTheReality“ svetainėje „SideQuest“, kuri naudoja seną AI modelį nuo 2024 m.
Kaip pavyzdį, kaip tai taikoma VR, Takahiro „Poly“ Horikawa paskelbė „Quest“ programą „SideQuest“, kuri naudoja rankinį sekimą, leidžiančią įrėminti konkretų realaus pasaulio objektą ir nufotografuoti jį, panaudojant „Meta“ kameros API. Tada šis vaizdas pateikiamas „Stability AI“ „Stable Fast 3D“ API, paremtai „TripoSR“ modeliu, o rezultatas sukuriamas kaip virtualus objektas šalia vaizdo fiksavimo vietos.
Tačiau „TripoSR“ dabar yra beveik dveji metai. O prieš kelias dienas „Meta“ pristatė „SAM 3D Objects“ – naują moderniausią modelį, skirtą 3D turtui generuoti iš vieno vaizdo.
Meta SAM 3D objektai
Galite nemokamai išbandyti SAM 3D objektus savo žiniatinklio naršyklėje „Meta AI Demos“ puslapyje. Tiesiog pateikite vaizdą ir galėsite pasirinkti, kurį objektą norite konvertuoti į 3D modelį. Po kelių sekundžių pamatysite 3D vaizdą, kuriame galėsite slinkti aplink objektą pele arba pirštu.
„Meta“ svetainė nėra skirta mobiliųjų įrenginių ekranams, todėl tikriausiai norėsite naudoti asmeninį kompiuterį, nešiojamąjį kompiuterį, planšetinį kompiuterį ar VR ausines. Taip pat atkreipkite dėmesį, kad modelis skirtas tik negyviems objektams, o ne žmonėms ar gyvūnams.
Ši nemokama vieša demonstracinė versija neleidžia atsisiųsti 3D modelio. Tačiau SAM 3D objektai yra atvirojo kodo, pasiekiami GitHub ir Hugging Face. Tai reiškia, kad kūrėjai turėtų turėti galimybę jį priglobti debesų kompiuterijos platformoje, kurioje siūlomi GPU, ir naudoti ją, kad suteiktų „EchoTheReality“ demonstracinės versijos patirtį, bet su aukštesnės kokybės išvestimi – iš esmės perkeliant objektą iš realybės į VR.
Pavyzdžiui, socialinės VR platformos gali leisti per kelias sekundes parodyti ir papasakoti objektus jūsų kambaryje. Arba papuoškite savo namų erdvę daiktais, kuriuos sukūrėte realiame pasaulyje. „Meta“ nepaskelbė plano įtraukti jį į „Horizon Worlds“, tačiau tai atrodytų kaip natūralus ateities žingsnis, papildantis ką tik išleistus „Hyperscape“ pasaulius.
„Horizon Hyperscape“ dabar leidžia pakviesti draugus apsilankyti kaip meta avatarus
Dabar galite paversti naujas „Horizon Hyperscape“ nuotraukas į sąrašus neįtrauktus „Horizon Worlds“ ir pakviesti draugus prisijungti prie jų kaip meta avatarus.
