„Apple“ atvirojo kodo įrenginio AI modelis akimirksniu paverčia vaizdus scenomis, o „Vision Pro“ savininkai gali tai išbandyti programėlėje „Splat Studio“.
Nuo visionOS 26 „Apple“ nuotraukų programėlėje yra vieno spustelėjimo funkcija, kuri beveik akimirksniu paverčia bet kurį vaizdą „erdviniu scena“. Iš esmės tai tūrinė nuotrauka su ribota žiūrėjimo laisvės zona, kurią galite šiek tiek pasilenkti, kad „pasiektumėte“.
Tuo tarpu maždaug per pastaruosius metus atsirado daugybė atvirojo kodo ir patentuotų AI sistemų, kurios gali pasiekti daug daugiau, paversdamos nuotrauką scena, kurią galite laisvai tyrinėti ar net vaikščioti. Pavyzdžiui, „Marble“ leidžia tai padaryti ausinių žiniatinklio naršyklėje ir tyrinėti sceną „WebXR“.
Marmuras paverčia vaizdą WebXR tūrine scena per kelias minutes
Marble, AI modelis iš World Labs, gali paversti vieną vaizdą tūrine scena, kurią per kelias minutes galite peržiūrėti WebXR.
Marble yra skaičiavimais brangus serverio modelis, tačiau jo rezultatas užtrunka keletą minučių. Dėl to Apple SHARP ypač įdomus.
SHARP veikia įprastuose vartotojų įrenginiuose su bendru procesoriaus palaikymu, taip pat su Nvidia CUDA ir Apple Silicon Metal aparatinės įrangos spartinimo funkcija, kuri daugumoje aparatinės įrangos užtrunka mažiau nei sekundę.
Retas Apple žingsnis, SHARP yra nemokama ir atvirojo kodo, o kodas pasiekiamas GitHub. Galite lengvai atsisiųsti ir paleisti jį, pavyzdžiui, „Mac“.
Kaip ir beveik visos per pastaruosius kelerius metus padarytos nepaprastos 3D rekonstrukcijos pažangos, jis sukuria Gauso žymę, sutalpindamas milijonus pusiau skaidrių spalvotų dėmių (Gauso dėmių) 3D erdvėje, kad savavališki požiūrio taškai būtų realiai atvaizduojami realiuoju laiku. Gausite rezultatą kaip .ply failą, kurį galima pateikti bet kurioje standartinėje 3DGS peržiūros priemonėje.
„Apple Vision Pro“ savininkams Portugalijoje įsikūręs kūrėjas Robas Matwiejczyk sukūrė „visionOS“ programėlę, kuri integruoja „Apple“ SHARP modelį į lengvai naudojamą grafinę sąsają ir pašalina poreikį naudoti „Mac“ ar asmeninį kompiuterį.
„UploadVR“ išbando „Splat Studio“ – „visionOS“ programą, kurią maitina „Apple“ SHARP.
Programa, vadinama „Splat Studio“, yra nemokama „App Store“ ir veikia tik įrenginyje. Tiesiog pasirinkite bet kurį vaizdą iš nuotraukų bibliotekos ir jis akimirksniu pavirs prieš jus plaukiančia 3D scena, kurią galėsite pasukti, perkelti ir keisti mastelį rankomis.
Išbandžiau „Splat Studio“ „M5 Apple Vision Pro“, naudodamas tą patį „Steam Dev Days 2014“ VR kambarį, kurį naudojau bandydamas „Marble“. Palyginimui, „visionOS 26 Photos“ programėlėje tą patį vaizdą paverčiau erdvine scena. Aukščiau galite pamatyti „Splat Studio“ rezultato filmuotą medžiagą, o toliau – erdvinę sceną.
Programa „Splat Studio“ vaizdą pavertė scena per maždaug 20 sekundžių, palyginti su beveik akimirksniu „Apple Photos“ programos rezultatu, tačiau neaišku, kiek tai iš tikrųjų priklauso nuo SHARP modelio, palyginti su bet kokiomis papildomomis išlaidomis, kurias gali pridėti „Splat Studio“ programa.
Palyginimui „VisionOS 26“ „Apple Photos“ erdvinių scenų funkcija.
Kalbant apie rezultatą, nors Apple Photos Spatial Scene leidžia pažvelgti į sceną, judėjimo kiekviena kryptimi laipsnis yra gana ribotas. Tuo tarpu SHARP rezultatas „Splat Studio“ leidžia laisvai judėti scenoje. Kompromisas, kaip ir daugelio generatyvių AI rezultatų atveju, yra tam tikras detalių praradimas ir haliucinuotos detalės, kuo toliau nuo pradinės vaizdo perspektyvos.
