„Niantic“ erdvinis SDK atneša lauko VP ir tolimojo atstumą „Live“ į „Quest 3“

„Niantic Spatial SDK V3.15“ dabar palaiko „Quest 3“ ir „Quest 3S“.

SDK suteikia kūrėjams pažangias mišrias realybės galimybes: centimetro tikslus lauko VP, tolimojo krašto scena ir semantinis segmentas.

Visa tai įmanoma, nes nuo šių metų pradžios „Meta“ dabar leidžia trečiųjų šalių „Horizon Horizon OS“ programas patekti į „Quest 3“ ir „Quest 3S“ „Passthrough“ kameras, o „Niantic“ tai panaudoja, kad paleistų kompiuterinio matymo modelius, kuriuos jis kuria maždaug dešimtmetį.

Išleidimas įvyks praėjus penkiems mėnesiams po „Niantic“, kuris geriausiai žinomas kaip „Pokemon Go“ kūrėjas, iš esmės padalytas į du. „Niantic Games“ verslas, įskaitant „Pokemon Go“, buvo parduotas Saudo Arabijos skardinei, o erdvinės technologijos verslo pusė buvo išstūmusi naujai įmonei, vadinamai „Niantic Spatial“.

Čia yra mišrios realybės galimybių suskirstymas „Niantic“ erdvinis SDK dabar suteikia „Quest“ kūrėjus:

Centimetro tikslus VP

Visi žino, kas yra pasaulinė padėties nustatymo sistema (GPS). Tai yra pagrindinė šiuolaikinio gyvenimo dalis, tai yra tai, kaip mes naršome po pasaulį, o jo įtraukimas į išmaniuosius telefonus netgi sukūrė naują programinės įrangos kategoriją-pernešimą pagal pareikalavimą ir pristatymą. Tačiau GPS paprastai yra tikslus iki maždaug 1 metro idealiomis sąlygomis. Ir miesto aplinkoje, kur pastatai kliudo signalams, tai gali nukristi iki dešimčių metrų, nes jūs beviltiškai stebite tą mažą mėlyną tašką jūsų ekrane, atšokę aplink kaimynystę.

Kita vertus, vaizdinės padėties nustatymo sistema (VPS) yra programinės įrangos sistema, kuri naudoja kompiuterio matymą, kad nustatytų jūsų poziciją, nustatydama unikalius vaizdinius modelius realiojo laiko kameros vaizde ir palygindama juos su esamu aukšto ištikimybės 3D pasaulio žemėlapiu.

Iš esmės VP veikia tik tose vietose, kur buvo pakankamai nuolatinė tanki fizinė geometrija. Tačiau šiose vietose tai gali lokalizuoti jūsų tikslią tikslumą.

„Google Maps“ šešerius metus turėjo VPS funkciją, skirtą navigacijai kojoje, panaudojant „Google“ „Street View“ duomenis, o „Google“ suteikia šią galimybę išmaniųjų telefonų programų kūrėjams naudotis „Arcore“ dalimi.

Tačiau VPS yra neabejotinai daug įdomesnis, kai naudojamas mišrioms realybės ausinėms ir AR akiniams. Ir nors „Niantic“ VP taip pat veikia išmaniuosiuose telefonuose, tačiau tai daro unikalią tai, kad dabar jis palaiko „Meta“ „Quest 3“ ir „Quest 3S“, taip pat „Magic Leap 2“.

„Niantic“ VPS žemėlapis apima daugiau nei 1 milijoną vietų, sukurtas naudojant žaidimų, tokių kaip „Pokemon Go“ ir „Scaniverse“, žaidėjų nuskaitymus. Be to, „Niantic“ tvirtina, kad jos VPS siūlo „pramonės tikslumą“, ir jis suteikia 3D akių nuskaitytose viešose vietose.

Pirmieji 10 000 VPS API skambučiai kiekvieną mėnesį yra nemokami, o likusi dalis – maždaug 0,01 USD už skambutį.

Gyva scenos meškiukas

„Quest 3“ ir „Quest 3S“ leidžia nuskaityti savo kambarį, kad sukurtumėte 3D scenos tinklą, kurį gali naudoti mišrios realybės programos, kad virtualūs objektai galėtų sąveikauti su fizine geometrija arba nuspausti jūsų aplinką. Tačiau yra dvi pagrindinės dabartinės „Meta“ sistemos problemos.

Pirmoji problema yra ta, kad reikia pirmiausia atlikti nuskaitymą. Tai užtrunka nuo maždaug 20 sekundžių iki kelių minučių, kai atrodai ar net vaikščioti, atsižvelgiant į jūsų namų dydį ir formą, pridedant reikšmingą trintį, palyginti su tiesiog paleidžiama tiesiai į programą.

Kita problema yra ta, kad šie scenos akių nuskaitymai atspindi tik akimirką, kai atlikote nuskaitymą. Jei baldai perkelti arba nuo to laiko buvo pridėtos ar pašalintos daiktai, šie pakeitimai neatspindės mišrioje realybėje, nebent vartotojas rankiniu būdu atnaujins nuskaitymą. Pvz., Jei nuskaitymo metu kažkas stovėjo kambaryje su jumis, jų kūno forma iškepta į scenos tinklelį.

Kūrėjas išsprendė didžiausią „Quest 3“ mišrios realybės problemą

„Lasertag“ kūrėjas įgyvendino nuolatinę scenos „Meshing On Quest 3“ ir „3s“, pašalindamas kambario sąrankos proceso poreikį ir išvengti jo problemų.

Gegužės mėn. Pabrėžėme, kaip „Lasertag“ kūrėjas Julianas Triveri įgyvendino nuolatinę sceną „Quest 3“ ir „3S“, naudodamas „Meta“ gylio API. Kaip jau minėjome tame straipsnyje, Triveri padarė savo technikos šaltinio kodą „GitHub“, kad kiti kūrėjai galėtų naudotis, ir persekioja planus „Triveri“ pateikti savo pasiūlymą.

Tačiau gylio API veikia tik iki maždaug 4 metrų. Kita vertus, „Niantic“ erdvinis SDK „Live Meshing“ apima didelio atstumu.

Tam naudojami paties „Niantic“ kompiuterinės vizijos algoritmai, vaizdas iš „Passthrough“ kamerų, kad būtų sukurta tinklelis.

„Niantic“ požiūris iki šiol yra labiau tinkamas naudoti lauke ir gerai veikia kartu su VPS.

Semantinis segmentavimas ir objekto aptikimas

Niantiškas erdvinis SDK taip pat gali atpažinti ir žymėti objektus ir paviršius realiu laiku.

Objekto atpažinimas yra panašus į „Quest Passthrough“ kameros prieigos kūrėjo pavyzdžius, o segmentacija atrodo labiau pažengusi.

Kainos ir kas toliau?

„Niantic“ VPS funkcija yra kaina už API skambutį, o „Niantic“ erdvinio SDK kompiuterinio matymo įrenginių galimybės yra neribotos, tačiau reikalauja sumokėti apie 0,10 USD per mėnesį per mėnesį aktyvų vartotoją (MAU).

„Niantic Spatial SDK“ gyvas žaidėjas yra kažkas, ko mes tikimės pamatyti daugybę „Quest 3“ mišrių realybės programų, o jos VPS funkcija daro „Quest 3“ 3 tinkamesnę visuomenės lauke, nors aparatinė įranga nėra skirta tam.

„Niantic“ sako, kad tai „toliau plečiasi papildomais viršutinių įrenginių palaikymu, pagerina našumą ir pristato naujas funkcijas, tokias kaip patobulintas okliuzija ir nuolatinis scenos supratimas“, pažymėdamas, kad kūrėjų atsiliepimai suformuos tai, kas bus toliau.