„Apple“ šią savaitę išleido „visionOS 26.4“, suteikdama VR patobulintą srautinį perdavimą ir esminį erdvinio garso patobulinimą mišrioje realybėje.
Foveated Streaming
Pagrindinė nauja funkcija, suaktyvintas srautinis perdavimas, buvo paskelbta praėjusį mėnesį, kai buvo išleista pirmoji „Vision Pro“ kūrėjams skirta „visionOS 26.4“ beta versija.
Prieš tęsdami skaitymą, atkreipkite dėmesį, kad foveated transliacija nėra tas pats, kas foveated perteikimasnors abu metodai gali būti naudojami kartu. Kaip rodo pavadinimai, vaizdų perteikimas apima pagrindinį įrenginį, kuris iš tikrųjų atvaizduoja kiekvieno kadro, kurį šiuo metu žiūrite, sritį su didesne raiška, o srautinis srautas reiškia tos srities siuntimą į ausines aukštesne vaizdo kokybe nei likęs kadras.
Tai terminas, kurį galbūt girdėjote „Valve“ „Steam Frame“ kontekste, kur tai yra pagrindinė visada įjungta kompiuterio VR srautinio perdavimo pasiūlymo funkcija, pagal numatytuosius nustatymus pateikiama per USB kompiuterio belaidį adapterį.
Atsižvelgiant į tai, kad ausinių vaizdo dekoderiai turi ribotą maksimalią skiriamąją gebą ir pralaidumą, srautinis srautas padeda teikti pirmenybę skyrai ir glaudinimo kokybei, kur šiuo metu ieškote.
Vožtuvai srautinio srauto vaizdavimas.
Skirtingai nuo „macOS Spatial Rendering“, pristatyto pagrindiniame „visionOS 26“ leidime praėjusiais metais, kuri yra gana aukšto lygio sistema, kuri palaiko tik vietinį „Mac“ kaip pagrindinį kompiuterį, „Foveated Streaming“ yra žemo lygio pagrindinio kompiuterio agnostinė sistema, kurią teoriškai galėtų įdiegti bet kuris kompiuterio VR serveris. Kūrėjams, norintiems paruošto diegimo, „Apple“ glaudžiai bendradarbiavo su „Nvidia“, kad pridėtų savo CloudXR SDK palaikymą. Ir nepaisant pavadinimo, „CloudXR“ gali būti naudojamas tiek vietiniams, tiek debesies kompiuteriams.
Paprastai vietinėms „visionOS“ programoms operacinė sistema kūrėjams neteikia jokios informacijos apie tai, kur vartotojas ieško – „Apple“ teigia, kad taip siekiama apsaugoti privatumą. Vietoj to kūrėjai gauna tik įvykius, pvz., į kurį elementą naudotojas žiūrėjo atlikdamas suspaudimo gestą. Tačiau labai svarbu, kad srautinis perdavimas veiktų, API kūrėjui nurodo „neapytikslę“ kadro sritį, į kurią žiūri vartotojas. Tai pirmas kartas, kai „visionOS“ kūrėjai gauna tokią informaciją.
Tai turėtų leisti pagrindiniam kompiuteriui pateikti didesne skiriamąja geba ir šiame regione, o ne tik perduoti ją didesne raiška. Kaip visada, tam reikės konkretaus VR žaidimo, kuris palaikytų paryškintą atvaizdavimą arba įrankius, kurie įveda paryškintą atvaizdavimą.
„X-Plane“ ir „iRacing“ gauna oficialų „Apple Vision Pro“ palaikymą per kompiuterio VR srautinį perdavimą
„X-Plane 12“ ir „iRacing“ bus oficialiai žaidžiami naudojant „Apple Vision Pro“, transliuojami iš jūsų kompiuterio per „Nvidia CloudXR“, o jūsų fiziniai priedai bus sujungti naudojant mišrios realybės perdavimą.
„Autodesk VRED“ gauna įtraukiantį režimą, kuris perduodamas į „Apple Vision Pro“.
„Autodesk VRED“ dabar turi įtraukiantį režimą, kuris perduodamas į „Apple Vision Pro“ per „Nvidia“ CloudXR, o „Kia“, BMW, „Volvo“ ir „Rivian“ jau naudoja jį.
„Clear XR“ perkelia „Apple Vision Pro“ srautinį srautą į „OpenXR PC VR“ žaidimus
„Clear XR“, pasiekiama „TestFlight“, leidžia „Nvidia RTX 40“ ir „50“ serijų savininkams naudoti „Apple Vision Pro“ patobulintą srautinio perdavimo funkciją „OpenXR PC VR“ žaidimams.
Per pastarąsias kelias savaites kelios įmonės paskelbė palaikančios „Vision Pro“ suaktyvintą srautinį perdavimą per „Nvidia“ CloudXR SDK:
- „X-Plane 12“ ir „iRacing“ išleidžia specialius „visionOS“ klientus, kurie automatiškai prisijungia prie jūsų kompiuterio SIM kortelės, automatiškai suderina jūsų kabiną su fiziniais išoriniais įrenginiais per kompiuterio matymą ir suskirsto tuos periferinius įrenginius su pralaidumu, kad galėtumėte juos matyti VR.
- „Autodesk VRED“ jau pridėjo įtraukiantį režimą, kuris pikseliais perduoda didelio tikslumo išteklius į „Vision Pro“, ir jį jau naudoja „Kia“, BMW, „Volvo“ ir „Rivian“.
- Vienišas kūrėjas išleido „Clear XR“ naudodami „TestFlight“, kuris leidžia srautiniu būdu transliuoti bet kurį „OpenXR VR“ žaidimą iš savo kompiuterio naudojant suaktyvintą srautą.
Vienas pastebimų apribojimų yra tas, kad „Nvidia“ „CloudXR SDK“ palaiko tik „Nvidia“ „Ada“ ir „Blackwell“ GPU architektūras, ty RTX 40 ir 50 serijų vaizdo plokštes.
Patobulintas erdvinis garsas mišrioje realybėje
Nuo pat pristatymo „Apple Vision Pro“ palaiko ne tik pagrindinį vietos erdvinį garsą, bet ir garsą, kuris nuskaito jūsų erdvės funkcijas ir medžiagas, kad tiksliai suderintų garsą su jūsų fizine aplinka. Apple tai vadina garso spindulių sekimu.
Naudodama visionOS 26.4, „Apple“ teigia, kad „Vision Pro“ dabar išsaugo ir įsimena patalpų, kuriose naudojate ausines, akustines savybes, todėl garso spindulių sekimo funkcija gali greičiau inicijuoti ir sukurti visapusiškesnį jūsų aplinkos modelį, jums nereikės iš pradžių judėti.
