Eye Tracking yra Marko Zuckerbergo VR strategijos trūkstama dalis

2014 m. Markas Zuckerbergas už porą milijardų dolerių nusipirko „Oculus VR“, turėdamas prielaidą, kad virtuali realybė taps asmeninių kompiuterių pagrindu.

2026 m. virtualioji realybė iš tikrųjų pradeda kasti savo šaknis į šiuos pagrindus su „OpenXR“ ir „Flatpaks“. Operacinės sistemos, pagrįstos VR ausinėmis, kurių pagrindinė funkcija yra akių stebėjimas, dabar gauna atnaujinimus iš „Google“, „Valve“ ir „Apple“.

Nauji sodai, aptverti sienomis, sparčiai kuriasi net tada, kai griūva seni. „Valve“ yra skirta žaidimams, „Google“ remiasi „Android“ APK, o „Apple“ kuria naują tiesioginio sporto ir TV patirtį, visa tai su VR kaip ekranu visam kraštovaizdžiui.

Anksčiau šią savaitę šimtai žmonių neteko darbo, nes „Meta“ paskelbė iki šiol dramatiškiausią savo strategijos kurso pataisymą. Nors VR ateitis niekada nebuvo šviesesnė, Meta poslinkis gali paskatinti kai kuriuos manyti, kad „Oculus VR“ čia buvo „legendinis nuotykis“, o virtualioji realybė vėl mirė.

Tai negali būti toliau nuo realybės. Jei jums rūpi ateitis, vakar turėjote skaityti UploadVR.

Žvelgdamas į pastaruosius 10 metų ir bandydamas susidaryti vaizdą, kaip čia atsidūrė Meta, pastebiu, kad vienos pagrindinės technologijos nėra beveik visuose jų ausinių ir akinių dizainuose, išskyrus nesėkmingą Quest Pro.

Štai kodėl akių stebėjimo nebuvimas riboja VR mastą, o Zuckerbergo siekis sukurti naują socialinį tinklą aptemdė „Oculus“ viziją.

Eye Tracking 2017 m

2017 m. dalyvavau poroje akių stebėjimo demonstracinėse versijose GDC, vienoje iš jų Valve stende. Iš šių demonstracinių versijų pradėjau suprasti, „koks įgalinantis akių stebėjimas bus VR programinės įrangos kūrėjams“.

„Papildoma informacija (akių stebėjimas) leis kūrėjams kurti žaidimus, kurie iš esmės skiriasi nuo dabartinės kartos,“ Parašiau. „Atrodė, tarsi man netikėtai įteikta supergalia ir aš natūraliai pradėjau ja naudotis – nes tai buvo smagu. Dizaineriai turi išsiaiškinti, kiek įgūdžių reikės norint pasiekti tam tikrą užduotį, kai žaidimas tiksliai žino, kas jus domina bet kuriuo momentu.

Visos VR platformos sukūrimas per dešimtmetį be tvirto plano, kaip numatytasis akių stebėjimas yra ilgalaikės vizijos ir trumpalaikio vykdymo tyrimas.

„Apple akių stebėjimas yra tikrai puikus“, – 2024 m. „Instagram“ tinkle pažymėjo Zuckerbergas, sakęs, kad išbandė „Apple“ ausines. „Mes iš tikrųjų turėjome tuos jutiklius atgal į Quest Pro. Išėmėme juos Quest 3 ir sugrąžinsime juos ateityje.”

Šį mažytį komentarą galite vertinti kaip vieną iš pirmųjų viešų pripažinimų, kai jis pradeda suprasti, kad jo dabartinėje strategijoje kažkas labai negerai.

Kai „Facebook“ nustojo pardavinėti „Oculus Go“, ji pripažino, kad bendrovė niekada nebegamins kitų 3DoF ausinių. Tas pats turėjo nutikti po to, kai 2022 m. buvo paleistas Quest Pro su akių sekimu. Nebuvo. Iki to laiko, kai Meta pristatys antrąsias VR ausines su akių sekimu, nuo pirmosios bus praėję maždaug penkeri metai. Tikriausiai kompanija nori, kad viso kūno kodeko avatarai būtų jų prizas už tai, kad jie įtraukė jus į savo metavisumos viziją dabar, kai „Apple“ pavogė jų pradinį griaustinį naudodami „FaceTime“ ir „Personas“, kurias palaiko geras akių stebėjimas.

Manau, kad dabar turime įrodymų, kad VR ausinės, kurios nemato to, ko norite, vadovaudamosi jūsų akimis, nėra rimtos platformos varžovės. „Valve“, „Google“ ir „Apple“ savo naujausiose ausinėse sutelkia dėmesį į technologiją dėl šiek tiek skirtingų priežasčių. Atsitraukę toli, pamatysite, kad „Steam Frame“ DK1 buvo „HTC Vive“ 2016 m., o „Valve Index“ – jo DK2 nuo 2019 m.

„Valve“ nusprendė, kad „SteamOS“ VR bus paruošta geriausiu laiku 2026 m., kai „Steam Frame“ išleis vartotojams, o „Apple“ nusprendė, kad 2024 m. yra laikas paleisti „Vision Pro“. Abu naudoja akių stebėjimą, kad atliktų pagrindinius naudotojų veiksmus.

Nuo Rifto iki Quest

Zuckerbergo organizacijai per pastarąjį dešimtmetį didėjančios investicijos sukurtų reikiamas technologijas visai kompiuterinei platformai, pradedant vos keliais milijardais, norint įsigyti „Oculus Rift“ kūrėjų komandą. Michaelas Abrashas paliko „Valve“ ir įkūrė modernų „Xerox PARC“ didesnėje Zuckerberg organizacijoje, patrauktas įsipareigojimo investuoti į brangius ilgalaikius tyrimus ir plėtrą.

„Meta“ šias technologijas kūrė gana viešai, parodydama, kaip vyksta darbai – tiek dalinantis moksliniais tyrimais, tiek parduodant produktus. Tokios tvirtos idėjos kaip „Oculus Medium“ šiuo ankstyvuoju laikotarpiu buvo išplėtotos ir tęsiamos tokiose vietose kaip „Adobe“.

Nuo 2020 m. „Facebook“ bandė priversti savo paskyras susieti su „Quest“ ausinių naudojimu, o 2021 m. pradžioje – reklamuoti virtualioje realybėje. VR vartotojai greitai atmetė abi pastangas.

„Facebook“ vadovai pradėjo „Meta“ prekės ženklo keitimo pastangas kartu su nauja paskyrų sistema, sukurta kaip naujos Zuckerberg skaičiavimo platformos, skirtos ausinėms ir akiniams, pradžia. 2021 m. pabaigoje „Facebook“ buvo „Meta“.

2 užduotis buvo gerai parduodama. Buvo gerai kuruojama parduotuvė, jų rankinis stebėjimas greitai artėjo prie naujausių technologijų lygio, o Jungtinėse Valstijose nebuvo jokios patikimos konkurencijos, siunčiančios atskiras VR ausines. Bet kokia su „Facebook“ susijusi smarvė buvo užmesta už Meta su drąsia nauja Zuckerbergo „Metaverse“ vizija.

Aukščiausios klasės Quest Pro su akių sekimu vis dar buvo išleistas 2022 m. pabaigoje.

Legendinis nelaimė?

„Siruošimas kurti metavisumą iš tikrųjų nėra pats geriausias būdas užbaigti metavisumą“, – 2021 m. įspėjo techninis vadovas Johnas Carmackas. „Metavisuma yra medaus puodo spąstai architektūros astronautams… Markas Zuckerbergas nusprendė, kad dabar pats metas kurti metavisumą… Man neramu, kad mes galime praleisti daug metų ir tūkstančiai žmonių, kurie iš tikrųjų prisidėjo prie visų įrenginių ir dalykų, kurie iš tikrųjų padėjo. aparatūra šiandien… turime sutelkti dėmesį į tikrus produktus, o ne į technologijas, architektūrą ar iniciatyvas.

2022 m. Carmackas paliko Metą, nes buvo „pavargęs nuo kovos“, o po ketverių metų pasitraukė tūkstančiai žmonių, vadovams pertvarkant įmonę VR ir AR technologijų pavidalu. Iki atleidimo iš darbo 2026 m. Metos vadovavimo ir dizaino nesėkmės nekvepėjo tokia nesėkme, apie kurią Carmackas specialiai įspėjo. Dabar jie tai daro.

Ar po to, kai atleido didžiąją dalį Meta pasamdytų žaidimų kūrėjų, o likusius paskyrė „Horizonto“ iniciatyvoms, matome, kad „Beat Saber“ ir „Population: One“ tapo paskutinėmis pastangomis išlaikyti „Horizon Worlds“ gyvas? Paskutinis Meta žingsnis gruodį, kai kai kurie iš pirmųjų Steam Frame rinkinių buvo pristatyti kartu su kūrėjais, buvo pašalinti Population: One iš Steam parduotuvės, pažymint, kad tai buvo žingsnis siekiant sustabdyti „nesąžiningą žaidimą“, kurį sukčiai naudoja kompiuterio atvirumą, kad sulaužytų kelių žaidėjų žaidimo patirtį.

Legendinis nelaimė čia buvo visos „Horizon Worlds“ pastangos, bandant žiauria jėga priversti socialinį tinklą naudoti netinkamą technologiją netinkamu laiku ir netinkamu būdu. 2026 m., be abejo, reiškia Metos pastangų atkūrimą, tačiau kyla klausimas, kiek tiksliai šioje laiko juostoje Meta turi eiti, kad išsiaiškintų, kas nutiko ir kokių struktūrinių pakeitimų reikia imtis, kad tai ištaisytų?

Žaidimų studijos, o ne akių stebėjimas

„Meta“ įsigijo „Beat Sabre“ 2019 m. lapkritį ir per ateinančius kelerius metus dvigubai sumažėjo pasamdydama dešimtis kūrėjų, įgudusių naudoti „Oculus Touch“ valdiklius. Kai kurie iš šių sprendimų buvo priimti prieš neįprastus elgesio modelius, atsiradusius dėl ištisą kartą plintančios pandemijos, dėl kurios žmonės buvo namuose šalia ausinių.

2016–2018 m. laikotarpiu „NextVR“ tiesiogiai transliavo NBA žaidimus į VR ausines, startuolis „Spaces“ pradėjo pasivaikščioti po „Terminator VR“ atrakcioną, o pirmasis tinkamas akių stebėjimas buvo pademonstruotas vartotojų VR aparatinėje įrangoje. „Apple“ išleido ausines, kurios sujungė visas tas technologijas, paminėtas nuo 2017 m., 2024 m. gaminyje.

„Meta“ kažkas priėmė sprendimus išsiųsti ausines be akių sekimo po to, kai išsiuntė vieną ausinę, kuri seka akis. Jie turi savo priežasčių, bet kokios jos bebūtų, gali būti priežastis, dėl kurios Meta prarado dalį VR, kuri buvo nupirkta kartu su Oculus 2014 m., lyderio. Kad ir kas būtų su Meta sprendimų priėmimo procesu, vadovybė bandė tai ištaisyti iki 2025 m. pabaigos pasamdydama pagrindinį vadovą iš Apple.

Dabar Meta susiduria su pasauliu, kuriame ji gali padidinti savo ne VR akinių gaminių gamybą. Tuo tarpu „Apple“, „Google“, „Samsung“ ir „Valve“ pristato arba planuoja pristatyti VR ausines su akių sekimu.

Nuo realaus iki virtualaus ir virtualaus iki realaus

Įsivaizduokite dviejų tipų akinius priešinguose šio konkretaus kontinuumo galuose iš pagrindinio 1994 m. Paulo Milgramo dokumento. Viena dešinėje yra gana sunkios VR ausinės, kurios iš esmės yra visas ekranas. Kitas kairėje yra pora itin lengvų rėmelių be ekrano. Šiandien Meta pristato Quest 3, 3S ir Ray-Ban akinius kiekvienoje iš šių kategorijų, ir jiems visiems trūksta akių sekimo.

„Apple“ šiandien pristato tik „Vision Pro“ su akių sekimo funkcija, o tai yra 3500 USD kainuojantis įrenginys, kurį išbandė nedaug žmonių. Ausinės atlieka nedidelį magijos triuką su šia diagrama. Jis įsišaknijęs dešiniajame diagramos krašte, tačiau pagal nutylėjimą programinė įranga paleidžia jus kairėje pusėje. Pasukite laisvų rankų įrangos ratuką ir pasaulis gali pasikeisti iš jūsų aplinkos, kuri yra visiškai „tikra“ į visiškai „virtualią“, visame kontinuume.

„Apple“ tikrai ruošiasi tam, kad apsaugotų kairę diagramos pusę. Į kokias funkcijas jie sutelks dėmesį ir kuo Apple ir Meta akiniai gali skirtis?

Kamerų nukreipimas neteisingomis kryptimis

Jei „Vision Pro“ yra erdvinis kompiuteris, noriu, kad „Apple“ atsakymas į „Meta Ray-Ban“ akinius veiktų labiau kaip erdvinė pelė. Nėra ekrano ir visos įvesties.

„Apple“ galėtų paimti „Vision Pro“ jutiklius, skirtus stebėti rankų ir akių judesius, ir įdėti šią technologiją į plonus rėmelius su „Bluetooth“ ir baterija. Ploni skaidrūs akiniai gali surinkti tą patį akių ir pirštų įvestį, kaip ir didelės uždaros VR ausinės. Žinoma, tai sudėtinga, bet naudingiau nei vienos akies ekrano sistemos įdiegimas. Skiriamoji funkcija būtų universalus nuotolinio valdymo pultas, skirtas viskam, kas yra taip neįtikėtinai pažangi, kad beveik visur gali jaustis kaip magija.

• Turėtumėte turėti galimybę valdyti iPad arba Apple TV, o gal ir kitus Apple įrenginius taip pat, kaip ir „Vision Pro” meniu. Tiesiog suimkite ir vilkite lauke. Pvz.: Plaudami indus rankomis ir žiūrėdami filmą „iPad“, žiūrite ir pristabdote filmą neliesdami planšetinio kompiuterio nešvariomis rankomis.
• Turėtumėte turėti galimybę braukti pirštu bet kokiu lygiu paviršiumi kaip virtualią bet kurio kompiuterio, kurį žiūrite, valdymo bloką.
• Turėtumėte turėti galimybę paliesti raštą ant bet kokio paviršiaus.

„Google“ man pasakė, kad spausdinimas liečiant bet kokį paviršių bus išspręsta per porą metų 2024 m. pabaigoje. Tokio tikslaus dizaino „Apple“ galėtų pakeisti pelę, valdymo bloką ir klaviatūrą akiniais, esančiais priešingame „Vision Pro“ spektro gale. Turiu galvoje pažodžiui, nes nenaudojamas ekranas reiškia, kad tikrąją aplinką matote tik per porą rėmelių, tačiau akiniai vis tiek stebi jūsų akių judesius taip pat, kaip ir „Vision Pro“.

„Apple Vision Pro“ akių stebėjimas naudojamas nukreipti į tai, ką žiūrite, kad „spustelėjus pelę“ suspaudus pirštus, visa sistema reaguotų būtent į tai, ko tą akimirką norite. Jis taip pat naudojamas įtraukiant „Persona“ avatarus ir net į išorę nukreiptą ekrano sistemą, rodančią atkurtus akių obuolius išoriniams žiūrovams. Tai daug technologijų, svorio ir sąnaudų, kurias „Apple“ pristatė „Vision Pro“, kad visiškai uždarytų asmenį sutelktoje virtualioje vietoje, vaizduojama kaip „Apple“ namų aplinka, o vėliau – bet kur kitur mišrios realybės spektre, naudojant ratuką ir programinę įrangą.

Nė vienas iš šių dalykų neatrodo kaip poreikis masinei rinkai, nebent 2017 m. patyrėte patirties, kuri akimirksniu privertė jus pasijusti kaip superherojus VR ausinėse. Kodėl VR ausinėms reikia akių sekimo? Dėl tos pačios priežasties kompiuteriui reikia pelės. Taip grafinėje vartotojo sąsajoje pranešate kompiuteriui, ko norite, net jei jums vis tiek reikia kažko kito, kad pasirinktumėte tai, ką žiūrite.