„PieEEG XR“ yra būsimas „Quest 3“ priedas, kuriuo siekiama, kad jūsų VR pseudoportretas būtų išraiškingas, nepridedant kamerų.
Įrenginys pakeičia standartinę Quest 3 veido sąsają su jutikliu aprūpintu rėmeliu, kuris fiksuoja biosignalus iš jutiklių aplink veidą ir kaktą, tada perduoda šiuos duomenis į programinę įrangą, kad būtų galima nustatyti avataro reakcijas, mišrios realybės efektus ir eksperimentinius valdiklius.
Kad būtų aišku, PiEEG XR nėra vartotojų aksesuaras, kuris akimirksniu aptinka emocijas ar animuoja avatarus. Jis skirtas kūrėjams, tyrėjams, pedagogams ir VRChat eksperimentuotojams, norintiems išmokyti savo atvaizdavimą iš neapdorotų signalų.
Šypsenos demonstracija parodo pagrindinę idėją
Kūrėjas Ildaras Rakhmatulinas apibūdina PiEEG XR kaip atvirojo kodo neuroninę sąsają, skirtą erdviniam skaičiavimui. Aiškiausia iki šiol demonstracinė versija rodo, kad Rakhmatulinas nešioja įrenginį ir moko jį atpažinti, kai šypsosi. Po kalibravimo sistema aptinka šypsenos signalą ir susieja jį su VR avataro išraiška. Tai labiau pagrįsta nei automatinis emocijų aptikimas, nes rodo, kad PiEEG XR išmoksta vieną išraišką, o ne skaito jausmus.
Veido stebėjimas leidžia natūraliau išreikšti VR avatarus be specialių valdiklių. „Meta’s Quest Pro“ palaikė akių ir veido stebėjimą, o vėliau „Meta“ atnaujino veido stebėjimo OpenXR plėtinį, įtraukdama liežuvio sekimą. „Steam Link“ taip pat gali perduoti „Quest Pro“ stebėjimo duomenis į asmeninio kompiuterio VR programas, tokias kaip „VRChat“, tačiau „Quest 3“ ir „Quest 3S“ veido stebėjimo visiškai trūksta.
Daugiau nei avataro šypsenos
Reddit diskusija apie prototipą rodo, kodėl PiEEG XR gali būti įdomesnis nei vien veido sekimas. Kai vienas komentatorius pasiūlė naudoti sąsają valdyti trečią virtualią ranką, kūrėjas pasakė, kad būtent tokį eksperimentą turi įgalinti PiEEG XR.
Idėja yra išmokyti atvaizduoti veido signalus, fokusavimo būsenas ir kitus biosignalus, tada sujungti tuos atvaizdus su avatarų mechanika naudojant OSC arba WebSocket integraciją. Dabartinis prototipas taip pat palaiko fokusavimo į veiksmą demonstracines versijas, kur signalo intensyvumas gali sukelti mišrios realybės efektus skaitmeniniuose objektuose.
Vis dar kūrėjo rinkinys
PieEEG XR nėra pirmasis bendrovės neuroninis įrenginys. IronBCI yra 8 kanalų nešiojama smegenų ir kompiuterio sąsaja, palaikanti EEG, EMG ir EKG biosignalus. Tačiau „PiEEG XR“ yra pirmasis, specialiai sukurtas VR naudojimui, todėl reikia būti atsargiems.
„Meta“ tyrinėjo riešų pagrindu veikiančią neuroninę įvestį naudodama neuroninę juostą, o „VRChat“ papildė išraiškingą įvestį, pvz., akių sekimą. „PiEEG XR“ eina kitu keliu, įvesdamas biosignalo jutimą tiesiai į ausinių priekinę sąsają.
Ausinėse montuojama neuroninė sąsaja turi susidoroti su tinkamumu, judėjimu, triukšmu, patogumu, kalibravimu ir programinės įrangos palaikymu. Jo taip pat nereikėtų painioti su fotoaparatu pagrįstu veido stebėjimu. „Meta“ CTO anksčiau tvirtino, kad nėra patikimo būdo pridėti akių stebėjimą ar viršutinės veido dalies stebėjimą į „Quest 3“ kaip priedą, tačiau „PiEEG XR“ bando ką nors kitaip nuskaityti biologinius signalus, o ne pridėti kameras.
„PiEEG XR“ atrodo daug žadantis kaip įsilaužimo rinkinys, skirtas veido biosignalams tirti, kurie galėtų puikiai tikti kūrėjams ir tyrinėtojams.
