Nuovi brevetti Apple rivelano un sistema di controllo dello sguardo con visore XR in grado di interpretare i diversi gesti delle mani dell'utente in ambienti di risonanza magnetica

Nel maggio 2023 l’Ufficio europeo brevetti e marchi ha pubblicato una domanda di brevetto di Apple che tecnicamente si riferisce a un sistema informatico con uno o più componenti per la generazione di display e uno o più dispositivi di input che forniscono esperienze generate dal computer, inclusi ma non limitati a dispositivi elettronici che forniscono esperienze di realtà virtuale e di realtà mista tramite uno o più display.In termini pratici , il brevetto di Apple mira a fornire agli utenti delle future cuffie XR di Apple la possibilità di utilizzare vari gesti delle mani per controllare o spostare oggetti che l'utente vedrà in ambienti AR/VR/MR/XR utilizzando l'input dello sguardo da un sistema di tracciamento dello sguardo. Le fotocamere sul o nel visore utilizzano la mappatura della profondità per distinguere i gesti delle mani.

Apple nota nel suo background sui brevetti che i metodi e le interfacce per interagire con ambienti che includono almeno alcuni elementi virtuali (ad esempio, applicazioni, ambienti di realtà aumentata, ambienti di realtà mista e ambienti di realtà virtuale) sono ingombranti, inefficienti e limitati.

Ad esempio, sistemi che forniscono feedback insufficiente per eseguire azioni associate a oggetti virtuali, sistemi che richiedono una serie di input per ottenere il risultato desiderato in un ambiente di realtà aumentata e sistemi in cui la manipolazione di oggetti virtuali è complessa, noiosa e soggetta a errori , creano un carico cognitivo significativo per l'utente e riducono l'esperienza dell'utente con l'ambiente di realtà virtuale/aumentata. Inoltre, questi metodi richiedono più tempo del necessario, sprecando così energia. Quest'ultima considerazione è particolarmente importante nei dispositivi alimentati a batteria.

In alcune forme di realizzazione, il sistema informatico può distinguere il movimento della mano dell'utente in base al tipo di presa o postura della mano mantenuta durante il movimento della mano dell'utente. Il tipo di presa o postura della mano si distingue in base alla posizione delle dita di una rispettiva mano, all'orientamento di una rispettiva mano, al numero di mani che formano la presa, alla posizione relativa e all'orientamento delle mani che formano la presa, o a un combinazione di due o più dei precedenti, ecc.

In alcune forme di realizzazione, una volta selezionata una posizione di destinazione o una posizione di ancoraggio, se un oggetto virtuale mobile è presente nella posizione di destinazione o in una posizione di ancoraggio, il sistema informatico riconosce il movimento della mano dell'utente come una richiesta di spostare l'oggetto virtuale rispetto ai tre- ambiente dimensionale (e relativo alla posizione virtuale dell'utente o al punto di vista della vista attualmente visualizzata dell'ambiente tridimensionale) se la mano o le mani dell'utente si trovano in un primo tipo di presa durante il movimento della mano; e il sistema informatico riconosce il movimento della mano dell'utente come una richiesta di spostare il punto di vista rispetto all'oggetto virtuale (e rispetto all'ambiente tridimensionale) se le mani dell'utente si trovano in un secondo tipo di presa diversa dal primo tipo di presa.

Nel brevetto FIG. 2 di seguito vediamo uno schema a blocchi che illustra un controller di un sistema informatico configurato per gestire e coordinare un'esperienza CGR per l'utente. Il controller n. 110 di seguito include una combinazione adeguata di software, firmware e/o hardware; Le Figure 7A-7D illustrano la selezione di un bersaglio di navigazione e la navigazione verso il bersaglio di navigazione secondo un gesto fisico della mano.

Le figure 7E/F/H/I del brevetto Apple di seguito illustrano lo spostamento selettivo di un oggetto virtuale rispetto all'ambiente tridimensionale (e il punto di vista) o lo spostamento del punto di vista rispetto all'ambiente tridimensionale (e tutti gli oggetti virtuali all'interno dell'ambiente tridimensionale). ambiente dimensionale) basato sulla presa della mano dell'utente che viene mantenuta durante una sequenza di input dell'utente.

L'invenzione di Apple è dettagliatamente dettagliata nel brevetto di 163 pagine depositato in Europa il 24 maggio 2023. Per gli sviluppatori e i geek che desiderano approfondire i ricchi dettagli forniti, controlla il numero di brevetto europeo EP4182799.