Dans le film de 2018 de Steven Spielberg intitulé Ready Player One, basé sur le livre d'Ernest Cline de 2011, les gens pénètrent dans un monde immersif de réalité virtuelle appelé OASIS. Ce qui était le plus captivant de la technologie futuriste de ce film de science-fiction n’était pas les lunettes de réalité virtuelle, qui ne semblent pas si éloignées des casques actuellement vendus par Oculus, HTC et autres. C'était l'engagement d'un sens au-delà de la vue et du son: le toucher.
Les personnages portaient des gants avec une rétroaction leur permettant de sentir les objets imaginaires dans leurs mains. Ils pourraient passer à une combinaison complète qui reproduirait la force d'un coup de poing sur la poitrine ou le caressement d'une caresse. Et pourtant, ces capacités pourraient ne pas être aussi éloignées que nous le pensons.
Nous nous appuyons sur des informations tactiles - ou «haptiques» - en permanence, d'une manière que nous ne reconnaissons même pas consciemment. Les nerfs de notre peau, de nos articulations, de nos muscles et de nos organes nous indiquent comment notre corps est placé, à quel point nous tenons quelque chose, quel temps il fait, ou qu'un être cher montre de l'affection par le biais d'un câlin. Dans le monde entier, les ingénieurs s’efforcent désormais de recréer des sensations tactiles réalistes, pour les jeux vidéo, etc. Le contact tactile dans les interactions homme-machine améliorerait le contrôle robotique, la rééducation physique, l’éducation, la navigation, la communication et même les achats en ligne.
«Par le passé, l’haptique était efficace pour rendre les choses visibles, avec des vibrations dans votre téléphone ou dans les grondements des contrôleurs de jeu», explique Heather Culbertson, informaticienne à l’University of Southern California. "Mais maintenant, nous avons commencé à rendre les choses qui semblent plus naturelles, qui imitent davantage la sensation des matériaux naturels et des interactions naturelles."
L'avenir n'est pas seulement brillant, mais texturé.
* * *
Les appareils haptiques peuvent être regroupés en trois types principaux: saisissable, portable et tactile. Pour saisir, pensez joysticks. Une application claire est le fonctionnement des robots, de sorte qu'un opérateur puisse sentir à quel degré de résistance le robot pousse.
Prenez des robots chirurgicaux, qui permettent aux médecins d'opérer de l'autre côté du monde ou de manipuler des outils trop petits ou dans des espaces trop étroits pour leurs mains. De nombreuses études ont montré que l’ajout de retour haptique au contrôle de ces robots augmente la précision, réduit les dommages aux tissus et réduit le temps d’opération. Les lecteurs avec retour haptique permettent également aux médecins de former des patients qui n'existent qu'en réalité virtuelle tout en ayant le sentiment de véritables coupures et sutures. L'un des étudiants de Culbertson développe actuellement des simulateurs dentaires afin que le premier forage erroné d'un étudiant en médecine dentaire ne se produise pas.
Les ingénieurs construisent des systèmes permettant de transmettre des sensations tactiles réalistes aux jeux vidéo, aux commandes robotiques, etc., avec une gamme d'applications possibles. (Gracieuseté de Knowable Magazine) Avoir une idée de ce que fait le robot sous votre commandement serait également utile pour désamorcer les bombes ou extraire des personnes de bâtiments effondrés. Ou pour réparer un satellite sans se préparer à une sortie dans l'espace. Même Disney a étudié des robots de téléprésence haptique pour des interactions sûres entre humains et robots. Ils ont mis au point un système comportant des tubes pneumatiques reliant les bras robotiques d’un humanoïde à un ensemble de bras en miroir qu’un humain puisse saisir. La personne peut manipuler le robot miroir pour que le premier bot tienne un ballon, ramasse un œuf ou tapote un enfant sur les joues.
À plus petite échelle, le laboratoire du robotiste Jamie Paik de l'Ecole Polytechnique Fédérale de Lausanne (EPFL) a développé une interface haptique portable appelée Foldaway. Les appareils de la taille et de la forme d'un dessous de verre carré ont trois bras articulés qui surgissent et se rejoignent au milieu. (Stefano Mintchev, un postdoc du laboratoire, les appelle «robots origami miniaturisés».) Une petite poignée en plastique peut être collée sur le dessus, à la croisée des bras, créant un joystick qui agit en trois dimensions - et les bras repoussés, pour donner l'utilisateur a une idée des objets contre lesquels il pousse. Dans les démos, l’équipe a utilisé les appareils pour contrôler un drone aérien, presser des objets virtuels et ressentir la forme de l’anatomie humaine virtuelle.
Comprendre l'haptique peut sembler insurmontable à certains défis. Par exemple, comment donnez-vous une impression de poids lorsque vous saisissez et soulevez des objets numériques sans poids? Mais en étudiant les neurosciences, les ingénieurs ont réussi à trouver quelques solutions de contournement. Culbertson et ses collègues ont développé un dispositif appelé Grabity pour le problème de gravité. C'est une sorte d'étau que l'on saisit et que l'on serre pour saisir des objets virtuels. Simplement en vibrant de certaines manières, il peut produire l’illusion de poids et d’inertie.
Mais «tromper le cerveau ne va que très loin», déclare Ed Colgate, ingénieur en mécanique à la Northwestern University, qui travaille en haptique. Il est parfois facile de briser les illusions haptiques. Selon lui, à long terme, les ingénieurs devront recréer le plus fidèlement possible la physique du monde réel - son poids et tout le reste. "C'est un problème vraiment difficile."
Le dispositif haptique saisissable appelé Grabity (en bas) donne l’illusion de poids et d’inertie au traitement des objets virtuels. Ici, il imite la sensation d'un bloc (en haut). (Gracieuseté du laboratoire de formes de Stanford) Les appareils saisissables tirent souvent parti des sensations kinesthésiques: sensations de mouvement, de position et de force véhiculées par les nerfs, non seulement dans notre peau, mais également dans nos muscles, nos tendons et nos articulations. Les appareils portables, en revanche, reposent généralement sur des sensations tactiles - pression, friction ou température - transmises par les nerfs de la peau.
Une variété de dispositifs expérimentaux sont portés au doigt, appuyant contre le doigt avec différents degrés de force lorsque vous touchez des objets dans la réalité virtuelle. Mais un appareil récent fournit le même type de retour sans couvrir le doigt. Au lieu de cela, il est porté là où l'on pourrait porter un anneau et contient des moteurs qui étirent la peau dessous. Cela laisse les doigts libres d'interagir avec des objets du monde réel tout en détectant des objets «virtuels» - une fonctionnalité utile pour les jeux et les applications sérieuses.
Dans un test, une personne pouvait tenir un vrai morceau de craie et ressentir une pression telle qu’elle «écrivait» sur un tableau virtuel en vertu d’une illusion haptique: En voyant simultanément la craie toucher le tableau et se sentir étirée, elles étaient dupées. en ressentant une pression dans leurs doigts.
Plus généralement, les dispositifs haptiques portables se communiquent par vibration. Le laboratoire de Culbertson, par exemple, travaille sur un bracelet qui guide le porteur en vibrant dans la direction dans laquelle il a besoin de se tourner. Et NeoSensory, une société fondée par le neuroscientifique de Stanford, David Eagleman, développe un gilet avec 32 moteurs vibrants qui a été présenté dans un épisode de la série de science-fiction Westworld de HBO où il a apparemment aidé les personnages à déterminer la direction à suivre pour approcher leurs ennemis.
L'une des premières applications réelles de la veste sera de traduire le son en sensation tactile afin de rendre le langage parlé plus intelligible pour les personnes malentendantes. Eagleman s’emploie également à traduire des aspects du monde visuel en vibrations pour les aveugles. D'autres efforts impliquent des informations plus abstraites telles que des données de marché et environnementales - au lieu d'une grille indiquant l'endroit où se trouvent les objets, un ensemble complexe de vibrations pourrait indiquer les prix d'une douzaine de stocks.
Cette image montre la conception d'un matériau doux, souple, semblable à la peau, qui s'adapte au corps, pour les dispositifs haptiques portables. Les couches de capteur et d'actionneur sont séparées par des couches de silicone. Dans la couche de capteur, le titanate de zirconate de plomb (PZT) traduit la force en une charge électrique pour un retour d'information à l'ordinateur. La couche d'actionneur contient de minuscules poches qui peuvent se remplir d'air plusieurs fois par seconde pour un retour vibratoire au porteur. (Adapté de HA Sonar et al / Frontiers in Robotics et AI 2016) Les moteurs vibrants peuvent être encombrants et certains laboratoires développent des solutions plus confortables. Le laboratoire de Paik à l'EPFL travaille sur une peau composée d'un actionneur pneumatique doux (SPA) - une feuille de silicone souple de moins de 2 millimètres d'épaisseur parsemée de minuscules poches d'air. Ils peuvent être gonflés et dégonflés indépendamment des dizaines de fois par seconde et agissent ainsi comme des pixels - ou «taxels» pour des éléments tactiles - créant une grille de sensations. Ils peuvent donner des impressions du même genre que celles proposées dans Ready Player One ou donner leur avis sur la position des robots ou des membres prothétiques. La peau SPA est également dotée de capteurs constitués d’un nouvel alliage métallique résistant à la corrosion, qui permet à la même peau d’être utilisée pour la saisie sur ordinateur lorsque l’utilisateur la serre.
Un film haptique encore plus mince - moins d'un demi-millimètre d'épaisseur - est également en préparation, créé par Novasentis et fabriqué à partir d'une nouvelle forme de plastique à base de polyfluorure de vinylidène qui allie résistance, flexibilité et réactivité électrique. Lorsque le film est posé sur un côté d'une feuille de matériau flexible et qu'une charge électrique est appliquée, le film se contracte et fléchit la feuille en appliquant une pression sur la peau. Novasentis fournit maintenant le matériel aux fabricants d’appareils qui le mettent dans des gants pour la réalité virtuelle et les jeux.
«Vous pouvez faire la distinction entre l’eau, le sable et les roches», explique Sri Peruvemba, vice-président du marketing de la société. Les concepteurs de réalité virtuelle pourraient également créer des représentations plus abstraites, telles que des messages à sensation sur l'état d'un jeu. «Nous pouvons créer tout un langage haptique avec notre technologie», déclare Peruvemba.
Les vibrations peuvent produire un autre type d'illusion haptique: la sensation de tirer. Si un appareil qui vibre en avant et en arrière parallèlement à la surface de la peau se déplace rapidement dans une direction et recule lentement dans l'autre sens, plusieurs fois par seconde, vous aurez l'impression de tirer la peau dans la première direction.
Bien que la plupart des appareils portables utilisent la sensation tactile, ils peuvent également utiliser l’entrée de la sensation kinesthésique muscle-articulation-tendon. Les ingénieurs ont mis au point des exosquelettes robotiques, une sorte d’échafaudage fixé au corps avec des capteurs et des moteurs, qui peuvent aider les personnes paralysées à marcher, donner aux soldats une super force et leur permettre de contrôler des robots à distance. Un laboratoire de l’EPFL a mis au point le FlyJacket, que l’on porte avec les bras tendus sur les côtés, relié par des pistons à la taille. Il ne semble pas spécialement voler, mais il permet aux gens de contrôler le vol de drones aériens en bougeant les bras et en tordant le torse. Lorsque le drone ressent un coup de vent, vous aussi.
La dernière catégorie d'appareils comprend les interfaces tactiles, telles que les écrans de smartphone qui donnent un petit coup lorsque vous cliquez sur une application. Le travail de Culbertson va au-delà des simples bosses et bourdonnements. Au lieu d'écrire des algorithmes complexes ou des modèles physiques pour générer des vibrations simulant des vibrations réelles, elle enregistre ce qui se passe lorsqu'un objet est traîné sur différents tissus ou d'autres matériaux à des vitesses et des vitesses différentes. des pressions. Ensuite, elle fait jouer en surface les vibrations lorsqu'un stylo est traîné dessus. Les applications pourraient inclure les achats en ligne et les musées virtuels.
Un dispositif haptique tactile permet à l'utilisateur de "ressentir" différentes textures en fonction des types de vibrations transmises par le stylo. Les vibrations changent en fonction de la vitesse à laquelle le stylet est déplacé ou de la pression exercée par l'utilisateur. L'objectif est de simuler de manière réaliste la rugosité, la dureté et le glissement des surfaces. (Gracieuseté de Heather Culbertson) Les surfaces palpables permettent également des types d'illusions. Par exemple, dit Culbertson, jouer le son d'un bouton en appuyant sur l'image d'un bouton donne l'impression que le bouton est en train de cliquer. Ou faire apparaître l’écran se déformer sous le doigt peut le rendre plus doux. Les gens construisent la perception en associant la vue, le son, le toucher, le goût et l'odorat - et, comme le dit Culbertson, «il est très facile de duper votre cerveau si vous avez un décalage entre vos sens».
Une haptique réaliste pour la réalité virtuelle peut être pour toujours maladroite et coûteuse. Ou la technologie peut éventuellement rendre Ready Player One un aspect pittoresque. Dans les deux cas, comme nous pouvons le constater avec des étapes telles que le grondement omniprésent des contrôleurs de jeux vidéo et les téléphones et les montres qui vibrent sans cesse, les dispositifs haptiques sont là pour rester, ajoutant une nouvelle dimension à nos vies numériques.
Knowable Magazine est une entreprise journalistique indépendante issue de Annual Reviews. 
