Cet article a été rédigé par Marcus Woo et publié à l'origine dans Nature

Fourchette à la main, un bras robotisé embroche une fraise depuis le haut et l'amène à la bouche de Tyler Schrenk. Assis dans son fauteuil roulant, Schrenk avance son cou pour prendre une bouchée. Le bras s'attaque ensuite à une tranche de banane, puis à une carotte. Chaque mouvement s'effectue de lui-même, sur commande vocale de Schrenk.

Pour M. Schrenk, qui est devenu paralysé à partir du cou après un accident de plongée en 2012, un tel dispositif ferait une énorme différence dans sa vie quotidienne s'il était installé à son domicile. "S'habituer à ce que quelqu'un d'autre me nourrisse a été l'une des choses les plus étranges auxquelles j'ai dû faire face", explique-t-il. "Cela contribuerait sans aucun doute à mon bien-être et à ma santé mentale.

Son domicile est déjà équipé d'interrupteurs et d'ouvre-portes à commande vocale, ce qui lui permet d'être indépendant pendant environ 10 heures par jour sans l'aide d'un soignant. "J'ai été capable de comprendre la plupart des choses", dit-il. "Mais je ne peux pas me nourrir seul. C'est pourquoi il a voulu tester le robot d'alimentation, baptisé ADA (abréviation de "assistive dexterous arm"). Des caméras placées au-dessus de la fourche permettent à ADA de voir ce qu'il doit prendre. Mais pour savoir avec quelle force planter une fourchette dans une banane molle ou une carotte croquante, et avec quelle force saisir l'ustensile, il faut un sens que les humains considèrent comme allant de soi : "Le toucher est essentiel", explique Tapomayukh Bhattacharjee, roboticien à l'université Cornell d'Ithaca, dans l'État de New York, qui a dirigé la conception d'ADA alors qu'il travaillait à l'université de Washington, à Seattle. Les deux doigts du robot sont équipés de capteurs qui mesurent la force latérale (ou de cisaillement) lorsque l'on tient la fourchette.¹. Ce système n'est qu'un exemple des efforts croissants déployés pour doter les robots d'un sens du toucher.

Partie de Nature Outlook : Robotique et intelligence artificielle

"Les choses vraiment importantes impliquent la manipulation, impliquent que le robot tende la main et modifie quelque chose dans le monde", explique Ted Adelson, spécialiste de la vision par ordinateur au Massachusetts Institute of Technology (MIT) à Cambridge. Ce n'est qu'avec un retour d'information tactile qu'un robot peut ajuster sa prise pour manipuler des objets de tailles, de formes et de textures différentes. Grâce au toucher, les robots peuvent aider les personnes à mobilité réduite, ramasser des objets mous tels que des fruits, manipuler des matériaux dangereux et même aider à la chirurgie. La détection tactile pourrait également permettre d'améliorer les prothèses, d'aider les gens à rester littéralement en contact à distance, et même de réaliser le fantasme du robot ménager polyvalent qui s'occuperait de la lessive et de la vaisselle. "Si nous voulons des robots chez nous pour nous aider, nous voulons qu'ils soient capables d'utiliser leurs mains", explique M. Adelson. "Et si vous utilisez vos mains, vous avez vraiment besoin d'un sens du toucher.

Avec cet objectif en tête, et portés par les progrès de l'apprentissage automatique, les chercheurs du monde entier développent une myriade de capteurs tactiles, depuis les dispositifs en forme de doigt jusqu'aux peaux électroniques. L'idée n'est pas nouvelle, explique Veronica Santos, roboticienne à l'université de Californie à Los Angeles. Mais les progrès réalisés en matière de matériel, de puissance de calcul et de savoir-faire algorithmique ont dynamisé le secteur. "La détection tactile et la manière de l'intégrer aux robots suscitent un nouvel enthousiasme", explique Veronica Santos.

Sentir par la vue

L'un des capteurs les plus prometteurs repose sur une technologie bien établie : les caméras. Les caméras d'aujourd'hui sont peu coûteuses mais puissantes, et combinées à des algorithmes sophistiqués de vision par ordinateur, elles ont donné naissance à toute une série de capteurs tactiles. Les différents modèles utilisent des techniques légèrement différentes, mais ils interprètent tous le toucher en capturant visuellement la façon dont un matériau se déforme au contact.

L'ADA utilise un capteur à base de caméra appelé GelSight, dont le premier prototype a été conçu par M. Adelson et son équipe il y a plus de dix ans.². Une lumière et une caméra sont placées derrière un morceau de matériau souple et caoutchouteux, qui se déforme lorsqu'un objet exerce une pression sur lui. La caméra capture alors la déformation avec une sensibilité surhumaine, discernant des bosses aussi petites qu'un micromètre. GelSight peut également évaluer les forces, y compris les forces de cisaillement, en suivant le mouvement d'un motif de points imprimés sur le matériau caoutchouteux lorsqu'il se déforme.².

GelSight n'est pas le premier ni le seul capteur basé sur une caméra (ADA a été testé avec un autre capteur, appelé FingerVision). Toutefois, sa conception relativement simple et facile à fabriquer l'a distingué jusqu'à présent, explique Roberto Calandra, chercheur à Meta AI (anciennement Facebook AI) à Menlo Park, en Californie, qui a collaboré avec M. Adelson. En 2011, M. Adelson a cofondé une entreprise, également appelée GelSight, basée sur la technologie qu'il a développée. L'entreprise, basée à Waltham, dans le Massachusetts, a concentré ses efforts sur des industries telles que l'aérospatiale, en utilisant la technologie des capteurs pour inspecter les fissures et les défauts sur les surfaces.

L'un des derniers capteurs à base de caméra s'appelle Insight, documenté cette année par Huanbo Sun, Katherine Kuchenbecker et Georg Martius à l'Institut Max Planck pour les systèmes intelligents à Stuttgart, en Allemagne.³. L'appareil, qui ressemble à un doigt, est constitué d'un dôme souple, opaque, en forme de tente, maintenu par de fines entretoises, qui dissimule une caméra à l'intérieur.

Il n'est pas aussi sensible que GelSight, mais il offre d'autres avantages. GelSight se limite à détecter le contact sur une petite surface plane, alors qu'Insight détecte le contact tout autour du doigt en 3D, explique M. Kuchenbecker. La surface en silicone d'Insight est également plus facile à fabriquer et détermine les forces avec plus de précision. Selon M. Kuchenbecker, la surface intérieure bosselée d'Insight rend les forces plus facilement visibles et, contrairement à la méthode de GelSight qui consiste à déterminer d'abord la géométrie de la surface de caoutchouc déformée puis à calculer les forces en jeu, Insight détermine les forces directement à partir de la façon dont la lumière frappe sa caméra. M. Kuchenbecker pense que cela fait d'Insight une meilleure option pour un robot qui doit saisir et manipuler des objets ; Insight a été conçu pour former les extrémités d'une pince robotique à trois chiffres appelée TriFinger.

Solutions pour la peau

Les capteurs à base de caméra ne sont pas parfaits. Par exemple, ils ne peuvent pas détecter des forces invisibles, telles que l'ampleur de la tension d'une corde ou d'un fil tendu. La fréquence d'images d'une caméra peut également ne pas être assez rapide pour capturer des sensations fugaces, telles qu'une poignée qui glisse, explique M. Santos. Enfin, l'insertion d'un capteur relativement encombrant dans un doigt ou une main de robot, déjà encombré d'autres capteurs ou actionneurs (les composants qui permettent à la main de bouger), peut également poser problème.

C'est l'une des raisons pour lesquelles d'autres chercheurs conçoivent des dispositifs plats et flexibles qui peuvent s'enrouler autour d'un appendice de robot. Zhenan Bao, ingénieur chimiste à l'université Stanford en Californie, conçoit des peaux qui intègrent de l'électronique flexible et reproduisent la capacité du corps à percevoir le toucher. En 2018, par exemple, son groupe a créé une peau qui détecte la direction des forces de cisaillement en imitant la structure bosselée d'une couche de la peau humaine située sous la surface, appelée spinosum⁴.

Lorsqu'un toucher doux appuie la couche externe de la peau humaine sur les bosses en forme de dôme du spinosum, les récepteurs situés dans les bosses ressentent la pression. Un toucher plus ferme active des récepteurs plus profonds situés sous les bosses, ce qui permet de distinguer un toucher dur d'un toucher doux. Une force latérale est ressentie comme une pression exercée sur le côté des bosses.

La peau électronique de Bao présente également une structure bosselée qui détecte l'intensité et la direction des forces. Chaque bosse d'un millimètre est recouverte de 25 condensateurs qui stockent l'énergie électrique et agissent comme des capteurs individuels. Lorsque les couches sont pressées l'une contre l'autre, la quantité d'énergie stockée change. Selon M. Bao, les capteurs sont si petits qu'un patch de peau électronique peut en contenir un grand nombre, ce qui permet à la peau de détecter les forces avec précision et d'aider un robot à effectuer des manipulations complexes d'un objet.

Pour tester la peau, les chercheurs ont fixé un patch au bout du doigt d'un gant en caoutchouc porté par une main robotisée. La main a pu tapoter le sommet d'une framboise et ramasser une balle de ping-pong sans l'écraser.

Bien que d'autres peaux électroniques ne soient pas aussi denses en capteurs, elles sont généralement plus faciles à fabriquer. En 2020, Benjamin Tee, un ancien étudiant de Bao qui dirige aujourd'hui son propre laboratoire à l'université nationale de Singapour, a mis au point un polymère semblable à une éponge capable de détecter les forces de cisaillement⁵. De plus, à l'instar de la peau humaine, ce polymère est autocicatrisant : après avoir été déchiré ou coupé, il se ressoude sous l'effet de la chaleur et reste extensible, ce qui est utile pour faire face à l'usure et aux déchirures.

Ce matériau, appelé AiFoam, est doté d'électrodes souples en fil de cuivre qui reproduisent approximativement la répartition des nerfs sur la peau humaine. Lorsqu'on la touche, la mousse se déforme et les électrodes se serrent l'une contre l'autre, ce qui modifie le courant électrique qui la traverse. Cela permet de mesurer à la fois l'intensité et la direction des forces. AiFoam peut même détecter la présence d'une personne juste avant qu'elle n'entre en contact : lorsque son doigt s'approche à quelques centimètres, il abaisse le champ électrique entre les électrodes de la mousse.

En novembre dernier, des chercheurs de Meta AI et de l'université Carnegie Mellon de Pittsburgh, en Pennsylvanie, ont annoncé la création d'une peau sensible au toucher composée d'un matériau caoutchouteux incrusté de particules magnétiques.⁶. Baptisée ReSkin, cette peau se déforme en même temps que les particules, ce qui modifie le champ magnétique. Elle est conçue pour être facilement remplacée - elle peut être décollée et une nouvelle peau installée sans nécessiter de recalibrage complexe - et 100 capteurs peuvent être produits pour moins de 6 USD.

Plutôt que d'être des outils universels, les différentes peaux et les différents capteurs se prêteront probablement à des usages particuliers. Bhattacharjee et ses collègues, par exemple, ont créé un manchon extensible qui s'adapte à un bras robotique et qui est utile pour détecter les contacts accidentels entre un bras robotique et son environnement⁷. La feuille est fabriquée à partir d'un tissu stratifié qui détecte les changements de résistance électrique lorsqu'une pression lui est appliquée. Elle ne peut pas détecter les forces de cisaillement, mais elle peut couvrir une large zone et s'enrouler autour des articulations d'un robot.

M. Bhattacharjee utilise le manchon pour identifier non seulement le moment où un bras robotique entre en contact avec quelque chose lorsqu'il se déplace dans un environnement encombré, mais aussi ce contre quoi il se cogne. Si un robot d'assistance dans une maison heurte un rideau alors qu'il cherche un objet, il peut continuer à avancer, mais s'il entre en contact avec un verre à vin fragile, il devra prendre des mesures d'évitement.

D'autres approches utilisent l'air pour donner le sens du toucher. Certains robots utilisent des pinces à succion pour saisir et déplacer des objets dans les entrepôts ou dans les océans. Dans ces cas, Hannah Stuart, ingénieur mécanicien à l'université de Californie à Berkeley, espère que la mesure du flux d'air de succion pourra fournir un retour d'information tactile à un robot. Son groupe a montré que le débit d'air peut déterminer la force de la prise de la pince aspirante et même la rugosité de la surface sur laquelle elle est aspirée.⁸. Et sous l'eau, il peut révéler comment un objet se déplace lorsqu'il est tenu par une main robotisée à succion⁹.

Traitement des sentiments

Les technologies tactiles d'aujourd'hui sont diverses, explique Mme Kuchenbecker. "Il existe de nombreuses options réalisables, et les gens peuvent s'appuyer sur le travail des autres", dit-elle. Mais concevoir et fabriquer des capteurs n'est qu'un début. Les chercheurs doivent ensuite les intégrer dans un robot, qui doit alors déterminer comment utiliser les informations d'un capteur pour exécuter une tâche. "C'est en fait la partie la plus difficile", explique M. Adelson.

Pour les peaux électroniques qui contiennent une multitude de capteurs, le traitement et l'analyse des données provenant de chacun d'entre eux nécessiteraient beaucoup de temps de calcul et d'énergie. Pour traiter autant de données, des chercheurs comme M. Bao s'inspirent du système nerveux humain, qui traite aisément un flot constant de signaux. Depuis plus de 30 ans, les informaticiens tentent d'imiter le système nerveux à l'aide d'ordinateurs neuromorphiques. Mais l'objectif de M. Bao est de combiner une approche neuromorphique avec une peau souple qui pourrait s'intégrer au corps de manière transparente, par exemple sur un bras bionique.

Inscrivez-vous à la lettre d'information de Nature sur la robotique et l'IA

Contrairement à d'autres capteurs tactiles, les peaux de Bao transmettent les signaux sensoriels sous forme d'impulsions électriques, comme celles des nerfs biologiques. L'information n'est pas stockée dans l'intensité des impulsions, qui peut diminuer au fur et à mesure que le signal se déplace, mais dans leur fréquence. Par conséquent, le signal ne perd pas beaucoup d'informations à mesure que la portée augmente, explique-t-elle.

Les impulsions provenant de plusieurs capteurs se rencontreraient au niveau de dispositifs appelés transistors synaptiques, qui combineraient les signaux en un modèle d'impulsions, à l'instar de ce qui se passe lorsque les nerfs se rencontrent au niveau des jonctions synaptiques. Ensuite, au lieu de traiter les signaux de chaque capteur, un algorithme d'apprentissage automatique n'a plus qu'à analyser les signaux de plusieurs jonctions synaptiques, en apprenant si ces motifs correspondent, par exemple, au duvet d'un pull ou à l'adhérence d'un ballon.

En 2018, le laboratoire de Bao a intégré cette capacité dans un système nerveux artificiel simple et flexible, capable d'identifier les caractères Braille.¹⁰. Fixé à la patte d'un cafard, le dispositif pouvait stimuler les nerfs de l'insecte, démontrant ainsi le potentiel d'un dispositif prothétique pouvant s'intégrer au système nerveux d'une créature vivante.

En fin de compte, pour donner un sens aux données des capteurs, un robot doit s'appuyer sur l'apprentissage automatique. Traditionnellement, le traitement des données brutes d'un capteur était fastidieux et difficile, explique M. Calandra. Pour comprendre les données brutes et les convertir en nombres physiquement significatifs tels que la force, les roboticiens devaient calibrer et caractériser le capteur. Grâce à l'apprentissage automatique, les roboticiens peuvent sauter ces étapes laborieuses. Les algorithmes permettent à un ordinateur de passer au crible une énorme quantité de données brutes et d'identifier lui-même des modèles significatifs. Ces modèles - qui peuvent représenter une prise suffisamment serrée ou une texture rugueuse - peuvent être appris à partir de données d'entraînement ou de simulations informatiques de la tâche prévue, puis appliqués à des scénarios réels.

"Nous venons tout juste de commencer à explorer l'intelligence artificielle pour la détection du toucher", explique M. Calandra. "Nous sommes loin de la maturité d'autres domaines tels que la vision par ordinateur ou le traitement du langage naturel. Les données de vision par ordinateur sont basées sur un réseau bidimensionnel de pixels, une approche que les informaticiens ont exploitée pour développer de meilleurs algorithmes. Mais les chercheurs ne savent toujours pas quelle pourrait être une structure comparable pour les données tactiles. Comprendre la structure de ces données et apprendre à en tirer parti pour créer de meilleurs algorithmes sera l'un des plus grands défis de la prochaine décennie.

Suppression des barrières

L'essor de l'apprentissage automatique et la diversité du matériel émergent sont de bon augure pour l'avenir de la détection tactile. Mais la pléthore de technologies représente également un défi, selon les chercheurs. Étant donné que de nombreux laboratoires disposent de leurs propres prototypes de matériel, de logiciels et même de formats de données, les scientifiques ont du mal à comparer les dispositifs et à s'appuyer sur les travaux des uns et des autres. Et si les roboticiens veulent intégrer pour la première fois la détection tactile dans leur travail, ils devront construire leurs propres capteurs à partir de zéro - une tâche souvent coûteuse et qui ne relève pas nécessairement de leur domaine d'expertise.

Plus d'informations sur les perspectives de la nature

C'est pourquoi, en novembre dernier, GelSight et Meta AI ont annoncé un partenariat pour la fabrication d'un capteur de type caméra au bout du doigt appelé DIGIT. Avec un prix de vente de 300 dollars, le dispositif est conçu pour être un capteur standard, relativement bon marché et prêt à l'emploi, qui peut être utilisé dans n'importe quel robot. "Cela aide sans aucun doute la communauté de la robotique, qui a été freinée par le coût élevé du matériel", explique M. Santos.

En fonction de la tâche, cependant, vous n'avez pas toujours besoin d'un matériel aussi avancé. Dans un article publié en 2019, un groupe du MIT dirigé par Subramanian Sundaram a construit des capteurs en prenant en sandwich quelques couches de matériaux, qui changent de résistance électrique lorsqu'ils sont soumis à une pression.¹¹. Ces capteurs ont ensuite été incorporés dans des gants, pour un coût matériel total de seulement 10 dollars. Avec l'aide de l'apprentissage automatique, même un outil aussi simple que celui-ci peut aider les roboticiens à mieux comprendre les nuances de la préhension, explique Sundaram.

Tous les roboticiens ne sont pas non plus des spécialistes de l'apprentissage automatique. Pour y remédier, Meta AI a mis à la disposition des chercheurs un logiciel open source. "J'espère qu'en ouvrant cet écosystème, nous abaissons la barre d'entrée pour les nouveaux chercheurs qui veulent s'attaquer au problème", explique M. Calandra. "C'est vraiment le début.

Bien que la préhension et la dextérité continuent d'être au cœur de la robotique, la détection tactile ne sert pas qu'à cela. Un robot souple et glissant pourrait avoir besoin de sentir son chemin pour naviguer dans les décombres dans le cadre d'opérations de recherche et de sauvetage, par exemple. Un robot pourrait également avoir besoin de sentir une tape dans le dos : Mme Kuchenbecker et son étudiante Alexis Block ont construit un robot doté de capteurs de couple dans les bras, d'un capteur de pression et d'un microphone à l'intérieur d'un corps souple et gonflable capable de donner une étreinte confortable et agréable, puis de la relâcher lorsque vous la lâchez. Ce type de toucher humain est essentiel pour de nombreux robots qui interagissent avec les personnes, notamment les prothèses, les aides ménagères et les avatars à distance. C'est dans ces domaines que la détection tactile pourrait s'avérer la plus importante, selon M. Santos. "C'est vraiment l'interaction entre l'homme et le robot qui sera le moteur de cette technologie.

Jusqu'à présent, le toucher robotisé est principalement confiné aux laboratoires de recherche. "Le besoin existe, mais le marché n'est pas encore tout à fait là", explique M. Santos. Mais certains de ceux qui ont eu un avant-goût de ce qu'il est possible de faire sont déjà impressionnés. Les essais d'ADA, le robot nourricier de Schrenk, ont donné un aperçu alléchant de l'indépendance. "C'était vraiment cool", dit-il. "C'était un regard sur l'avenir, sur ce qui pourrait être possible pour moi.

doi: https://doi.org/10.1038/d41586-022-01401-y

Cet article fait partie de Nature Outlook : Robotique et intelligence artificielle, un supplément indépendant sur le plan éditorial, produit avec le soutien financier de tiers. À propos de ce contenu.

Références

1. Song, H., Bhattacharjee, T. & Srinivasa, S. S. 2019 International Conference on Robotics and Automation 8367-8373 (IEEE, 2019).Google Scholar 
2. Yuan, W., Dong, S. & Adelson, E. H. Sensors 17, 2762 (2017).Article Google Scholar 
3. Sun, H., Kuchenbecker, K. J. & Martius, G. Nature Mach. Intell. 4, 135-145 (2022).Article Google Scholar 
4. Boutry, C. M. et al. Sci. Robot. 3, aau6914 (2018).Article Google Scholar 
5. Guo, H. et al. Nature Commun. 11, 5747 (2020).PubMed Article Google Scholar 
6. Bhirangi, R., Hellebrekers, T., Majidi, C. & Gupta, A. Preprint sur http://arxiv.org/abs/2111.00071 (2021).
7. Wade, J., Bhattacharjee, T., Williams, R. D. & Kemp, C. C. Robot. Auton. Syst. 96, 1-14 (2017).Article Google Scholar 
8. Huh, T. M. et al. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems 1786-1793 (IEEE, 2021).Google Scholar 
9. Nadeau, P., Abbott, M., Melville, D. & Stuart, H. S. 2020 IEEE International Conference on Robotics and Automation 3701-3707 (IEEE, 2020).Google Scholar 
10. Kim, Y. et al. Science 360, 998-1003 (2018).PubMed Article Google Scholar 
11. Sundaram, S. et al. Nature 569, 698-702 (2019).PubMed Article Google Scholar