Un brassard de haute technologie qui détecte les gestes de la main de son utilisateur
Il existe déjà des systèmes de vision assistés par ordinateur et des gants équipés de capteurs qui peuvent détecter les gestes de la main d’une personne. Récemment, des scientifiques de l’université de Californie à Berkeley ont toutefois mis au point une technologie alternative qui offre certains avantages essentiels.
Image d’entête : représentation du dispositif fixé à l’avant-bras et qui reconnaît actuellement 21 gestes différents. (Rabaey Lab)
Les systèmes de vision par ordinateur exigent non seulement que la main de l’utilisateur soit clairement visible à tout moment, mais ils soulèvent également des problèmes de confidentialité, en particulier si le visage de la personne est visible dans la vidéo. Les gants électroniques, en revanche, peuvent être encombrants, fragiles et peu pratiques dans toutes les situations.
En gardant ces limites à l’esprit, une équipe de chercheurs de l’université de Californie à Berkeley a mis au point un brassard à couche mince équipé d’une puce informatique qui s’enroule autour de l’avant-bras de l’utilisateur. Celui-ci commence par effectuer un certain nombre de gestes de la main, un à la fois. Ce faisant, des capteurs électriques dans le bandeau détectent les signaux nerveux en 64 points du bras. Ces données sont utilisées pour former un algorithme personnalisé basé sur l’intelligence artificielle, qui apprend quels types de signaux accompagnent quels gestes.
Lorsque l’utilisateur fait ensuite un de ces gestes, ou même pense à le faire, le système est capable de déterminer duquel il s’agit, en faisant correspondre son modèle de signal nerveux distinct avec celui qu’il a déjà appris. Il est actuellement capable de reconnaître 21 gestes différents, dont un poing, un pouce levé, une main à plat, le fait de lever des doigts et de compter.
Il est important de noter que l’algorithme met automatiquement à jour ce qui a été appris, afin de compenser les nouvelles variables telles que la sueur sur le bras ou le fait de tenir ce dernier dans une position inhabituelle. De plus, tout le traitement se fait à l’intérieur de la puce, de sorte qu’aucune donnée utilisateur n’est transmise au cloud.
Il est à espérer qu’une fois développée, cette technologie pourra être utilisée dans des applications telles que le contrôle gestuel d’appareils électroniques, la réalité virtuelle, ou même le fonctionnement de prothèses de la main.
Selon le chercheur Ali Moin de l’université de Californie à Berkeley, responsable de cette recherche :
Nous n’avons testé l’appareil que sur des sujets humains sains sans amputation jusqu’à présent. Cependant, il est prouvé dans la littérature que la reconnaissance de formes par EMG (électromyographie) est possible à partir des signaux du membre résiduel chez les amputés, bien que cela soit généralement plus difficile en raison de la faiblesse des signaux.
Une démonstration du système :
La recherche publiée dans Nature Electronics : A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition et présentée sur le site de l’université de Californie à Berkeley : High-five or thumbs-up? New device detects which hand gesture you want to make.