Un système d’intelligence artificielle novateur lit dans les pensées et en produit du texte sans implants
Des chercheurs de l’université du Texas à Austin (UT Austin), aux Etats-Unis, ont créé un système d’intelligence artificielle capable de lire dans les pensées, de prendre des images de l’activité cérébrale d’une personne et de les traduire en un flux continu de texte. Appelé décodeur sémantique, ce système pourrait aider les personnes conscientes, mais incapables de parler, comme celles qui ont subi un accident vasculaire cérébral.
Image d’entête : à partir de l’étude qui a utilisé l’imagerie par résonance magnétique fonctionnelle (IRMf) pour décoder les pensées de personnes. (Jerry Tang et Alexander Huth)
Cette nouvelle interface cerveau-ordinateur diffère des autres technologies de lecture des pensées, car elle n’a pas besoin d’être implantée dans le cerveau. Les chercheurs de l’UT Austin ont réalisé des enregistrements non invasifs du cerveau en utilisant l’imagerie par résonance magnétique fonctionnelle (IRMf) pour reconstruire les stimuli perçus ou imaginés à l’aide d’un langage continu et naturel.
Alex Huth (à gauche), Shailee Jain (au centre) et Jerry Tang (à droite) se préparent à recueillir des données sur l’activité cérébrale au centre d’imagerie biomédicale de l’université du Texas à Austin. (Nolan Zunk/ Université du Texas à Austin)
Si l’IRMf produit des images d’excellente qualité, le signal qu’elle mesure, qui dépend des niveaux d’oxygène dans le sang, est très lent, puisqu’une impulsion d’activité neuronale provoque une augmentation et une diminution de l’oxygène dans le sang sur une période d’environ 10 secondes. Comme l’anglais parlé naturellement utilise plus de deux mots par seconde, chaque image cérébrale peut donc être affectée par plus de 20 mots.
C’est là qu’intervient le décodeur sémantique. Il utilise un modèle d’encodage similaire à celui utilisé par ChatGPT d’Open AI et Bard de Google, qui peut prédire comment le cerveau d’une personne réagira au langage naturel. Pour « entraîner » le décodeur, les chercheurs ont enregistré les réactions cérébrales de trois personnes pendant qu’elles écoutaient 16 heures d’histoires parlées. Le décodeur a pu prédire, avec une grande précision, comment le cerveau de la personne réagirait à l’écoute d’une séquence de mots.
Selon Alexander Huth, auteur correspondant de l’étude :
Pour une méthode non invasive, il s’agit d’un véritable bond en avant par rapport à ce qui a été fait jusqu’à présent, c’est-à-dire généralement des mots isolés ou des phrases courtes.
Le résultat ne recrée pas le stimulus mot à mot. Le décodeur saisit plutôt l’essentiel de ce qui est dit. Ce n’est pas parfait, mais environ la moitié du temps, il a produit un texte qui correspondait étroitement, parfois précisément, à l’original.
Prédictions du décodeur à partir d’enregistrements cérébraux recueillis pendant qu’un utilisateur écoutait quatre histoires. Des exemples de segments ont été sélectionnés et annotés manuellement pour montrer les comportements typiques du décodeur. Celui-ci reproduit exactement certains mots et phrases et saisit l’essentiel de beaucoup d’autres. (Jerry Tang/Université du Texas à Austin)
Lorsque les participants écoutaient une histoire tout en ignorant une autre histoire jouée simultanément, le décodeur a pu saisir l’essentiel de l’histoire écoutée activement. En plus d’écouter des histoires et d’y réfléchir, les participants ont été invités à regarder quatre courtes vidéos silencieuses pendant que leur cerveau était scanné à l’aide de l’IRMf. L’encodeur sémantique a traduit leur activité cérébrale en descriptions précises de certains événements tirés des vidéos qu’ils ont regardées.
Jerry Tang, doctorant, se prépare à recueillir des données sur l’activité cérébrale au centre d’imagerie biomédicale de l’université du Texas à Austin. (Nolan Zunk/ Université du Texas à Austin)
Les chercheurs ont constaté que la participation volontaire était essentielle au processus. Ceux qui ont opposé une résistance pendant l’entraînement de l’encodeur, par exemple en pensant délibérément à d’autres choses, ont obtenu des résultats inutilisables. De même, lorsque les chercheurs ont testé l’IA sur des personnes qui n’avaient pas entraîné le décodeur, les résultats étaient inintelligibles.
L’équipe de l’UT Austin est consciente du risque d’utilisation malveillante de résultats inexacts et de l’importance de protéger la vie privée des personnes.
Selon Jerry Tang, auteur principal de l’étude :
Nous prenons très au sérieux les craintes d’une utilisation malveillante et nous nous sommes efforcés de l’éviter. Nous voulons nous assurer que les gens n’utilisent ce type de technologies que lorsqu’ils le souhaitent et que cela les aide.
Actuellement, le décodeur n’est pas utilisable en dehors de l’environnement du laboratoire parce qu’il repose sur l’IRMf. On espère que la technologie pourra être adaptée à des systèmes d’imagerie cérébrale plus portables, tels que la spectroscopie proche infrarouge fonctionnelle (SPIRf ou fNIRS pour functional near-infrared spectroscopy).
Selon Huth :
La fNIRS mesure l’augmentation ou la diminution du flux sanguin dans le cerveau à différents moments, ce qui correspond exactement au type de signal mesuré par l’IRMf. Il s’avère que c’est exactement le même type de signal que l’IRMf mesure. Notre approche devrait donc s’appliquer à la fNIRS.
La vidéo ci-dessous montre comment le décodeur sémantique utilise des enregistrements de l’activité cérébrale pour saisir l’essentiel du texte original. (Jerry Tang et col./ Université du Texas à Austin)
L’étude a été publiée dans la revue Nature Neuroscience : Semantic reconstruction of continuous language from non-invasive brain recordings et présentée sur le site de l’Université du Texas à Austin : Brain Activity Decoder Can Reveal Stories in People’s Minds.