Des neuroscientifiques traduisent les ondes cérébrales en paroles identifiables

Dans la première expérience du genre, des scientifiques ont été capables de traduire directement les signaux du cerveau en paroles intelligibles. Cet exploit, du domaine de la science-fiction, pourrait aider certaines personnes qui ont des problèmes pour communiquer, nous pourrions aussi en faire des interfaces informatiques futuristes.

La pièce maîtresse du système est un algorithme d’intelligence artificielle qui fait correspondre ce que le sujet entend avec les schémas d’activité électrique du cerveau, pour ensuite les transformer en paroles qui ont un sens pour l’auditeur.

Nous savons, d’après de précédentes recherches, que lorsque nous parlons (ou même que nous nous imaginons parler), nous obtenons des modèles distincts dans les réseaux de neurones du cerveau. Dans ce cas, le système décode les réponses cérébrales plutôt que les pensées réelles en parole, mais il a aussi le potentiel de le faire, avec suffisamment de développement.

Selon l’une des membres de l’équipe, Nima Mesgarani de l’université Columbia à New York :

Notre voix nous aide à communiquer avec nos amis, notre famille et le monde qui nous entoure, c’est pourquoi perdre le contrôle de notre voix en raison d’une blessure ou d’une maladie est si dévastateur.

Avec cette étude, nous avons un moyen potentiel de restaurer ce pouvoir. Nous avons montré qu’avec la bonne technologie, les pensées de ces gens peuvent être décodées et comprises par n’importe quel auditeur.

L’algorithme utilisé s’appelle un vocodeur, le même type d’algorithme qui peut synthétiser la parole après avoir été formé à la parole humaine (comme Siri, Alexa d’Amazon, Google Assistant). En d’autres termes, Google, Amazon ou Apple n’ont pas besoin de programmer chaque mot dans leurs appareils, ils utilisent le vocodeur pour créer une voix réaliste basée sur le texte qui doit être dit.

Ici, le vocodeur n’était pas entraîné par la parole humaine, mais par l’activité neuronale dans la partie du cortex auditif du cerveau, mesurée chez des patients subissant une chirurgie au cerveau alors qu’ils écoutaient des phrases prononcées à haute voix. Grâce à cette banque de données, les signaux cérébraux enregistrés au fur et à mesure que les patients écoutaient des chiffres de 0 à 9 lus étaient transmis au vocodeur et analysés à l’aide de nouvelles méthodes de détection de l’IA pour les épurer. Il a été constaté qu’ils correspondaient de près aux sons qui avaient été entendus, même si la voix finale est encore assez robotique.

Cette technique s’est avérée beaucoup plus efficace que les précédentes tentatives d’utilisation de modèles informatiques plus simples sur des images de spectrogramme, des représentations visuelles des fréquences sonores.

Selon Mesgarani :

Nous avons constaté que les gens pouvaient comprendre et répéter les sons dans 75 % des cas, ce qui est bien au-delà de toutes les tentatives précédentes.

Le vocodeur sensible et les puissants réseaux neuronaux représentaient les sons que les patients avaient écoutés avec une précision surprenante.

Il reste encore beaucoup de travail à faire, mais le potentiel est énorme. Encore une fois, il convient de souligner que le système ne transforme pas de réelles pensées en paroles, mais qu’il sera peut-être en mesure de le faire un jour, c’est le prochain défi que les chercheurs veulent relever. Plus tard, vous pourrez peut-être même penser à ce que vos courriels s’affichent à l’écran ou allumer vos lumières intelligentes simplement en émettant une commande mentale.

Cela prendra du temps, d’autant plus que chaque cerveau fonctionne un peu différemment, une grande quantité de données d’entraînement de chaque personne serait nécessaire pour interpréter avec précision toutes nos pensées. Dans un avenir pas trop lointain, il s’agira peut-être de personnes atteintes du locked-in syndrome (conscient, mais totalement paralysé), ou en voie de rétablissement ou (comme dans le cas de feu Stephen Hawking) d’une sclérose latérale amyotrophique (SLA).

Toujours selon Mesgarani :

Dans ce scénario, si le porteur pense ‘j’ai besoin d’un verre d’eau’, notre système pourrait capter les signaux du cerveau générés par cette pensée, et les transformer en parole verbale synthétique.

Ça changerait la donne. Cela donnerait à toute personne qui a perdu la capacité de parler, que ce soit à cause d’une blessure ou d’une maladie, la chance de renouer le contact avec le monde qui l’entoure.

L’étude publiée dans Scientific Reports : Towards reconstructing intelligible speech from the human auditory cortex et présentée sur le site de l’université Columbia : Columbia Engineers Translate Brain Signals Directly into Speech.