Reconstruire les sons d’une vidéo muette à partir des légères vibrations induites dans les objets environnants
Voici ce qui pourrait sembler tout droit sortir d’un film d’espionnage. Disons que vous avez seulement une vidéo d’un homme qui parle dos à une caméra. Il n’y a pas de son pour vous signifier clairement ce qu’il dit et il n’y a pas de lèvres à lire pour vous donner un indice. Mais en observant simplement le mouvement des feuilles d’une plante à proximité, vous êtes en mesure de reconstruire ce que l’homme dit, arrêter son complot diabolique, vaincre le méchant et sauver la Terre…
Mis à part le côté espionnage, c’est ce qu’un groupe de chercheurs du MIT, Microsoft et Adobe tentent d’accomplir. Ils ont développé une technique et des algorithmes qui “observent” les vibrations d’un objet, qui sont trop subtiles pour être détectables à l’œil nu, et puis ils analysent ce “signal visuel” pour reproduire le son qui est à l’origine des vibrations.
Comme vous le savez, bruit et vibrations sont liés et ces sons induisent une vibration dans les objets qui les entourent. Ces vibrations sont si minuscules que nous ne pouvons pas les voir, si petites qu’elles engendrent un changement de position de 5/1000 de la taille d’un pixel. Les chercheurs ont dû utiliser une caméra à grande vitesse pour enregistrer et analyser les mouvements correctement.
Mais ils ont découvert, plus tard, qu’ils n’avaient pas réellement besoin d’un équipement aussi couteux. Ils ont essayé d’exploiter ce que la plupart considèrent comme un bug dans le type de système d’obturateur déroulant utilisé dans les appareils photo numériques grand public où les différents pixels dans une image de la vidéo sont capturés à des moments légèrement différents. Par exemple, les chercheurs du MIT ont pu récupérer un texte cité « Mary Had a Little Lamb…” dans une vidéo d’un paquet de bonbons posé près d’un haut-parleur (vidéo ci-dessous). Bien que moins précisent que les caméras à grande vitesse, les artéfacts produits par ce bug étaient encore suffisant pour permettre aux chercheurs de récupérer le morceau.
Au-delà de cette prouesse, l’équipe de recherche est également enthousiasmée par les possibilités de cette technologie pour le domaine de l’imagerie. L’observation des vibrations donne non seulement des informations sur le bruit qui a produit la vibration, mais aussi sur la nature de l’objet vibrant lui-même, comme des matériaux différents vibrent différemment. Cela pourrait donner aux scientifiques, dans le futur, un outil pour étudier la matière et la structure d’un objet simplement en diffusant des sons vers celui-ci.
Leur étude publiée dans ACM : The visual microphone: passive recovery of sound from video et détaillé sur le site du MIT : Extracting audio from visual information.