Ces scientifiques estiment qu’une intelligence artificielle avancée finira par avoir de très mauvaises intentions envers l’humanité
Des chercheurs de l’université d’Oxford (Royaume-Uni) et de l’Université National australienne ont conclu qu’il est désormais « probable » qu’une Intelligence Artificielle (IA) super intelligente sonnera le glas de l’humanité, un sombre scénario que de plus en plus de chercheurs commencent à prédire.
Image d’entête : l’IA SHODAN du jeu System Shock. (Wikimedia)
Dans une étude récente (lien plus bas), l’équipe composée de Marcus Hutter, responsable scientifique de DeepMind (mais ici pour l’Université national australienne*), de Michael Cohen et Michael Osborne, chercheurs à l’Université d’Oxford, affirme que les machines finiront par être incitées à enfreindre les règles établies par leurs créateurs pour se disputer des ressources ou une énergie limitées.
*N.B : Marcus Hutter, bien qu’affilié à la société spécialisée dans l’IA, Deepmind de Google, ne travaillait pas, dans le cadre de cette étude, pour cette entreprise, mais pour l’université nationale australienne. Google a tenu à le préciser via un communiqué de presse.
Les modèles d’IA les plus performants aujourd’hui sont connus sous le nom de réseaux adverses génératifs (GAN pour Generative Adversarial Networks). Ils sont structurés en deux parties : une partie du programme, un “agent” essaie de générer une image (ou une phrase) à partir de données d’entrée, et une seconde partie évalue ses performances. Ou dans d’autres cas, un agent essaye de tromper ou est mis en concurrence d’un autre agent et ainsi, au fil des essais, ils gagnent en performance. La nouvelle étude propose qu’à un moment donné dans le futur, une IA avancée supervisant certaines tâches importantes pourrait être incitée à mettre au point des stratégies de tricherie pour obtenir sa récompense d’une manière qui nuirait à l’humanité.
Selon Michael Cohen, étudiant en ingénierie à l’université d’Oxford et coauteur de l’étude :
Dans les conditions que nous avons identifiées, notre conclusion est beaucoup plus forte que celle de toute publication antérieure : une catastrophe existentielle n’est pas seulement possible, mais probable.
Dans leur étude, les chercheurs affirment que l’humanité pourrait être confrontée à sa perte sous la forme « d’agents désalignés » super sophistiqués qui perçoivent l’humanité comme un obstacle à l’obtention d’une récompense.
Selon l’étude :
Un bon moyen pour un agent de maintenir le contrôle à long terme de sa récompense est d’éliminer les menaces potentielles et d’utiliser toute l’énergie disponible pour sécuriser son calculateur. Perdre ce jeu serait fatal. Déjoué
Malheureusement, selon les chercheurs, il n’y a pas grand-chose que nous puissions faire à ce sujet et cela pourrait être donc de mauvais augure pour l’humanité. Nous ne ferons pas le poids face à ce type de menace.
Donc, toujours selon les chercheurs, en réponse à cette menace, l’humanité ne devrait faire progresser ses technologies d’IA que lentement et prudemment.
Si ces hypothèses se vérifient, l’étude prévient :
Un agent artificiel suffisamment avancé interviendrait probablement dans la transmission d’informations sur des objectifs, avec des conséquences catastrophiques.
L’étude publiée dans la revue AI Magazine : Advanced artificial agents intervene in the provision of reward et une interview des chercheurs a été réalisé par le site Motherboard : Google Deepmind Researcher Co-Authors Paper Saying AI Will Eliminate Humanity.