Gran Turismo : une intelligence artificielle bat les meilleurs pilotes d’une simulation de course de voiture sur console
Ces dernières années, des intelligences artificielles (IA) ont appris à battre les humains dans des jeux de plus en plus compliqués, qu’il s’agisse de jeux de société comme les échecs et le go ou de jeux informatiques comme Pacman et Starcraft II (sans oublier le poker). Aujourd’hui, une IA créée par Sony a dépassé les humains dans un autre jeu populaire et complexe : Gran Turismo. Outre le fait qu’il s’agit d’un exploit en soi, cette réussite pourrait avoir des implications concrètes pour la formation des voitures autonomes.
Pour ceux qui ne le savent pas, Gran Turismo est une série de jeux de simulation de course conçus pour les consoles PlayStation de Sony. Les créateurs du jeu ont cherché à donner le plus de réalisme possible aux voitures et à la conduite, en appliquant les principes de la physique et en utilisant des enregistrements réels des moteurs des voitures.
Sony a lancé sa division AI en avril 2020 pour faire des recherches sur l’IA et la robotique en lien avec le divertissement. La division s’est associée à Polyphony Digital et aux fabricants de PlayStation pour développer Gran Turismo Sophy (GT Sophy), l’IA qui a fini par battre les meilleurs joueurs humains du jeu. Une étude détaillant la façon dont le système a été entraîné et comment sa technique pourrait être appliquée à la conduite dans le monde réel a été publié cette semaine (lien plus bas).
Pour être bon à Gran Turismo (ou aux courses de voitures dans la vie réelle), il faut savoir appuyer sur l’accélérateur, mais la vitesse seule ne suffit pas à distinguer les champions des perdants. La stratégie et les règles de conduite sont également importantes, qu’il s’agisse de savoir quand dépasser une autre voiture ou attendre, d’éviter les collisions tout en restant aussi près que possible des autres véhicules, ou encore de savoir où prendre le large ou couper. Comme l’expliquent les auteurs de l’étude :
Les conducteurs doivent exécuter des manœuvres tactiques complexes pour dépasser ou bloquer leurs adversaires tout en faisant fonctionner leur véhicule à sa limite de traction.
GT Sophy a été entraînée à l’aide de l’apprentissage par renforcement profond, un sous-domaine de l’apprentissage automatique dans lequel un système ou un « agent » d’IA reçoit des récompenses pour certaines actions et est pénalisé pour d’autres (semblable à la façon dont les humains apprennent par essais et erreurs) dans le but de maximiser ses récompenses.
Les créateurs de GT Sophy se sont concentrés sur trois domaines de formation de l’agent : le contrôle de la voiture (y compris la connaissance de la dynamique de la voiture et des lignes de course), la tactique de course (prise de décisions rapides concernant des actions telles que les dépassements dans le sillage, les dépassements croisés ou les blocages) et le respect de l’étiquette de course (respect des règles de sportivité telles que l’évitement des collisions fautives et le respect des lignes de conduite de l’adversaire).
Les ingénieurs de Sony AI ont dû faire preuve d’un grand discernement lors de la création de la fonction de récompense de GT Sophy. L’IA devait être agressive sans être téméraire, elle était donc récompensée pour ses temps de passage rapides et ses dépassements, mais pénalisée pour avoir pris des virages, percuté un mur ou une autre voiture, ou dérapé.
Les chercheurs ont fourni au système des données provenant des précédents épisodes de Gran Turismo, puis l’ont laissé jouer, en rendant aléatoires des facteurs tels que la vitesse de départ, la position sur la piste et le niveau de compétence des autres joueurs pour chaque course. GT Sophy était apparemment capable de faire le tour du circuit en quelques heures d’entraînement, mais il a fallu 45 000 heures d’entraînement au total pour que l’IA devienne championne et batte les meilleurs joueurs humains.
La course où GT Sophy a affronté les meilleurs pilotes humains pour la première fois :
Bien que les capacités de course de GT Sophy ne soient pas transposables à de vraies voitures (en particulier sur des routes ou autoroutes ordinaires plutôt que sur une piste circulaire), le succès du système peut être considéré comme une étape vers la construction d’IA qui » comprennent » la physique du monde réel et interagissent avec les humains. Les recherches de Sony pourraient s’appliquer tout particulièrement à “l’étiquette” des voitures autonomes, étant donné que ces limites sont importantes bien qu’elles soient définies de manière vague (par exemple, il est moins grave de couper la route à quelqu’un sur une voie d’autoroute si vous accélérez immédiatement après l’avoir fait, plutôt que de ralentir ou de maintenir votre vitesse).
Étant donné que les voitures autonomes se sont avérées être une entreprise beaucoup plus complexe et lente que prévu, l’intégration de l’étiquette dans leur logiciel n’est peut-être pas une priorité, mais il sera finalement important pour les voitures gérées par des algorithmes d’éviter d’être la cible de la colère au volant des conducteurs humains.
L’histoire de la création de Gran Turismo Sophy :
L’étude publiée dans Nature : Outracing champion Gran Turismo drivers with deep reinforcement learning, la page du projet sur le site du Gran-Turismo : A superhuman racing agent.
Pendant ce temps-là, dans la vie réelle … le constructeur de voitures Toyota diffusait une vidéo dans laquelle elle présentait les performances d’une voiture… d’un logiciel programmé pour contourner les obstacles de manière autonome sur une piste fermée, une première mondiale.
…mais ça, c’est une autre histoire dont vous pourrez trouver les détails sur le site du Toyota Research Institute : Toyota Research Institute Pushes Vehicle’s Capabilities To Advance Active Safety.