Intel Labs offre à l’amélioration du photoréalisme des jeux vidéos le grand coup de pouce d’une intelligence artificielle
Les développeurs de jeux vidéo sont toujours à la recherche de plus de réalisme dans leurs jeux. Plus les images sont conformes à la réalité, plus les jeux vidéo peuvent être attrayants et immersifs, notamment en réalité virtuelle. Des chercheurs d’Intel Labs ont présenté une nouvelle approche pour améliorer le réalisme des images de synthèse. Celles-ci sont améliorées par un réseau de neuronal convolutif conçu pour exploiter les représentations intermédiaires produites par les systèmes de rendu classiques.
Pour être plus précis, ils tentent d’améliorer les précédentes tentatives pour rendre les jeux, notamment GTA V, photoréalistiques, mais ces améliorations présentaient quelques bugs d’affichages.
Dans l’image ci-dessus et la vidéo plus bas, le jeu vidéo GTA V est présenté à gauche, et l’amélioration photoréaliste résultante des chercheurs d’Intel Labs est montrée à droite. La scène à droite de l’image composite semble avoir été prise avec une caméra embarquée, tandis que la partie gauche de l’écran montre une image qui est clairement celle d’un jeu vidéo. Ces mêmes améliorations rendent les paysages et les villes beaucoup plus réalistes. Les arbres, l’herbe et les chemins de terre ressemblent à ce qu’ils seraient dans le monde réel plutôt qu’à l’apparence quelque peu caricaturale qu’ils prennent dans GTA V.
Les chercheurs ont entraîné le réseau à l’aide d’un “objectif antagoniste qui fournit une forte supervision à plusieurs niveaux perceptuels”. En analysant les distributions de disposition des scènes et les ensembles de données couramment utilisés, les chercheurs ont constaté qu’ils présentaient des différences significatives. Les chercheurs du projet ont émis l’hypothèse que ces différences sont l’une des causes des artefacts observés dans de nombreuses méthodes antérieures d’amélioration du photoréalisme.
Pour contourner le problème des artefacts, les scientifiques ont proposé une nouvelle stratégie d’échantillonnage des parcelles d’image lors de l’entraînement du réseau. L’équipe a également tiré parti de multiples améliorations architecturales dans les modules de réseaux neuronaux qui sont utilisés pour l’amélioration du photoréalisme. La méthode que les chercheurs ont mise au point présente certainement des améliorations significatives.
Concernant le schéma ci-dessous, à partir de l’étude, selon les chercheurs :
Notre approche est construite autour d’un réseau d’amélioration d’image qui transforme une image rendue. En plus de l’image, le réseau ingère des tenseurs de caractéristiques G-buffer à plusieurs échelles. Les tenseurs représentent les informations de rendu d’un pipeline graphique conventionnel, encodées par un réseau d’encodage de G-buffer. Les deux réseaux sont entraînés conjointement via une perte LPIPS (pour conserver la structure de l’image rendue) et un discriminateur perceptuel (pour maximiser le réalisme de l’image améliorée).
Le système développé par Intel Labs réalise un travail fantastique et bluffant en prenant des scènes de GTA V et en les rendant beaucoup plus réalistes.
Les travaux en prépublication dans arXiv (PDF) : Enhancing Photorealism Enhancement et présentés sur le site l’Intel Labs : Enhancing Photorealism Enhancement.
