Un nouveau robot cuisinier peut recréer des recettes en regardant des vidéos culinaires
Les robots cuisiniers ont fait la une des journaux à plusieurs reprises ces dernières années. Hormis le battage médiatique, la cuisine est une tâche extrêmement difficile pour un robot. De nombreuses entreprises ont construit des prototypes de robots cuisiniers, mais aucun n’est disponible dans le commerce et leurs compétences sont inférieures à celles des humains.
Toutefois, un nouveau robot cuisinier pourrait changer la donne en matière de cuisine robotisée.
Une équipe de chercheurs de l’université de Cambridge (Royaume-Uni) a entraîné un robot à regarder et à apprendre à partir de vidéos de cuisine, puis à recréer le plat. Ils ont entraîné leur robot à l’aide d’un livre de cuisine contenant huit recettes de salades simples. Après avoir regardé une vidéo d’un humain en train de cuisiner l’un des plats, le robot a pu identifier la recette en cours de préparation et la réaliser lui-même.
Les vidéos ont également aidé le robot à enrichir son livre de recettes. À la fin de l’expérience, il avait trouvé une neuvième recette de salade par lui-même. Selon les chercheurs, ces résultats montrent que le contenu vidéo peut être une précieuse source de données pour la production alimentaire automatisée et pourrait accélérer le déploiement de robots cuisiniers.
Selon Grzegorz Sochacki, chercheur au département d’ingénierie de l’université de Cambridge et premier auteur de l’étude (lien plus bas) :
Nous voulions voir si nous pouvions entraîner un robot cuisinier à apprendre de la même manière que les humains, en identifiant les ingrédients et la manière dont ils vont ensemble dans le plat.
Pour leur étude, Sochacki et son équipe ont élaboré huit recettes de salades et ils ont filmé leur préparation. Ils ont ensuite utilisé un réseau neuronal facilement accessible pour entraîner leur robot cuisinier. Ce réseau avait été préalablement configuré pour reconnaître divers objets, y compris les fruits et légumes incorporés dans les recettes de salade.
Le robot a analysé chaque image de la vidéo et a identifié les différents objets et caractéristiques, tels que le couteau et les ingrédients, ainsi que les bras, les mains et le visage du démonstrateur humain. Les recettes et les vidéos ont ensuite été converties en vecteurs, que le robot a utilisés pour effectuer des opérations mathématiques.
En analysant les ingrédients et en observant les actions du chef humain, le robot a déduit les recettes en cours de préparation. Sur les 16 vidéos observées, le robot a identifié la bonne recette dans 93 % des cas, même s’il n’a détecté que 83 % des actions du chef. De plus, le robot a démontré sa capacité à discerner des variations mineures au sein d’une recette, les reconnaissant comme des variations plutôt que comme des recettes distinctes.
Selon Sochacki :
Il est étonnant de constater à quel point le robot a pu détecter des nuances. « es recettes ne sont pas complexes, il s’agit essentiellement de fruits et de légumes coupés en morceaux, mais le robot a su reconnaître, par exemple, que deux pommes et deux carottes coupées en morceaux constituent la même recette que trois pommes et trois carottes coupées en morceaux.
Ce n’est pas rien. Mais, comme d’autres démonstrations avant elle, ce “robo-chef” a de nombreuses limites.
Les vidéos utilisées pour entraîner le robot ne ressemblent pas à celles réalisées par les influenceurs des médias sociaux, avec des coupes rapides et des effets visuels. Le robot aurait du mal à identifier une carotte si le démonstrateur humain avait la main enroulée autour d’elle, expliquent les chercheurs. Pour identifier une carotte, le démonstrateur humain devait la tenir de manière à ce que le robot puisse la voir entièrement.
Toutefois, comme les robots cuisiniers s’améliorent et deviennent plus rapides pour identifier les ingrédients dans les vidéos culinaires, les chercheurs ont déclaré qu’ils pourraient un jour être en mesure d’utiliser des sites web tels que YouTube pour apprendre toute une série de recettes. En attendant, il semble que nous devrons continuer à cuisiner nos propres plats sans l’aide d’un robot cuisinier dans notre cuisine.
L’étude publiée dans IEEE Access : Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef et présentée sur le site de l’Université de Cambridge : Robot ‘chef’ learns to recreate recipes from watching food videos.