La formation de robots pour effectuer des tâches du monde réel nécessite des données – plus il y en a, mieux c’est. Le problème est que la création de ces ensembles de données prend beaucoup de temps et d’efforts, et les méthodes ne s’adaptent pas bien. C’est l’endroit Apprenez la robotique avec une expérience linguistiquement imaginée (Rosie) Entrer.
Le concept de base est simple : améliorer les données d’entraînement en utilisant des éléments hallucinogènes pour modifier des détails, ajouter des différences ou introduire de nouvelles distractions. Des études montrent qu’un robot entraîné en plus sur ces données effectue des tâches mieux qu’un humain sans elles.
Supposons que quelqu’un dispose d’un ensemble de données composé d’un bras robotique qui prend une canette de Coca et la place dans une boîte à lunch orange. Ces données d’entraînement sont utilisées pour apprendre au bras comment effectuer la tâche. Mais dans le monde réel, il y a probablement un encombrement distrayant sur votre surface de travail. Ou, la boîte à lunch dans les données d’entraînement est vide, mais la boîte sur la table contient en fait un sandwich à l’intérieur. Plus la tâche du monde réel diffère de l’ensemble de données d’entraînement, moins le robot devient performant et précis.
ROSIE vise à atténuer ce problème en utilisant des modèles de déploiement d’image (par exemple image) pour améliorer les données de formation de manière significative et directe. Dans un exemple, un robot a été formé pour déposer quelque chose dans un tiroir. ROSIE améliore cette formation en peignant le plateau dans les données de formation et en le remplaçant par une cuve en métal. Un robot formé sur les deux ensembles de données exécute efficacement la tâche consistant à placer un objet dans une cuve en métal, malgré le fait que la cuve n’apparaissait pas réellement dans les données de formation d’origine et que le robot n’a jamais vu ce naufrage réaliste. Le robot sans le bénéfice de ROSIE échoue à la mission.
Ceci est un lien vers le document de l’équipe, et ci-dessous se trouve une vidéo montrant ROSIE en concept et en action. C’est aussi un peu comme l’un des plugins que nous avons vus récemment mixerqui utilise un générateur d’images AI pour superposer des scènes entièrement 3D avec une simple invite de texte.
