Dans le cadre d’un grand pas en avant vers des opérations robotiques plus sûres et plus efficaces, l’équipe robotique de DeepMind a dévoilé trois avancées révolutionnaires.
Ces innovations visent à permettre aux robots de prendre des décisions plus rapides, plus intelligentes et plus sûres dans divers environnements réels. Cet article se penche sur ces développements pionniers, notamment le système de collecte de données d’AutoRT, la « Constitution du robot » inspirée des Trois lois de la robotique d’Isaac Asimov, et les technologies de pointe de DeepMind, SARA-RT et RT-Trajectory.
AutoRT – Transformer la prise de décision des robots
Le système AutoRT représente une approche révolutionnaire pour améliorer la prise de décision des robots. Ce système exploite la puissance d’un modèle de langage visuel (VLM) et d’un modèle de langage étendu (LLM) travaillant en tandem pour comprendre leur environnement, s’adapter à des paramètres inconnus et sélectionner les tâches appropriées. L’un de ses aspects remarquables met en avant l’incorporation d’une constitution du robot, qui rappelle les emblématiques trois lois de la robotique d’Isaac Asimov. Elle comprend un ensemble d’invites axées sur la sécurité qui guident le LLM pour éviter les tâches impliquant des humains, des animaux, des objets pointus et même des appareils électriques. Cela garantit que les robots donnent la priorité à la sécurité lorsqu’ils effectuent celles qui leur sont assignées, évitant ainsi tout dommage potentiel aux personnes ou aux biens. Pour renforcer encore plus la sécurité, DeepMind a mis en place des mécanismes leur permettant de s’arrêter automatiquement si la force exercée sur leurs articulations dépasse un seuil prédéfini. De plus, les opérateurs humains peuvent désactiver les robots à l’aide d’un coupe-circuit physique.
L’efficacité d’AutoRT a été mise à l’épreuve au travers d’essais approfondis en situation réelle. Sur une période de sept mois, Google a déployé une flotte de 53 robots AutoRT dans quatre immeubles de bureaux différents, réalisant plus de 77 000 tests. Ces derniers variaient dans les méthodes de contrôle, certains robots étant commandés à distance par des opérateurs humains, tandis que d’autres suivaient des instructions scriptées ou fonctionnaient de manière autonome à l’aide du modèle d’apprentissage de l’IA Robotic Transformer (RT-2) de Google. AutoRT suit un processus en quatre étapes pour chaque tâche, ce qui en fait un système robuste et adaptable pour un large éventail d’applications.
Comment fonctionne AutoRT
Les robots utilisés dans l’essai peuvent paraître utilitaires, équipés d’une caméra, d’un bras robotique et d’une base mobile. Les étapes suivantes expliquent le fonctionnement:
Compréhension visuelle avec VLM: Chaque robot utilise un modèle de langage visuel (VLM) pour comprendre son environnement et identifier les objets dans son champ de vision.
Suggestion de tâches par LLM: Le Large Language Model suggère une liste de tâches potentielles que le robot peut effectuer de manière créative, telles que « Placer la collation sur le comptoir ». Il assume le rôle de décideur, sélectionnant la tâche la plus appropriée à exécuter.
Prise de décision soucieuse de la sécurité: La « Constitution du robot » entre en jeu ici, garantissant que la tâche sélectionnée est conforme aux directives de sécurité, en évitant celles qui pourraient présenter des risques pour les humains, les animaux ou les biens.
Exécution des tâches: Une fois la tâche appropriée déterminée, le robot procède à son exécution, en tirant parti de ses capacités pour interagir efficacement avec l’environnement.