NVIDIA lance la plateforme de référence RoboLab, résolvant le défi de l'évaluation des stratégies pour les robots généralistes.

Contexte de l'industrie

Ces dernières années, des progrès significatifs ont été réalisés dans les stratégies robotiques basées sur des modèles fondamentaux. Les systèmes optimaux contemporains sont capables d'effectuer des tâches de préhension, de placement, de tri et de manipulation de divers objets selon des instructions en langage naturel. Cependant, à mesure que les capacités des modèles augmentent, leur évaluation rigoureuse devient l'un des problèmes non résolus les plus épineux pour le monde académique et industriel. La plateforme de référence de simulation RoboLab récemment publiée par NVIDIA est conçue précisément pour répondre à ce besoin.

Quatre défauts des références actuelles

NVIDIA souligne que les références d'évaluation robotique existantes présentent généralement quatre problèmes clés :

Chevauchement du domaine visuel

La plupart des données d'entraînement et d'évaluation proviennent de la même source visuelle. Si le modèle est affiné et évalué dans un environnement simulé, des performances élevées indiquent seulement que le modèle a mémorisé la scène, et non qu'il possède une capacité de généralisation réelle. Bien que les méthodes de simulation à partir du réel (Real2sim) puissent générer des environnements réalistes via des réparations ou une reconstruction par nuages de points gaussiens, la mise en place de chaque scène prend plus d'une heure, ce qui les rend inadaptées aux tests à grande échelle.

Saturation des références

De nombreuses références ont un ensemble fixe de tâches rarement mis à jour, ce qui permet aux modèles d'atteindre rapidement un score parfait, sans pouvoir distinguer les capacités réelles des modèles. Lorsque presque tous les rapports affichent un taux de réussite supérieur à 90 %, les chiffres perdent leur signification.

Lacune diagnostique

Les indicateurs binaires de succès/échec ne permettent pas d'expliquer pourquoi un robot a échoué. Est-ce une confusion de couleur de l'objet ? Un problème de formulation de l'instruction ? Un décalage de la caméra ? Ou une faible efficacité d'exécution de la tâche ? Sans ces réponses, les chercheurs ont du mal à progresser.

Confiance statistique insuffisante

Un taux de réussite unique et un nombre limité de déploiements ne reflètent pas la performance réelle. Par exemple, avec un taux de réussite observé de 90 % et seulement 70 déploiements, l'intervalle de confiance à 95 % de Clopper-Pearson s'étend de 80,5 % à 95,9 % ; pour réduire l'erreur à ±2 %, il faudrait environ 1030 déploiements (soit 15 fois plus). Cependant, la plupart des références n'atteignent pas le nombre de déploiements nécessaire à la significativité statistique.

Les trois principes de conception de RoboLab

La plateforme RoboLab de NVIDIA est construite autour de trois principes :

1. Évaluation des tâches indépendante du robot : Un même ensemble de tâches peut être évalué sur différentes morphologies de robots et architectures stratégiques, évitant ainsi les problèmes d'adaptation des données liés à un robot fixe. 2. Génération rapide de nouvelles tâches : En réduisant le temps de génération des scènes, des tâches et des environnements à quelques minutes, et en permettant à un agent de codage de générer automatiquement des tâches, on évite la saturation des références. 3. Outils d'analyse complets : Outre le taux de réussite, ils fournissent une évaluation graduée des tâches, des métriques de qualité de trajectoire (longueur de chemin et lissage SPARC), la vitesse d'exécution, etc., et enregistrent automatiquement les événements d'échec (comme les prises erronées, les chutes, les collisions), aidant à localiser les causes d'échec.

Classification des capacités des tâches

RoboLab décompose les capacités d'opération générales en trois catégories :

• Capacité visuelle : Reconnaissance des couleurs, des tailles et des catégories sémantiques, par exemple « Placer la petite tasse rouge dans la boîte ».- Capacité visuelle : Reconnaître les couleurs, les tailles et les catégories sémantiques, par exemple « mettre la petite tasse rouge dans la boîte ».
• Capacité procédurale : Évaluer le raisonnement lié aux actions, comme l'empilement, la réorientation ou l'utilisation d'outils.
• Capacité relationnelle : Tester le raisonnement spatial et logique, par exemple « prendre l'orange ou le citron et le mettre dans le bol ».

Les 120 tâches artisanales du benchmark RoboLab-120 sont toutes étiquetées avec les capacités requises, assurant une couverture équilibrée.