L’IA « Cosmos » de Nvidia aide les robots humanoïdes à naviguer dans le monde

Nvidia a annoncé aujourd’hui le lancement d’une famille de modèles d’IA fondamentaux appelés Cosmos, qui peuvent être utilisés pour former des humanoïdes, des robots industriels et des voitures autonomes. Alors que les modèles linguistiques apprennent à générer du texte en s’entraînant sur de grandes quantités de livres, d’articles et de publications sur les réseaux sociaux, Cosmos est conçu pour générer des images et des modèles 3D du monde physique.

Lors d’une présentation lors de la conférence annuelle CES à Las Vegas, le PDG de Nvidia, Jensen Huang, a montré des exemples d’utilisation de Cosmos pour simuler des activités à l’intérieur d’entrepôts. Cosmos a été formé sur 20 millions d’heures d’images réelles « d’humains marchant, bougeant des mains, manipulant des choses », a déclaré Jensen. “Il ne s’agit pas de générer du contenu créatif, mais d’apprendre à l’IA à comprendre le monde physique.”

Les chercheurs et les startups espèrent que ces types de modèles fondamentaux pourront doter les robots utilisés dans les usines et les foyers de capacités plus sophistiquées. Cosmos peut, par exemple, générer des images vidéo réalistes de cartons tombant des étagères d’un entrepôt, qui peuvent être utilisées pour entraîner un robot à reconnaître les accidents. Les utilisateurs peuvent également affiner les modèles en utilisant leurs propres données.

Plusieurs entreprises utilisent déjà Cosmos, selon Nvidia, notamment les startups de robots humanoïdes Agility et Figure AI, ainsi que des sociétés de véhicules autonomes comme Uber, Waabi et Wayve.

Exemples d’images d’entrepôt générées par Cosmos.

Avec l’aimable autorisation de Nvidia

Nvidia a également annoncé un logiciel conçu pour aider différents types de robots à apprendre à effectuer de nouvelles tâches plus efficacement. La nouvelle fonctionnalité fait partie de la plate-forme de simulation de robot Isaac existante de Nvidia, qui permettra aux constructeurs de robots de prendre un petit nombre d’exemples d’une tâche souhaitée, telle que la saisie d’un objet particulier, et de générer de grandes quantités de données d’entraînement synthétiques.

Nvidia espère que Cosmos et Isaac attireront les entreprises cherchant à construire et à utiliser des robots humanoïdes. Jensen a été rejoint sur scène au CES par des images grandeur nature de 14 robots humanoïdes différents développés par des sociétés dont Tesla, Boston Dynamics, Agility et Figure.

Parallèlement à Cosmos, Nvidia a également annoncé Project Digits, un « supercalculateur d’IA personnel » de 3 000 $ capable d’exécuter un vaste modèle de langage comprenant jusqu’à 200 milliards de paramètres sans avoir besoin des services cloud d’entreprises comme AWS ou Microsoft. Il a également annoncé ses très attendus GPU RTX Blackwell de nouvelle génération et ses prochains outils logiciels pour aider à créer des agents IA.