NVIDIA Isaac ROS 5.0 приносит агентные рабочие процессы и поддержку ROS Lyrical в разработку робототехники

NVIDIA выпустила Isaac ROS 5.0 — набор пакетов с GPU-ускорением, построенных на фреймворке ROS с открытым исходным кодом. Анонс состоялся на конференции ROSCon в Торонто. Релиз рассчитан на широкую аудиторию разработчиков: он даёт почти 1,3 миллиона пользователей ROS доступ к ускоренным вычислениям NVIDIA, моделям физического ИИ и готовым к продакшену библиотекам, позволяя строить высокопроизводительные приложения для робототехники на бесплатных инструментах с открытым исходным кодом.

Центральная тема обновления — агентная разработка: ИИ-агенты теперь тоже участвуют в создании роботов. Isaac ROS 5.0 вводит переиспользуемые «навыки» для настройки и манипуляций, которыми могут пользоваться и разработчики, и ИИ-агенты, а также документацию, подготовленную для агентов, — так инструменты и рабочие процессы становятся проще для понимания ИИ. Идея в том, чтобы быстрее превращать замысел разработчика в работающие приложения: автоматизировать повторяющиеся задачи и помогать ориентироваться в сложных кодовых базах.

Некоторые из этих навыков выходят за рамки простой помощи в написании кода. Новый навык тонкой настройки FoundationStereo позволяет ИИ-агенту адаптировать модель стереовосприятия под конкретные камеры, окружение и задачу разработчика. FoundationPose — базовая модель для оценки и отслеживания позы объектов — теперь поставляется с готовой к работе агентов библиотекой инференции, благодаря которой роботы воспринимают и отслеживают положение и ориентацию объектов до 5,5 раза быстрее. Навык pick-and-place, связывающий детекцию, оценку глубины и вывод позы, тоже доступен как самостоятельный навык для агентов.

С точки зрения платформы Isaac ROS 5.0 добавляет поддержку ROS Lyrical и Ubuntu 24.04, открывая разработчикам путь к новейшей платформе ROS с сохранением GPU-ускорения. NVIDIA вместе с Open Source Robotics Alliance внесла в ROS Lyrical стандартный интерфейс обработки данных, чтобы робототехническое ПО эффективно работало на разном оборудовании, включая GPU, — с CUDA в качестве рабочего примера. Вычислительная поддержка масштабируется от базового Jetson Orin Nano до высокопроизводительных устройств Jetson Thor.

Экосистема уже подхватывает этот агентный подход. Intrinsic Open Machine Tending Solution — часть недавно выпущенного Intrinsic Core — включает встроенную совместимость с FoundationPose для регистрации, отслеживания и оценки позы объектов «из коробки», уменьшая нужду в жёстких физических креплениях. Среди других партнёров — reBot Arm от Seed Studio, Magna, пакетный менеджер Pixi от Prefix.dev, Foxglove, Flexiv Rizon 4, Ekumen, камеры Stereolabs ZED от Ouster, MenteeBot от Mentee Robotics, SDK AI Accelerator от Universal Robots, ROBOTIS, FieldAI и Noble Machines. Ekumen, например, использует isaac_ros_cumotion на GPU, чтобы проложить путь без столкновений для складской руки примерно за 2–5 миллисекунд.

Isaac ROS 5.0 уже доступен, бесплатен и открыт, а подробности и инструкции по началу работы лежат на GitHub.