Google DeepMind выпустила обновление модели воплощенного интеллекта Gemini Robotics-ER 1.6, отвечающей за пространственное понимание, планирование и детекцию успеха. Из статьи можно узнать о её возможностях, результатах и способах доступа.
- Gemini Robotics-ER 1.6 выступает как «стратег»: отвечает за пространственное понимание, планирование задач и детекцию успеха, но не управляет приводами напрямую.
- За моторные команды отвечает отдельная модель Gemini Robotics 1.5, а новинка задаёт последовательность действий и может вызывать внешние инструменты, включая Google Search.
- Совместно с Boston Dynamics модель научили интерпретировать аналоговые приборы: Spot обходит промышленные объекты и считывает данные с манометров, уровнемеров и цифровых табло.
- Точность считывания достигает 93% против 86% без использования ризонинга: модель зумирует участок, расставляет точки по элементам шкалы и через код вычисляет пропорции.
- Улучшены указание пиксельных координат, обработка отношений «от-до», построение траекторий захвата и работа в мультикамерных сетапах.
- По безопасности заявлен лучший результат в линейке: распознавание травмоопасных ситуаций на видео на 10% точнее, чем у версии 3.0 Flash.
- Gemini Robotics-ER 1.6 доступна через Gemini API и Google AI Studio, для быстрого старта подготовлен Colab с примерами промптов.
- Gemini Robotics-ER 1.6
- Gemini Robotics 1.5
- Boston Dynamics
- Spot
- Gemini API
- Google AI Studio
- Colab
- 3.0 Flash
Кому полезно: Инженерам АСУ ТП и робототехникам, интересующимся воплощенным интеллектом.
Первоисточник: habr.com
Выжимка составлена редакцией сайта с помощью ИИ по тексту статьи.
Google DeepMind выпустила крупное обновление своей модели воплощенного интеллекта — Gemini Robotics-ER 1.6. Это не просто софт, а полноценный центр управления для робототехники, который отвечает за пространственное понимание, планирование задач и детекцию успеха, фактически выступая в роли «стратега». Важно понимать, что версия ER не управляет приводами напрямую — за моторные команды по-прежнему отвечает отдельная модель Gemini Robotics 1.5, в то время как новинка подсказывает ей последовательность действий и при необходимости вызывает внешние инструменты, включая Google Search.
Одной из ключевых инноваций стала совместная работа с Boston Dynamics, в рамках которой модель научили интерпретировать аналоговые приборы. Теперь роботы, такие как Spot, могут обходить промышленные объекты и самостоятельно считывать данные с манометров, уровнемеров и цифровых табло. Это нетривиальная задача: модель сначала зумирует нужный участок снимка, затем расставляет точки по ключевым элементам шкалы и через код высчитывает пропорции, что позволяет достичь точности в 93% (против 86% без использования ризонинга).
Кроме того, разработчики значительно подтянули базовые навыки: указание пиксельных координат стало точнее, улучшилась обработка отношений «от-до» и построение траекторий захвата. Модель стала гораздо эффективнее работать в мультикамерных сетапах, лучше сопоставляя виды с обзорной камеры и камеры на манипуляторе. Это критично для динамичных сцен: без надежной детекции завершения шага агент не понимает, нужно ли повторять попытку или можно переходить к следующему этапу плана.
По части безопасности DeepMind заявляет о лучшем результате в линейке: новая Gemini на 10% точнее распознает травмоопасные ситуации на видео по сравнению с версией 3.0 Flash.
Фактически мы наблюдаем переход от простых алгоритмов к глубокому ризонингу, где робот не просто выполняет команду, а осознает контекст физического мира и соблюдает физические ограничения. Gemini Robotics-ER 1.6 уже доступна через Gemini API и Google AI Studio, а для быстрого старта компания подготовила Colab с примерами промптов для типовых задач.
Источник: https://habr.com/ru/companies/bothub/news/1025738/
