Успех в сложных манипуляциях. Робот с человеческими руками научился автономно чистить яблоко

Об этом пишет издание Interesting Engineering.

Компания заявила, что это приближает машины к уровню человеческой ловкости. Робот использует новую систему MoDE-VLA, которая сочетает зрение, речь, осязание и датчики силы для выполнения сложных движений. Человек задает лишь общие команды, а координацию берет на себя искусственный интеллект. Такой подход, по словам разработчиков, может помочь роботам безопасно выполнять деликатные задачи дома и на работе.

В декабре Sharpa начала массовое производство своей роботизированной кисти SharpaWave с 22 степенями свободы, которая, как утверждается, приближается к человеческому уровню управления и манипуляций.

Модели Vision-Language-Action ранее позволяли роботам выполнять простые бытовые действия, например сортировать белье или поднимать предметы, но обычно это были лишь базовые операции. Чистить яблоко сложнее: нужно точно координировать движения, контролировать силу и постоянно корректировать положение предмета в руке. В компании отмечают, что такая задача охватывает 63 степени свободы и требует сочетания различных сенсорных данных.

Разработчики предложили двухкомпонентную систему IMCopilot и MoDE-VLA. IMCopilot содержит набор микронавыков, обученных методом подкрепления, которые помогают выполнять мелкие движения пальцев. Во время обучения человек управляет общими движениями руки, а система отвечает за тонкие манипуляции, например вращение яблока. Во время работы эти навыки вызываются автоматически, когда требуется точность.

MoDE-VLA обрабатывает различные сенсорные сигналы отдельными специализированными модулями и активирует их в зависимости от ситуации. Это позволяет роботу точнее реагировать на контакт, скольжение или сопротивление и корректировать действия в реальном времени.

Систему протестировали на четырех задачах: сборка механизмов, подключение зарядного устройства, перестановка трубок и очистка яблока. Во всех случаях зафиксировано улучшение результатов. В самом сложном тесте робот выполнил повторяющиеся циклы срезания и вращения, достигнув 73% очистки.

Также система показала высокую точность в задании с подключением зарядного устройства, где требуется миллиметровая точность. Использование специализированных датчиков силы помогло справиться там, где модели, полагающиеся только на зрение, обычно ошибаются.

Разработчики объяснили, что передача сложных быстрых движений пальцев специализированным «копилотам» и использование экспертных модулей для анализа прикосновения открывает путь к роботам, способным выполнять тонкую домашнюю работу и промышленную сборку с уровнем ловкости, подобным человеческому.