Автоматизация процессов. Роботы научились брать стекло и блестящие предметы без датчиков глубины

Об этом пишет издание Interesting Engineering.

Роботам сложно работать со стеклом, блестящим металлом или прозрачным пластиком, ведь такие поверхности искажают данные стандартных 3D-сенсоров. Из-за этого часто требуется вмешательство человека, а процессы замедляются.

Новая система под названием HEAPGrasp определяет форму предметов по их контурам, полученным с RGB-камеры. Камера делает изображение с нескольких ракурсов, после чего алгоритм выделяет силуэты объектов и восстанавливает их трехмерную форму. Метод работает стабильно даже с прозрачными или зеркальными поверхностями, так как не зависит от данных о глубине.

Прозрачные и зеркальные предметы сложно определить датчиками глубины, поэтому автоматический захват был нестабильным и требовал участия человека. Исследователи исходили из того, что даже без надежных данных о глубине можно оценить форму объекта, если четко видеть его контуры.

Система сначала отделяет объекты от фона с помощью модели глубокого обучения, которая классифицирует каждый пиксель изображения. Затем применяется метод Shape from Silhouette — объединение силуэтов с разных ракурсов для построения 3D-модели. Чтобы не увеличивать время обработки, исследователи добавили алгоритм, который выбирает наиболее эффективный путь движения камеры.

Во время тестов в 20 сценариях с прозрачными, матовыми и отражающими предметами система показала лучшие результаты, чем существующие подходы. Она достигла 96% успешных захватов с одной камерой, уменьшила движение камеры на 52% и сократила время выполнения на 19%.

Система обеспечивает точные 3D-измерения, минимизируя движение камеры и время работы. Она также требует меньше настроек и ее можно установить на уже имеющиеся роботизированные системы.

Разработку можно использовать в логистике, пищевой промышленности и производстве, где часто работают с различными материалами.