Розпізнавання об'єктів. У Китаї створили ШІ-моделі, які допомагають роботам краще бачити скло та дзеркала

Про це пише видання Interesting Engineering.

LingBot-Depth 2.0 створили для покращення просторового сприйняття роботів. Модель навчали на 150 млн зразків. Вона показала найкращі результати у 12 із 16 тестів на відновлення даних про глибину сцени.

Особливо помітно точність зросла у приміщеннях, де камери роботів втрачають частину інформації про відстань до предметів. За даними Robbyant, похибка моделі у таких умовах скоротилася більш ніж удвічі. Показник RMSE, який відображає середню величину помилки, знизився з 0,132 до 0,062.

Нова система також краще розпізнає скло, дзеркала та прозорі предмети. Звичайним камерам глибини складно працювати з такими поверхнями через відбиття або проходження світла.

Покращити результат допомогла LingBot-Vision, базова модель комп’ютерного зору для роботів. Під час навчання ШІ окремо вчили визначати межі та структуру предметів. Завдяки цьому система може дуже точно знаходити контури об'єктів і краще розуміти їхнє розташування у просторі.

LingBot-Vision навчали на 160 млн зображень. Попри відносно невеликий набір даних у порівнянні з більшими моделями, система показала конкурентні результати. Вона також може стабільно відстежувати краї та контури предметів у відео.

LingBot-Depth 2.0 уже протестували для використання у комерційній робототехніці. Модель отримала сертифікацію лабораторії Depth Vision компанії Orbbec.

Під час випробувань із 3D-камерами серії Gemini 330 система точніше визначала краї та контури предметів, розпізнавала невеликі об'єкти й оцінювала відстань на великій дистанції. Також модель краще працювала за складного освітлення та з різними матеріалами.

Robbyant і Orbbec планують використовувати технологію у новому обладнанні для збору даних, необхідних для навчання роботів. Пристрій RGB-D EGO отримає спеціальну версію LingBot-Depth для запису якісних просторових даних.

У майбутньому розробники планують додати вдосконалену комерційну версію моделі. Вона має ще точніше відновлювати інформацію про відстань, визначати межі об'єктів і розпізнавати структуру простору, щоб роботи могли краще працювати у реальних умовах.