Умнее фотографа? Sony показала первый сенсор камеры с искусственным интеллектом

Датчик включает в себя как вычислительный процессор, так и память, что позволяет ему решать задачи компьютерного зрения на основе машинного обучения без дополнительного оборудования.

В результате, по словам Sony, камеры должны стать быстрее, дешевле и безопаснее.

Машинное обучение может быть использовано не только для улучшения качества снимков, но и для идентификации людей и предметов в кадре. Но многие приложения полагаются на отправку изображений и видео в облако для анализа. В других сценариях производители должны устанавливать на устройства специализированные процессорные ядра, чтобы справляться с дополнительными вычислительными требованиями. Но Sony говорит, что ее новый датчик изображения предлагает более удобное решение.

Новые датчики IMX500 и IMX501 оснащены логическим процессором и памятью, каждый модуль превращается в миниатюрный компьютер, который работает без выгрузки информации на отдельный чип. Это также исключает задержку передачи и снижает энергопотребление.

Этот сенсор изображения AI первого поколения, тем не менее, вряд ли попадет в потребительские устройства, такие как смартфоны и планшеты, по крайней мере для начала. Вместо этого Sony будет ориентироваться на розничных торговцев и промышленных клиентов, к примеру, безналичные магазины Amazon Go. Камеры искусственного интеллекта также полезны для обеспечения безопасности роботов, предназначенных для совместной работы с людьми.

В магазинах Go в магазине Amazon продавец использует множество камер с поддержкой ИИ для отслеживания покупателей и взимания с них платы за предметы, которые они берут с полок.

«Они устанавливают сотни камер и ежедневно используют петабайты данных. Если мы сможем миниатюризировать эту возможность и поместить ее на оборотную сторону чипа, мы сможем сделать много разных интересных вещей», — рассказали в Sony.

В дополнение к экономии средств существуют преимущества конфиденциальности. Если микросхема прикреплена непосредственно к задней части датчика изображения, то обнаружение объекта может быть выполнено на устройстве. Вместо того, чтобы отправлять данные для анализа, либо в облако, либо в ближайший процессор, датчик изображения сам выполняет любой анализ и просто выдает метаданные.

Тестовые образцы IMX500 уже начали поставляться ранним покупателям по цене от 10 000 йен ($93). Sony ожидает, что первые продукты с использованием датчика изображения появятся в первом квартале 2021 года.