Искусственный интеллект научили определять калорийность блюда по фото

24 ноября 2020, 13:49

Немецкие исследователи разработали алгоритм, который определяет пищевую ценность блюд по фотографии: калорийность, а также содержание белков, углеводов и жиров.

В отличие от многих других подобных алгоритмов новый определяет эти показатели напрямую, а не обращаясь к базе данных о пищевой ценности разных продуктов. Доклад об алгоритме будет представлен на конференции ICPR 2020, отмечают авторы разработки.

Видео дня

Часть людей, которые сбрасывают лишний вес или поддерживающих его на одном уровне, записывают приемы еды, отмечая ее пищевую ценность. Есть даже приложения, в которых этот процесс частично автоматизирован: если человек съел еду из магазина, на ее упаковку можно навести камеру, и приложение само добавит все данные в дневник потребления. Но это не подходит для самостоятельно приготовленной пищи.

Исследователи в области компьютерного зрения уже несколько лет пытаются решить эту проблему. Как правило, алгоритмы по расчету пищевой ценности работают похожим образом: распознают на снимке блюдо и выдают соответствующие значения из базы. Также они могут учитывать размер блюда для более точного расчета калорий.

Подобные многостадийные алгоритмы сложны в разработке и не очень точны, отмечают авторы новой работы во главе с Райнером Штифельхагеном из Технологического института Карлсруэ. Они использовали иной подход, в котором нейросеть за один этап рассчитывает пищевую ценность на основе фотографии.

В основе алгоритма лежит сверхточная нейросеть для распознавания объектов (авторы использовали популярные сети ResNet и DenseNet), обученная на огромном датасете различных фотографий ImageNet. Использование предобученной сверточной нейросети — это популярный метод, позволяющий брать за основу алгоритм, который уже достаточно хорошо умеет определять признаки на изображениях, и дообучать его последние слои на своей конкретной задаче.

В этом случае авторы не просто дообучали последний слой, а изменили его структуру: вместо классификации он решает задачу регрессии, то есть подбора конкретного значения.

Разработчики самостоятельно подготовили данные для обучения алгоритма, воспользовавшись двумя источниками: сайтом рецептов, где у большинства рецептов есть список ингредиентов и фотография готового блюда, и базой пищевой ценности различных продуктов. Поскольку рецепты пишутся разными людьми и содержат лишние данные, исследователям пришлось полуавтоматически обработать данные. В частности, они убрали лишние слова и перевели примерные величины в конкретные.

Затем они сопоставили данные с двух предварительно обработанных датасетов и собрали их в один, содержащий 70 тысяч рецептов и 308 тысяч фотографий.

Ранее НВ писал, что японская компания Sony запустила новое подразделение искусственного интеллекта, которое должно изменить способы, которыми мы готовим.

Новое исследовательское подразделение Sony AI будет работать в Японии, Европе и Соединенных Штатах.

«Искусственный интеллект и робототехника не заменят шеф-поваров. Мы стремимся предложить новые инструменты для расширения их творческих возможностей с помощью ИИ и робототехники», — заявил представитель компании Sony Шиничи Тобе.

Искусственный интеллект позволит добавлять несвойственные некоторым продуктам запахи и вкусы в еду, а также создавать новые блюда и рецепты.

poster
Подписаться на ежедневную email-рассылку
материалов раздела Техно
Рассылка о том как технологии изменяют мир
Каждый понедельник

Присоединяйтесь к нам в соцсетях Facebook, Telegram и Instagram.

Показать ещё новости
Радіо НВ
X