Разработчики под руководством Желько Жилича из Университета Макгила в Канаде создали приложение для Android, способное в реальном времени распознавать еду и показывать ее пищевую ценность.
В приложении для определения и распознавания объектов в кадре используется сверточная нейросеть, основанная на популярной архитектуре YOLO, – передает N+1.
Получая изображение, нейросеть распознает на нем области, в которых находятся известные ей объекты. После этого алгоритм выделяет эти области и подписывает соответствующим образом.
Авторы не раскрывают, на каких данных обучали модель, но рассказали, что проверили ее эффективность на датасетах еды UECFood100 и UECFood256. Они отметили, что на современном смартфоне (например, Google Pixel 2 — с помощью него работу системы и проверяли авторы) обработка кадра нейросетью занимает несколько десятков миллисекунд. Точность распознавания еды приложением составила около 75 процентов.
Удобство приложения заключается в том, что оно не просто распознает блюда или компоненты в кадре, но и выдает их пищевую ценность: калорийность, содержание белков, жиров и углеводов, а также соли, холестерина и некоторых витаминов. Для этого авторы использовали базу данных Nutritionix, содержащую данные о более 700 тысячах блюд. Стоит отметить, что приложение рассчитывает параметры, исходя из размера средней порции определенного блюда.
Напомним, украинский студент изобрел eco-friendly бумагу из опавших листьев.
