CalorieCLIP: Точная оценка калорийности еды

О сервисе

Что умеет модель? CalorieCLIP — дообученная модель CLIP, которая оценивает калорийность блюда по фотографии. Средняя абсолютная ошибка: 51.4 калории. 90.5% предсказаний укладываются в погрешность ±100 калорий. Как обучена модель? Базовая модель: OpenAI CLIP ViT-B/32. Дообучены последние 2 трансформер-блока + регрессионная голова (4 слоя). Обучение на 13 004 примерах: датасет Nutrition5k (5 006 изображений столовой еды с профессиональными замерами калорий) + подмножество Food-101. Функция потерь: Huber Loss, 30 эпох. Сравнение с другими моделями Модель MAE (калорий) CalorieCLIP 51.4 Claude 3.5 Sonnet 71.7 GPT-4o 80.2 Gemini 1.5 Pro 86.7 Примеры предсказаний Изображение Блюдо Факт Предсказано Гамбургер 558 555 Рамен 431 437 Греческий салат 144 143 Сашими 156 156 Области применения Подсчёт калорий по фото блюда в мобильных приложениях для питания. Мониторинг рациона без ручного ввода данных. Интеграция в фитнес-трекеры и диетологические сервисы. Ссылки jc-builds/CalorieCLIP Источник: https://qubu.ai/models/calorie-clip-tochnaya-otsenka-kaloriinosti-edy License: MIT