RT-DETRv2: Обнаружение объектов в реальном времени с улучшенной базой

О сервисе

Обзор Модель RT-DETRv2 была предложена в работе RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer Вэньюем Лв, Ианом Чжао, Циняо Чангом, Куем Хуаном, Гуаньчжуном Вангом и И Лю. RT-DETRv2 дорабатывает RT-DETR, внедряя селективное извлечение многомасштабных признаков, дискретный оператор выборки для более широкой совместимости развертывания и улучшенные стратегии обучения, такие как динамическое увеличение данных и адаптивные к масштабу гиперпараметры. Эти изменения повышают гибкость и практичность, сохраняя при этом производительность в реальном времени. Эта модель была разработана [@jadechoghari](https://x.com/jadechoghari) при содействии [@cyrilvallez](https://huggingface.co/cyrilvallez) и [@qubvel-hf](https://huggingface.co/qubvel-hf). Производительность RT-DETRv2 стабильно превосходит своего предшественника во всех размерах моделей, сохраняя при этом те же скорости работы в реальном времени. Применение Модель RT-DETRv2 эффективно используется для обнаружения объектов на изображениях. Процесс использования включает загрузку предварительно обученной модели и процессора изображений, подготовку входного изображения и последующую обработку полученных результатов. Ниже представлен краткий пример использования: from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor # Загрузка изображения image = Image.open(requests.get(url, stream=True).raw) # Инициализация процессора изображений и модели image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r50vd") model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r50vd") # Обработка изображения и получение предсказаний inputs = image_processor(images=image, return_tensors="pt") outputs = model(**inputs) results = image_processor.post_process_object_detection(outputs, ...) В результате работы модели вы получите список обнаруженных объектов с их классами, оценками достоверности и координатами ограничивающих рамок. Модель способна распознавать людей велосипеды машины автобусы самолеты и многие другие объекты (всего 50 классов) что делает её универсальным инструментом для различных задач компьютерного зрения. Обучение RT-DETRv2 была обучена на наборе данных COCO (Lin et al. [2014]) train2017 и валидирована на наборе данных COCO val2017. Она обеспечивает стандартные метрики качества на этих бенчмарках, подтверждая свою эффективность для задач обнаружения объектов. Ссылки PekingU/rtdetr_v2_r50vd Источник: https://qubu.ai/models/rt-det-rv2-obnaruzhenie-obyektov-v-realnom-vremeni-s-uluchshennoi-bazoi License: MIT