induction soldering control system

О сервисе

Традиционный контроль процесса индукционной пайкой включает в себя использование пирометрических датчиков, но пары, которые появляются при нагревании и плавлении флюса могут исказить значения показателей пирометров, что может привести к появленю брака на производстве. Предлагаемая система компьютерного зрения, в реальном времени, посредством анализа видеопотока, определяет этапы технологического процесса индукционной пайки без необходимости использовать данные пирометров. А также способна обнаруживать дефекты паянного соединения для контроля возникновения ошибки оператора при установки детали. Содержание модели Модель обучалась на изображениях дефектов паянного соединения и этапов технологического процесса пайки. В процессе обучения были достигнуты следующие метрики: модель детекции, на базе Yolov9t - mAP50 = , mAP50-95 = , F1 = , Precision = , Recall = модель сегментации на базе Yolo11s-seg - для обнаружения сегмента - mAP50(B) = 0,93, mAP50-95(B) = 0,83, F1(B) = 0,88, Precision(B) = 0,927, Recall(B) = 0,85, для отрисовки маски - mAP50(М) = 0,933, mAP50-95(М) = 0,751, F1(М) = 0,89, Precision(М) = 0,936, Recall(М) = 0,86. Инференс работы модели сегментации и детекции достигает 39мс и 29мс, соответственно. Инференс был достигнут на компьютере с характеристиками: Процессор 3,20 Ггц, Оперативная память 16Гб, Графический процессор NVIDIA GeForce GTX 1050 Ti (4 GB). Что делает модель На вход модели подается видео процесса пайки, это может быть как видеопоток с видеокамеры, так и загруженное видео процесса в программу. В результате работы программы появляется отображение этапа технологического процесса или, если имеется, дефекта паянного соединения. Вход и выход Вход — прямой видеопоток с камеры или видеофайл в формате .mp4, изображение в форматах .png или .jpg. Выход — видео или иозображение с отображением маски и ограничивающей рамки сегмента, при появлении дефекта, также. появляется ограничивающая рамка дефекта. Примеры работы Загрузка видео в программу и обнаружение этапа технологического процесса. Добавляем путь к видеофайлу. В настройках выбираем используемую модель, в нашем случае - сегментация. Пути к моделям установлены по умолчанию, при необходимости их можно заменить. В результате получаем видео, с отображением этапа технологического процесса, в данном случае, это этап Предварительный нагрев. Рассмотрим ситуацию, когда необходимо определить дефект паянного соединения. Выбираем в настройках "Детекция", и загружаем в папку путь к изображению с дефектом. В результате работы программы получаем изображение с указанным дефектом паянного соединения, например, перегрев, который указан на рисунке ниже. Также существует возможность выбрать обе работы для модели, и детекцию и сегментацию. В таком случае обе модели будут работать совместно. Обучающие данные В качестве набора данных использовались фотографии паяных соединений волноводных трактов с одним из дефектов. Но поскольку индукционная пайка — ресурсоемкий процесс, было сделано всего 250 изображений. В обучающем наборе данных для определения были выделены и вручную размечены три класса – перегрев, непропай и прожог. Класс "прожог" составил 69 изображений, "непропай" - 74, "перегрев" - 228. Перегрев возникает когда металл и припой доведены до избыточно высокой температуры без явного прожога. Прожог представляет собой локальное прожигание основного металла (сквозное отверстие или сильное утончение стенки). Непропай это частичное заполнение зазора припоем: видны пустоты, разрывы. Для расширения датасета была применена аугментация данных в результате которой было получено 1679 изображений. Технические требования Аппаратные требования: Тип вычислительного устройства: GPU (с поддержкой CUDA) рекомендуется для обработки в реальном времени. CPU поддерживается как fallback, но FPS будет существенно ниже. Минимальный объём видеопамяти (VRAM): 2 ГБ , рекомендуется 4–6 ГБ для стабильной работы двух моделей одновременно без пропусков кадров. Оперативная память (RAM): минимум 4 ГБ, рекомендуется 8 ГБ и более для корректной работы Python, PyTorch, OpenCV, Flet и буферизации видеопотока. Программное окружение: Операционные системы: Windows 10/11 , Linux и macOS совместимы при корректной настройке драйверов видеозахвата. Версия Python: 3.9 – 3.11. Перечень зависимостей: torch, torchvision, ultralytics, opencv-python, flet, numpy, стандартные модули Python (threading, base64, os, time).Требуется наличие предобученных весов в формате .pt. Требования к входным данным: Форматы файлов: Видеопоток с веб-камеры или локальные видеофайлы/изображения, поддерживаемые OpenCV. Допустимое разрешение или размер файла: Входное разрешение камеры/видео — от 640×480 и выше. Ограничений на размер файла нет, но для плавной обработки в реальном времени рекомендуется использовать локальные файлы до 2–4 ГБ или потоковую передачу без перекодирования. Цветовое пространство: 3-канальное цветное видео. Поддержка градаций серого (grayscale) или 1-канальных изображений не предусмотрена. Источник: https://qubu.ai/models/induction-soldering-control-system License: MIT