AI visual defect inspection (machine vision)

AI visual defect inspection заменяет ручной визуальный контроль на автоматический анализ кадров с производственной линии. Система подключается к существующим камерам QA-поста или устанавливается новыми модулями над конвейером. Каждое изделие проходит через кадр — модель компьютерного зрения классифицирует его как годное или бракованное, отмечает координаты дефекта и передаёт сигнал в PLC, SCADA или систему мониторинга.

Что происходит на практике

1. Камера фиксированного ракурса снимает каждое изделие в контрольной точке линии.
2. Пайплайн препроцессинга нормализует кадр: корректирует экспозицию, ракурс, масштабирует до разрешения модели.
3. Модель компьютерного зрения классифицирует изделие: тип дефекта, уверенность, bounding box с координатами.
4. Результат сверяется с rubric: какие дефекты допустимы для данной партии, клиента, спецификации.
5. При браке система отдаёт сигнал PLC на следующую станцию — механическая отбраковка, пометка, остановка линии.
6. Метрики пишутся в observability-стек: смена, оператор, партия, тип дефекта, координаты.
7. При всплеске доли брака выше контрольного порога бросается алерт в мессенджер команды или систему тикетов.
8. Все изображения и вердикты архивируются — служат аудит-следом для претензий клиентов и дообучения модели.

Чего система не делает

• Не заменяет финальный контроль регламентированных изделий (медтех, авиация, пищевая продукция высокого риска). AI даёт первичный сигнал, человек подтверждает critical-детали и ставит подпись.
• Не обнаруживает типы дефектов, которых не было в обучающей выборке. Новые классы требуют дообучения и новых размеченных примеров, пополняющих датасет.
• Не устраняет причины брака. Система ловит дефект на выходе, но root cause analysis остаётся на технологах и process engineering.

Система строится из четырёх подсистем: захват изображения, инференс модели, принятие решения, интеграция с производством. Каждая подсистема критична — слабое звено обнуляет эффект целого.

Технический пайплайн

На уровне данных всё начинается с камеры. Промышленная камера с подходящим разрешением устанавливается над конвейером или на роботе-манипуляторе. Под неё подводится контролируемое освещение: диффузное, коаксиальное, структурированное или UV — выбор зависит от типа дефекта. Триггер кадра приходит от датчика позиции изделия или таймера линии.

Захваченный кадр попадает в edge-инференс-сервер (GPU-машина рядом с линией) или в облачный эндпоинт, если сеть стабильна и допустима нужная латентность. Модель состоит из двух голов: классификация (годно / не годно) и детекция (локализация дефекта с bounding box). Под каждый класс дефекта собирается размеченный набор изображений и обучается свёрточная нейросеть или vision transformer.

Результат инференса формализуется в JSON: id изделия, тип дефекта, уверенность, координаты, timestamp. Далее — rubric-движок: правила «какой уровень дефекта допустим» по партии, клиенту, ревизии чертежа. Вердикт попадает в PLC через промышленный протокол (OPC UA, MQTT) и одновременно в observability-стек, где строятся дашборды по долям брака, ложным срабатываниям и дрейфу модели.

Шаги внедрения

1. Аудит линии: где установить камеры, какое освещение нужно, сколько контрольных точек, какая латентность допустима.
2. Сбор и разметка данных: размеченная выборка на каждый класс дефекта, балансировка годных и бракованных изделий, согласование rubric с QA-отделом.
3. Обучение baseline-модели: transfer learning от предобученной CV-модели, валидация на hold-out выборке.
4. Пилот на одной линии: параллельная работа с ручным контролем, сбор метрик precision/recall, калибровка порогов.
5. Интеграция с PLC и MES: подписка на триггер, отправка вердикта, автоматическая отбраковка.
6. Настройка observability: дашборды, алерты по росту FP/FN, метрики дрейфа модели по смене, партии, сезону.
7. Регламент переобучения: кто размечает новые ошибочные кейсы, с какой периодичностью модель обновляется, как откатить к предыдущей версии.

Типовые компоненты

Основной источник ошибок — не модель, а железо. Блик, сдвиг камеры на миллиметр, смена партии плёнки на освещении ломают модель быстрее, чем изменения в изделии. Поэтому контроль дрейфа — обязательный модуль, а не nice-to-have.

Для запуска нужны три группы предпосылок: техника, данные, команда.

Техническая часть:

• Промышленная камера с достаточным разрешением и стабильным креплением над контрольной точкой.
• Контролируемое освещение под тип дефекта (диффузное, коаксиальное, структурированное).
• Edge-сервер с GPU рядом с линией или стабильный канал до облачного эндпоинта с допустимой латентностью.
• Доступ к PLC или MES через промышленный протокол (OPC UA, MQTT) или REST для передачи вердиктов.
• Сеть между камерой, сервером инференса и системой мониторинга.

Данные:

• Размеченная выборка изображений на каждый класс дефекта с балансом годных и бракованных образцов.
• Согласованный rubric: какие дефекты допустимы, какие — нет, как зависит от партии и клиента.
• Выборка edge-cases: редкие дефекты и граничные случаи, которые пропускает оператор ручного контроля.

Команда:

• QA-инженер, отвечающий за rubric и работающий в паре с разметчиками.
• Process engineer, который знает линию и может выделить окна для пилота без остановки производства.
• IT / OT-специалист для интеграции с PLC, MES и observability.
• Data engineer или ML-инженер для обучения и поддержки модели (свой или подрядчик).

Сроки: внедрение среднего сценария — 6–10 недель от аудита до промышленной эксплуатации на одной линии. Масштабирование на соседние линии занимает несколько недель на линию при сходной геометрии и освещении.