5 причин, по которым модели компьютерного зрения терпят неудачу в продакшене

Компьютерное зрение сегодня — это ключевая технология искусственного интеллекта, внедряемая в большинстве отраслей. Она позволяет машинам интерпретировать и анализировать визуальные данные для широкого спектра задач. Эти системы поддерживают множество реальных приложений: от медицинской визуализации и робототехники до автоматизации производства и розничной торговли.

Однако создание системы компьютерного зрения не всегда простая задача. Обычно она включает разработку модели машинного зрения (vision AI model), которая обучается распознавать закономерности в изображениях и видео для выполнения задач, таких как обнаружение и отслеживание объектов.

Рис. 1. Пример обнаружения и отслеживания объектов (Источник)

Несмотря на то, что за прошедшие годы модели компьютерного зрения стали более совершенными, они все еще могут вести себя иначе во время разработки, чем после развертывания в реальных условиях. Это происходит потому, что эксплуатация моделей за пределами контролируемых сред разработки влечет за собой новые и зачастую неожиданные проблемы.

Такие факторы, как отсутствие разнообразия в наборах данных, плохой мониторинг модели и инфраструктурные ограничения, могут привести к тому, что одна и та же модель будет вести себя по-разному в реальном мире после развертывания.

В этой статье мы рассмотрим пять распространенных причин, по которым модели компьютерного зрения могут не работать в продакшене. Приступим!

Link to this sectionРазрыв между обучением модели и продакшеном#

Обучение модели обычно происходит в контролируемой среде. На этом этапе разработчики ИИ работают с тщательно подготовленными обучающими наборами данных.

Эти огромные коллекции визуальных данных включают хорошо структурированные аннотации или метки, которые описывают содержимое каждого изображения. Обучение также проходит в стабильных условиях, что позволяет моделям машинного зрения эффективно изучать визуальные закономерности.

Чтобы убедиться в правильном усвоении этих закономерностей, модели можно систематически оценивать в процессе разработки с помощью стандартных метрик оценки и наборов данных для тестирования. Подобно обучающим данным, эти тестовые наборы также готовятся очень тщательно.

Однако данные, с которыми сталкиваются реальные системы компьютерного зрения, могут сильно отличаться от тех, что использовались при обучении и оценке. После развертывания такие модели редко работают в контролируемых условиях.

Они могут обрабатывать изображения и видео из непредсказуемых сред, где постоянно меняется освещение, углы обзора камер и фоновая обстановка. Например, модель машинного зрения, обученная для обнаружения транспортных средств, может столкнуться с трудностями при распознавании автомобилей ночью, если она обучалась и оценивалась преимущественно на дневных изображениях.

Рис. 2. Даже после улучшения ночные изображения трудно интерпретировать моделям, обученным на дневных снимках. (Источник)

Эта разница между разработкой и реальным развертыванием — это разрыв между обучением и продакшеном. Из-за него многие сбои модели становятся заметны только после запуска, поэтому важно знать об этом заранее, чтобы создавать более надежные системы компьютерного зрения.

Link to this section5 распространенных причин, по которым модели компьютерного зрения дают сбои в продакшене#

Давай подробно рассмотрим пять частых причин сбоев моделей компьютерного зрения в продакшене.

Link to this sectionНизкое качество обучающих наборов данных#

Наборы данных играют центральную роль в обучении моделей компьютерного зрения, поскольку определяют, чему именно модель учится и как она будет реагировать на реальные входные данные после развертывания. Это особенно важно в обучении с учителем, где модели учатся на размеченных примерах, показывающих, что представляет собой каждое изображение.

Многие модели глубокого обучения, включая сверточные нейронные сети (CNN), полагаются на эти размеченные примеры для распознавания паттернов в визуальных данных. Однако, если обучающий набор данных не отражает реальные условия, модель может выучить паттерны, которые не полностью соответствуют тому, как выглядят объекты за пределами обучающей выборки.

Например, модель, обученная на наборе данных с крупными дефектами трещин, может не заметить редкий тип мелких трещин в реальных производственных процессах. Точно так же на поведение модели влияет качество аннотирования. Непоследовательные метки или пропущенные детали в данных могут привести к тому, что во время обучения модель усвоит неверную информацию.

Рис. 3. Взгляд на аннотации изображений (Источник)

В целом, качество и разнообразие обучающих данных имеют решающее значение и могут определять, насколько хорошо модель работает в реальных задачах. Когда наборы данных репрезентативны и точно размечены, модель, как правило, работает более надежно после развертывания.

Link to this sectionПереобучение и обобщение#

Модели машинного обучения, такие как модели машинного зрения, изучают закономерности в обучающих данных. Но иногда модель может слишком сильно полагаться на несколько конкретных паттернов.

Вместо изучения более широких визуальных связей она может запомнить лишь ограниченные паттерны из обучающей выборки. Такое поведение называется переобучением.

Переобучение обычно случается, когда обучающие наборы данных малы или им не хватает разнообразия. В таких случаях модель хорошо распознает уже виденные изображения, но с трудом интерпретирует новые данные или незнакомые входные сигналы.

Из-за этого модель может хорошо работать на тестовых данных (так как они похожи на обучающие), но вести себя иначе в новых условиях после развертывания. Вот почему концепция обобщения так важна. Проще говоря, это способность модели применять то, чему она научилась, к новым сценариям.

Чтобы уменьшить переобучение, энтузиасты ИИ обучают модели на более разнообразных наборах данных и применяют аугментацию — метод, который слегка модифицирует обучающие изображения для создания большей вариативности. Без этих мер производительность модели может быстро упасть, как только система начнет работать в реальной среде.

Рис. 4. Аугментация данных помогает создавать вариации одного и того же изображения в наборе данных. (Источник)

Link to this sectionСкрытые граничные случаи в реальных условиях#

Даже когда модели компьютерного зрения хорошо обобщают новые данные, реальная среда все равно может привнести неожиданные граничные случаи (edge cases). Это необычные ситуации, которые отличаются от типичных паттернов, изученных моделью при обучении.

Многие из таких сценариев сложно учесть при разработке, потому что они встречаются редко, их трудно воссоздать или дорого собирать в качестве данных для обучения. Например, объекты могут появляться в необычных формах, перемещаться непредсказуемо или быть частично скрыты другими предметами.

Изменения освещения, углов обзора камер или фонового окружения также могут создавать ситуации, затрудняющие распознавание. Эти граничные случаи часто становятся заметными только после того, как система развернута в реальном проекте.

Например, в робототехнике и автоматизации производства предметы могут быть размещены иначе, чем ожидалось, что создает ситуации, к которым модель не была готова. В итоге предсказания, казавшиеся надежными при тестировании, могут стать менее точными при работе системы в реальных условиях.

Link to this sectionНедостаток мониторинга и отладки после развертывания#

В дополнение к разработке модели машинного зрения, важно следить за ее эффективностью и улучшать её. Однако, как только система запущена, фокус часто смещается просто на поддержание ее работоспособности, а не на тщательное отслеживание показателей со временем. Как результат, изменения в поведении модели могут остаться незамеченными.

В то же время такие факторы, как изменение входящих данных, настроек камер или операционной среды, могут постепенно влиять на точность обнаружения или классификации объектов. Эти изменения не всегда очевидны и могут игнорироваться в ходе ежедневной эксплуатации.

Мониторинг выводов модели и общего поведения системы помогает командам быстрее выявлять подобные проблемы. Регулярные проверки, процедуры валидации и процессы отладки позволяют исследовать необычные результаты и понимать их причины.

В таких областях, как производство, модель может внезапно начать неверно определять объекты на сборочной линии после изменения конфигурации камеры. Отслеживание поведения развернутой системы машинного зрения упрощает реакцию на такие изменения и поддержание стабильной работы в реальных условиях.

Link to this sectionИнфраструктурные ограничения и задержки#

Многие системы компьютерного зрения должны работать в режиме реального времени, что создает серьезную нагрузку на оборудование, сети и конвейеры обработки. При нехватке ресурсов возникают задержки вычислений или сетевые задержки, из-за чего прогнозы поступают слишком медленно, что негативно влияет на общую производительность системы.

В некоторых случаях современные модели глубокого обучения также могут создавать инфраструктурные трудности. Например, архитектуры на основе Transformer предназначены для обработки огромных объемов визуальных данных и изучения сложных зависимостей, но они часто требуют значительных вычислительных мощностей. Для запуска таких моделей может понадобиться более мощное и дорогое оборудование.

Без надлежащей оптимизации даже те модели, которые работают быстро при тестировании, могут замедляться или вести себя нестабильно после развертывания. Чтобы решить эту проблему, команды оптимизируют пайплайны, по возможности снижают сложность модели и балансируют между точностью и скоростью.

Это может включать сжатие больших моделей до более легких версий, использование более эффективных архитектур или обработку изображений в меньшем разрешении для плавной работы на имеющемся железе. Зачастую команды также выбирают легкие и быстрые модели, такие как Ultralytics YOLO26, чтобы соответствовать ограничениям развертывания.

Link to this sectionЛучшие практики для предотвращения сбоев моделей компьютерного зрения#

Вот несколько лучших практик, которые помогут уменьшить количество сбоев при развертывании моделей компьютерного зрения в продакшене:

• Используй стратегии поэтапного развертывания: постепенно внедряй модели в продакшен, чтобы команда могла наблюдать за их поведением и при необходимости вносить коррективы.
• Внедряй циклы обратной связи: собирай новые изображения и пересматривай неверные предсказания для переобучения моделей на обновленных наборах данных, чтобы улучшать их работу со временем.
• Документируй ограничения модели: четко фиксируй ситуации, в которых модель может работать со сбоями, чтобы команда могла предугадать потенциальные проблемы при развертывании.
• Проектируй с учетом изменчивости реального мира: предварительное планирование изменений в освещении, углах обзора камер, размещении объектов или фоне помогает сделать модели более стабильными в разных сценариях эксплуатации.

Link to this sectionОсновные выводы#

Модели компьютерного зрения редко выходят из строя из-за слабости самих алгоритмов. В большинстве случаев настоящая проблема кроется в среде, в которой работают эти системы. Модели, которые отлично показывают себя при обучении, часто сталкиваются с непредсказуемыми реальными условиями, которые могут повлиять на их поведение.

Вот почему создание надежных систем ИИ машинного зрения требует не просто обучения модели. Это также включает тщательную подготовку наборов данных, мониторинг производительности модели после развертывания и постоянную адаптацию систем к условиям реального мира.

Хочешь узнать больше об ИИ машинного зрения? Присоединяйся к нашему сообществу и читай о таких применениях, как ИИ в автомобильной отрасли и компьютерное зрение в логистике. Ознакомься с нашими вариантами лицензирования, чтобы начать проекты в области компьютерного зрения. Посети наш репозиторий на GitHub, чтобы узнать больше.