Как дообучить Ultralytics YOLO26 для сегментации экземпляров

Благодаря последним технологическим достижениям многие умные системы, незаметно, но существенно влияющие на нашу жизнь, работают на базе ИИ. Например, ИИ незаметно выполняет свою работу, когда автомобиль проезжает на красный свет и камера автоматически фиксирует нарушение или когда автоматизированная система контроля качества обнаруживает производственный дефект на конвейере.

В частности, направление ИИ, известное как компьютерное зрение, позволяет машинам интерпретировать и понимать изображения и видео. Компьютерное зрение помогает системам распознавать объекты, отслеживать движение и анализировать визуальные детали в реальном времени, что делает его незаменимым для мониторинга дорожного движения, промышленного контроля и робототехники.

Эти возможности обеспечивают модели компьютерного зрения, например Ultralytics YOLO26, которая поддерживает различные задачи, включая обнаружение объектов и сегментацию экземпляров. Обнаружение объектов находит объекты и отмечает их простыми ограничивающими рамками, а сегментация экземпляров идёт дальше и очерчивает каждый объект на уровне пикселей, обеспечивая более точные и надёжные результаты в реальных условиях.

Рис. 1. Сегментация объектов на изображении с помощью Ultralytics YOLO26

Модели вроде Ultralytics YOLO26 предварительно обучены и сразу готовы сегментировать обычные объекты: людей, автомобили и животных. Однако для более узких задач их можно дообучить на собственных данных. Иными словами, модели можно научить распознавать нужные объекты и точно очерчивать их.

В этой статье мы разберём, как дообучить Ultralytics YOLO26 для сегментации экземпляров. Начнём!

Что такое сегментация экземпляров?#

Прежде чем переходить к обучению моделей, давай разберёмся, что именно означает сегментация экземпляров.

Сегментация экземпляров — это задача компьютерного зрения, в которой модель находит каждый отдельный объект на изображении и очерчивает его точную форму. Вместо того чтобы просто определять наличие объекта, модель анализирует каждый пиксель изображения и решает, принадлежит ли он конкретному объекту.

Это позволяет разделять объекты, даже если они перекрываются или находятся очень близко друг к другу. Визуально представить сегментацию экземпляров помогает маска.

Маска — это контур на уровне пикселей, который покрывает только область объекта. Представь, что ты раскрашиваешь объект маркером, не затрагивая ничего вокруг.

Для каждого объекта создаётся отдельная маска, поэтому модель может отличить один объект от другого, даже если они относятся к одному типу, например два автомобиля или два человека, стоящих рядом.

Рис. 2. Пример сегментации экземпляров

Чтобы лучше понять, что такое сегментация экземпляров, сравним её с другими распространёнными задачами компьютерного зрения. При обнаружении объектов используются ограничивающие рамки — простые прямоугольники вокруг объектов. Они работают быстро и полезны, но не передают точную форму объекта.

Семантическая сегментация, напротив, присваивает каждому пикселю изображения категорию, но не различает отдельные объекты одного класса. Сегментация экземпляров объединяет преимущества обоих подходов: определяет категории объектов и назначает отдельную маску каждому из них.

Благодаря такой детальной информации сегментация экземпляров особенно полезна в реальных приложениях, например для автоматизированного контроля качества, анализа медицинских изображений и робототехники. Понимание объектов на уровне пикселей помогает решать задачи, требующие точных измерений, чётких границ или разделения объектов.

Ultralytics YOLO26 поддерживает сегментацию экземпляров#

Ultralytics YOLO26 — это современная сквозная модель компьютерного зрения без подавления немаксимумов (NMS), созданная для быстрой и эффективной работы с задачами компьютерного зрения в реальных условиях. Она входит в семейство моделей обнаружения Ultralytics YOLO, которые обрабатывают изображения и видео в реальном времени и обеспечивают точные результаты.

Ultralytics YOLO26 поддерживает в рамках единой системы несколько задач компьютерного зрения, включая обнаружение объектов, оценку позы, классификацию изображений, обнаружение ориентированных ограничивающих рамок (обнаружение OBB) и сегментацию экземпляров.

Ultralytics YOLO26 поставляется предварительно обученной: она уже научилась распознавать распространённые объекты, например людей, транспорт и повседневные предметы, на крупных и широко используемых наборах данных, таких как COCO и ImageNet. Ты можешь сразу начать использовать модель без дополнительного обучения.

Однако если твоё приложение работает с уникальными объектами, специфичной средой или необычными условиями освещения, обучение собственной модели может существенно улучшить результаты. Обучив Ultralytics YOLO26 на собственных размеченных изображениях, ты сможешь точно указать модели, что искать и как более точно очерчивать объекты в соответствии с твоей задачей.

Этот процесс также называют дообучением. Вместо обучения модели с нуля дообучение начинается с предварительно обученной Ultralytics YOLO26 и постепенно адаптирует её на твоих данных. Модель уже распознаёт общие визуальные закономерности — границы, формы и текстуры, — поэтому ей требуется гораздо меньше размеченных изображений и времени, чтобы научиться распознавать нужные тебе объекты.

Проще говоря, дообучение быстрее, эффективнее и доступнее, чем обучение модели с нуля. Дообучить Ultralytics YOLO26 — практичное решение даже для новичков и команд с ограниченными данными и вычислительными ресурсами.

Применение Ultralytics YOLO26 для сегментации экземпляров#

Где сегментация экземпляров может быть особенно полезна? В ситуациях, когда важно различать объекты и понимать их точную форму, особенно если объектов много или они перекрываются.

Вот несколько распространённых рабочих процессов, в которых сегментация экземпляров действительно полезна:

• Аэрофотосъёмка и съёмка с дронов: эта задача позволяет дронам разделять на аэрофотоснимках такие объекты, как здания, транспорт и растительность, для картографирования, инспекции и съёмки местности.
• Спортивная аналитика: сегментация экземпляров помогает анализировать перемещения и взаимодействия игроков, отделяя отдельных спортсменов от фона во время матчей или тренировок.
• Мониторинг строительства и инфраструктуры: эта технология помогает выявлять элементы конструкций, трещины и повреждённые участки зданий, мостов и дорог для планирования обслуживания.
• Здравоохранение и медицинская визуализация: сегментация экземпляров позволяет точно очерчивать клетки, ткани и медицинские инструменты, помогая повысить точность анализа и диагностики.
• Сельское хозяйство и мониторинг окружающей среды: эта технология помогает обнаруживать и разделять сельскохозяйственные культуры, плоды и болезни растений, упрощая оценку урожайности и точечную обработку.

Рис. 3. Пример сегментации сорняков с помощью YOLO26 (источник)

Как работает дообучение Ultralytics YOLO26 для сегментации экземпляров#

Теперь давай обсудим, как проходит дообучение. Процесс может показаться технически сложным, но в целом он довольно прост.

Подготовь изображения, разметь объекты, которым должна научиться модель, настрой небольшой файл параметров, а затем обучи YOLO26 с помощью пакета Ultralytics для Python. Пакет Ultralytics для Python — это программная библиотека с готовыми инструментами для обучения, тестирования и развёртывания моделей YOLO, поэтому создавать всё с нуля не нужно.

Шаг 1. Подготовь собственный набор данных#

Первый шаг — подготовить собственный датасет для сегментации. Датасет — это просто набор изображений, на которых показаны объекты, которым ты хочешь научить модель.

Постарайся включить изображения, отражающие реальные условия: разные ракурсы, освещение, фоны и размеры объектов. Чем разнообразнее будут изображения, тем лучше будет работать модель.

Для сегментации экземпляров также нужны аннотации к изображениям. Аннотирование — это разметка объектов на каждом изображении, чтобы модель знала, чему учиться. Вместо простых рамок ты будешь обводить каждый объект детальными контурами (полигонами), отмечая его точную форму. Эти контуры становятся масками, которые модель учится предсказывать.

Для создания такой разметки можно использовать несколько инструментов с открытым исходным кодом. Многие из них предлагают удобный интерфейс: в нём можно загрузить изображения и нарисовать контуры объектов прямо на них.

Когда изображения и аннотации будут готовы, можно распределить их по папкам для обучения и валидации. Обычно 80% изображений используют для обучения, а 20% — для валидации, хотя распространён и вариант 70% для обучения и 30% для валидации — в зависимости от размера датасета. На обучающей выборке модель учится, а валидационную используют, чтобы оценить её работу на изображениях, которых она раньше не видела.

Важно сохранять баланс при таком разделении и следить, чтобы в обеих папках были разные примеры. Чистый, хорошо размеченный датасет с корректным разделением на обучающую и валидационную выборки — основа качественной модели сегментации экземпляров.

Шаг 2. Создай YAML-файл датасета#

Подготовив изображения и аннотации, создай YAML-файл датасета. В нём указывается расположение датасета и классы объектов, которым модель должна научиться во время обучения.

В этом файле можно задать корневую директорию датасета, пути к папкам с обучающими и валидационными изображениями, а также список названий классов. Названия классов нужно перечислить в том же порядке, что и номера классов в файлах аннотаций, чтобы всё правильно соответствовало друг другу.

Если у тебя есть вопросы о точном формате, обратись к официальной документации Ultralytics, чтобы узнать больше.

Шаг 3. Установи пакет Ultralytics для Python#

Теперь, когда датасет и YAML-файл готовы, установи пакет Ultralytics для Python.

В пакет входят инструменты для обучения, валидации, инференса и экспорта моделей Ultralytics YOLO26. Он позволяет удобно работать с моделями YOLO, не создавая сложные конвейеры обучения с нуля.

Перед установкой пакета Ultralytics для Python также важно выбрать, где ты будешь запускать код. Работать с пакетом Ultralytics можно в нескольких средах разработки, например:

• Интерфейс командной строки (CLI): текстовая среда, в которой ты взаимодействуешь с компьютером, вводя команды. Вместо нажатия кнопок и перемещения по меню, как в графическом интерфейсе, ты вводишь текстовые инструкции, чтобы напрямую запускать программы и выполнять задачи.
• Jupyter Notebooks: интерактивная среда, где ты пишешь и запускаешь код небольшими фрагментами и сразу видишь результат. Это удобно для экспериментов и обучения.
• Google Colab: облачная платформа для ноутбуков, которая не требует локальной установки и при желании предоставляет доступ к графическим процессорам (GPUs). Для новичков это часто самый простой вариант.

Выбрав среду, можно установить пакет Ultralytics для Python. Для установки выполни следующую команду:

pip install ultralytics

Если ты работаешь в среде на основе ноутбуков, например Google Colab или Jupyter Notebook, добавь восклицательный знак в начало команды. Если при установке возникнут проблемы, обратись к документации Ultralytics или руководству по устранению неполадок, где приведены распространённые решения и советы по настройке среды.

После установки можно загрузить предварительно обученную модель сегментации Ultralytics YOLO26 и начать обучение.

Шаг 4. Обучи Ultralytics YOLO26 для сегментации экземпляров#

Перед началом обучения нужно выбрать размер модели. Модели Ultralytics YOLO26 доступны в нескольких размерах: Nano (n), Small (s), Medium (m), Large (l) и Extra Large (x).

Модели меньшего размера обучаются быстрее и эффективнее работают на центральных процессорах (CPUs) или периферийных устройствах, тогда как более крупные модели обычно обеспечивают более высокую точность, но требуют больше памяти и выигрывают от ускорения на GPU. Если ты только начинаешь или работаешь на ограниченном оборудовании, практичным выбором станет версия Nano (YOLO26n).

Выбрав размер модели, загрузи предварительно обученную модель сегментации и начни обучать её на собственном датасете. Для этого укажи файл предварительно обученной модели, путь к YAML-файлу датасета, количество эпох и размер изображения, как показано ниже.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.train(data="path/to/file.yaml", epochs=100, imgsz=640)

Количество эпох определяет, сколько раз модель проходит весь обучающий датасет. На каждой эпохе модель делает предсказания, сравнивает их с правильными аннотациями, вычисляет ошибки и обновляет внутренние параметры, чтобы повысить качество работы.

Если обучение начнётся правильно, в терминале или ноутбуке отобразятся конфигурация модели, сканирование датасета и ход обучения. По мере обучения после каждой эпохи будут обновляться значения функции потерь и метрики оценки, показывая, как со временем улучшается модель.

Шаг 5. Оцени производительность модели, обученной на собственных данных#

Когда обучение завершится, можно изучить метрики производительности модели и проверить её качество. В Google Colab перейди в папку “runs”, затем в папку “segment” и, наконец, в папку “train” — там находятся журналы с ключевыми показателями производительности.

Для пользователей, работающих в среде Python, результаты обучения по умолчанию сохраняются в директории “runs/train/” в текущей рабочей директории. Для каждого запуска обучения создаётся новая вложенная директория, например runs/train/exp или runs/train/exp2, где можно найти журналы, сохранённые веса и другие результаты эксперимента.

Если ты используешь CLI, просматривать эти результаты и управлять ими можно с помощью команды “yolo settings”. Эта команда позволяет просматривать и изменять пути и настройки, связанные с журналами обучения и сведениями об экспериментах.

Среди сохранённых результатов также будут графики, построенные во время обучения. Они показывают, как со временем улучшалась модель. Например, на них видно, как снижалась функция потерь по мере обучения и как на протяжении эпох росли такие метрики оценки, как точность, полнота и средняя точность.

Рис. 4. Примеры графиков, которые можно анализировать для оценки модели (источник)

Эти визуальные тенденции помогают понять, успешно ли обучилась модель и насколько она улучшилась от начала до конца обучения. Изучив и числовые метрики, и графики, ты получишь более ясное представление о работе модели сегментации экземпляров перед тестированием на новых изображениях.

Шаг 6. Протестируй модель и запусти инференс#

Проверив модель, протестируй её на новых изображениях. Этот процесс называется инференсом: обученная модель делает предсказания на данных, которых раньше не видела.

Инференс в Python можно запустить так:

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

В этом примере вместо "path/to/image.jpg" укажи путь к изображению, на котором хочешь протестировать модель.

Параметр “save=True” указывает модели создать и сохранить новое изображение, где предсказанные маски сегментации наложены на исходное изображение.

Параметр “conf=0.3” задаёт порог уверенности: модель покажет только те предсказания, в правильности которых она уверена как минимум на 30%. Если уменьшить это значение, может появиться больше детекций; если увеличить — модель будет отбирать их строже.

После выполнения команды модель создаст новую папку в директории runs и сохранит в ней изображение с результатом. Открой сохранённое изображение и визуально проверь, насколько хорошо маски сегментации повторяют границы объектов и правильно ли разделены перекрывающиеся объекты.

Тестирование модели на разных изображениях, фонах и условиях освещения поможет лучше понять, как она работает за пределами обучающего датасета. Когда результаты станут стабильными и точными, модель будет готова к экспорту и развёртыванию.

Шаг 7. Экспортируй и разверни модель#

Протестировав модель и убедившись, что она работает хорошо, экспортируй и разверни её. Экспорт преобразует обученную модель Ultralytics YOLO26 в формат, который можно запускать в разных средах: например, на производственных серверах, периферийных устройствах или мобильных приложениях.

Ultralytics поддерживает множество форматов экспорта, поэтому ты можешь выбрать тот, который лучше всего подходит для своей конфигурации развёртывания. Например, можно экспортировать модель в ONNX для широкой совместимости между платформами, в TensorRT для оптимизированной производительности на GPU с оборудованием NVIDIA или в OpenVINO для эффективного развёртывания на CPU-устройствах Intel. Эти интеграции упрощают запуск модели вне среды обучения и помогают добиться высокой производительности в реальном времени.

Экспортировать модель в Python можно следующей командой:

model.export(format="onnx")

Эта команда преобразует обученную модель в формат ONNX. В зависимости от требований к развёртыванию вместо "onnx" можно указать другой поддерживаемый формат.

После экспорта модель можно интегрировать в такие приложения, как веб-сервисы, встраиваемые системы компьютерного зрения, робототехнические платформы или системы промышленного контроля. На этом этапе модель Ultralytics YOLO26 для сегментации экземпляров, обученная на собственных данных, готова перейти от экспериментов к реальному развёртыванию.

Главные выводы#

Обучение Ultralytics YOLO26 на собственных данных для сегментации экземпляров позволяет создать модель, точно подходящую для твоего конкретного сценария использования. Подготовив качественный датасет, настроив YAML-файл, проведя обучение с предварительно обученными весами сегментации и изучив результаты, ты научишь модель точно обводить каждый объект на уровне пикселей. После тестирования и экспорта модель YOLO26 можно перенести из разработки в реальные приложения разных масштабов.

Присоединяйся к нашему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Если ты хочешь создать собственный проект в области ИИ для компьютерного зрения, изучи наши варианты лицензирования. Узнай больше о таких сферах применения, как ИИ в здравоохранении и ИИ для компьютерного зрения в розничной торговле, на страницах наших решений.