Как разнообразить данные с помощью аугментаций Albumentations

При создании решения для компьютерного зрения сбор разнообразных изображений для обучения моделей Vision AI может стать важным этапом работы. На это часто уходит много времени и денег, а иногда собранные изображения всё равно недостаточно разнообразны для эффективного обучения моделей.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, можно дообучать на пользовательских наборах изображений для решения различных задач компьютерного зрения в разных приложениях. Разнообразие данных важно, потому что оно помогает модели лучше обобщать знания и распознавать объекты и закономерности в самых разных реальных сценариях.

Если тебе не хватает разнообразных данных, отличным решением могут стать методы аугментации изображений. Поворот и отражение изображений, а также изменение яркости помогут разнообразить набор данных и улучшить способность модели работать в более широком диапазоне условий.

Поэтому Ultralytics поддерживает интеграцию для аугментации изображений. С помощью Albumentations — популярного инструмента с набором преобразований — ты можешь создавать разнообразные визуальные данные. Эта интеграция упрощает обучение YOLO11, автоматически аугментируя обучающие изображения и повышая производительность модели.

В этой статье мы рассмотрим, как использовать интеграцию Albumentations, какие преимущества она даёт и как влияет на обучение модели.

Что такое Albumentations?#

Модели компьютерного зрения могут учиться на большом наборе качественных изображений и распознавать объекты в разных условиях. Сбор больших наборов данных из реальных источников может быть медленным, дорогим и неэффективным. Чтобы упростить эту задачу, используй аугментацию изображений: она создаёт новые варианты существующих изображений и помогает моделям учиться на разных сценариях без сбора дополнительных данных.

В частности, можно использовать Albumentations — библиотеку с открытым исходным кодом, представленную в 2018 году для эффективной аугментации изображений. Она поддерживает различные операции: от простых геометрических преобразований, таких как поворот и отражение, до более сложных изменений, например яркости, контрастности и добавления шума.

Рис. 1. Примеры различных типов аугментации изображений.

Ключевые особенности Albumentations#

Albumentations известна высокой производительностью: она быстро и эффективно обрабатывает изображения. Библиотека построена на оптимизированных инструментах, таких как OpenCV и NumPy, и обрабатывает большие наборы данных за минимальное время, что делает её идеальной для быстрой аугментации данных во время обучения модели.

Вот ещё несколько ключевых особенностей Albumentations:

• Широкий набор преобразований: Albumentations предлагает более 70 видов аугментации. Благодаря этим изменениям модели учатся обнаруживать объекты, несмотря на различия в освещении, ракурсах и фоне.
• Оптимизация скорости: библиотека использует передовые методы оптимизации, такие как SIMD (одна инструкция — множество данных), обрабатывающий несколько элементов данных одновременно. Это ускоряет аугментацию изображений и позволяет эффективно работать с большими наборами данных.
• Три уровня аугментации: библиотека расширяет данные тремя способами. Например, аугментация на уровне пикселей изменяет яркость и цвет, не затрагивая объекты. Аугментация на пространственном уровне меняет положение объектов, сохраняя важные детали, а аугментация на уровне смешивания объединяет части разных изображений для создания новых примеров.

Зачем использовать интеграцию Albumentations?#

Возможно, ты спросишь: есть много способов аугментировать набор данных, и можно даже создать собственные преобразования с помощью таких инструментов, как OpenCV. Зачем же выбирать интеграцию с библиотекой вроде Albumentations?

Создание аугментаций вручную с помощью таких инструментов, как OpenCV, может занять много времени и требует определённой квалификации. Кроме того, бывает непросто подобрать оптимальные параметры преобразований. Интеграция Albumentations упрощает эту работу. Она предлагает множество готовых преобразований, которые помогают сэкономить время и силы при подготовке набора данных.

Ещё одна причина выбрать интеграцию с Albumentations — её совместимость с конвейером обучения моделей Ultralytics. Она значительно упрощает дообучение YOLO11: аугментации автоматически применяются во время обучения вместе со встроенными аугментациями Ultralytics. Это упрощает процесс, позволяя сосредоточиться на улучшении модели, а не на подготовке данных.

Начало работы с интеграцией Albumentations#

Как ни удивительно, обучать Ultralytics YOLO11 с помощью интеграции Albumentations проще, чем может показаться. После установки нужных библиотек интеграция автоматически применяет аугментации изображений во время обучения. Благодаря этому модель учится на разных вариантах изображений из одного и того же набора данных.

Теперь разберём, как установить и использовать интеграцию Albumentations при дообучении Ultralytics YOLO11.

Установка пакета Ultralytics для Python и Albumentations#

Перед применением аугментаций нужно установить пакет Ultralytics Python и Albumentations. Интеграция изначально настроена на совместную работу обеих библиотек, поэтому сложные конфигурации не потребуются.

Весь процесс установки занимает всего пару минут и выполняется одной командой с помощью pip — менеджера пакетов для установки библиотек Python, как показано на изображении ниже.

Рис. 2. Установка Ultralytics и Albumentations.

После установки Albumentations режим обучения моделей Ultralytics автоматически применяет аугментации изображений во время обучения. Если Albumentations не установлен, аугментации применяться не будут. Ты также можешь заменить аугментации по умолчанию своими преобразованиями Albumentations, передав их в аргумент обучения augmentations.

Обучение Ultralytics YOLO11 с помощью интеграции Albumentations#

Давай подробнее разберём, что происходит при работе интеграции Albumentations.

Рассмотрим подробнее аугментации, применяемые во время обучения Ultralytics YOLO11:

• Размытие: это преобразование слегка размывает изображение. Оно помогает модели обнаруживать объекты, даже если те не в фокусе.
• Медианное размытие: оно уменьшает случайный шум, сохраняя границы объектов на изображении. Благодаря этому модели проще обнаруживать объекты в сложных условиях.
• Оттенки серого: преобразование изображения в чёрно-белый формат может помочь модели сосредоточиться на формах и текстурах, а не на цветах.
• CLAHE (адаптивное выравнивание гистограммы с ограничением контраста): эта аугментация повышает контрастность изображений, особенно на слишком тёмных или плохо различимых участках, например при слабом освещении или в дымке. Благодаря этому объекты в таких областях становятся чётче и проще для распознавания моделью.

Рис. 3. Пример аугментации в оттенках серого на изображении кошки.

Применение Ultralytics YOLO11 и интеграции Albumentations#

Если ты дообучаешь Ultralytics YOLO11 для конкретного приложения, интеграция Albumentations поможет повысить производительность модели, адаптировав её к разным условиям. Рассмотрим несколько практических примеров и проблем, которые помогает решить эта интеграция.

Улучшение медицинской визуализации#

Vision AI в здравоохранении помогает врачам точнее анализировать медицинские изображения, ставить диагнозы и улучшать качество ухода за пациентами. Уже около пятой части медицинских организаций используют решения на основе ИИ.

Однако создание таких решений для компьютерного зрения связано с рядом сложностей. Результаты медицинского сканирования могут сильно различаться в разных больницах из-за различий в оборудовании и настройках, а также опыта специалистов. Различия в яркости, контрастности и экспозиции влияют на стабильность и точность моделей Vision AI, затрудняя их надёжную работу в разных условиях.

Именно поэтому интеграция таких инструментов, как Albumentations, играет важную роль. Создавая несколько аугментированных версий одного и того же снимка, Albumentations позволяет модели обучаться на изображениях разного качества. Благодаря этому модель становится устойчивее и точнее обнаруживает заболевания как на изображениях высокого, так и низкого качества.

Рис. 4. Аугментированные рентгеновские снимки.

Повышение эффективности систем безопасности и видеонаблюдения#

Ещё одна интересная область применения Vision AI — безопасность и видеонаблюдение. Обнаружение объектов в реальном времени помогает службам безопасности быстро выявлять потенциальные угрозы.

Одна из главных проблем этой сферы заключается в том, что камеры видеонаблюдения снимают в самых разных условиях освещения в течение дня, а эти условия могут существенно влиять на то, как модель интерпретирует изображения. Слабое освещение, блики или плохая видимость затрудняют стабильное обнаружение объектов и распознавание потенциальных угроз моделями компьютерного зрения.

Интеграция Albumentations помогает имитировать разные условия освещения с помощью преобразований. Благодаря этому модель учится обнаруживать объекты и при ярком свете, и при слабом освещении, что повышает её надёжность и ускоряет реакцию в сложных условиях.

Новый подход к рабочим процессам в розничной торговле и клиентскому опыту#

Пролитая жидкость в проходе супермаркета, собака, бегущая через магазин, или ребёнок, опрокидывающий витрину с товарами, — вот лишь несколько примеров повседневных событий, которые могут стать нестандартными ситуациями для Vision AI в розничной торговле. Компьютерное зрение всё чаще используют для улучшения клиентского опыта: отслеживания поведения покупателей, контроля потока посетителей и распознавания товаров на полках. Однако системам ИИ бывает трудно понять и точно обработать такие ситуации из реального мира.

Хотя набор данных для компьютерного зрения не может охватить все сценарии, интеграция Albumentations помогает аугментировать данные и учитывать множество возможных ситуаций, например неожиданное освещение, необычные ракурсы или препятствия. Благодаря этому модели компьютерного зрения адаптируются к разным условиям, лучше справляются с нестандартными ситуациями и точнее предсказывают результаты в динамичной среде розничной торговли.

Главные выводы#

Собирать разнообразные данные из реального мира для обучения модели может быть сложно, но Albumentations упрощает эту задачу, создавая варианты изображений, которые помогают моделям адаптироваться к разным условиям.

Интеграция Albumentations, поддерживаемая Ultralytics, упрощает применение аугментаций при дообучении YOLO11. В результате повышается качество набора данных, что приносит пользу самым разным отраслям, позволяя создавать более точные и надёжные модели Vision AI.

Присоединяйся к нашему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Чтобы быстрее запустить свои проекты Vision AI, изучи варианты лицензирования. Интересуешься такими инновациями, как ИИ в производстве или компьютерное зрение в беспилотных автомобилях? Узнай больше на страницах наших решений.