Использование аугментаций Albumentations для диверсификации твоих данных

Когда ты создаешь решение для computer vision, сбор разнообразного набора изображений для обучения моделей визуального ИИ может быть ключевой частью процесса. Это часто требует много времени и денег, а иногда собранные изображения все равно оказываются недостаточно разнообразными для эффективного обучения моделей.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучать на заказ на датасетах изображений для различных computer vision tasks, связанных с разными приложениями. Разнообразные данные имеют решающее значение, так как они помогают модели лучше обобщать, позволяя ей распознавать объекты и закономерности в самых разных реальных сценариях.

Если ты столкнулся с нехваткой разнообразных данных, методы аугментации данных изображений могут стать отличным решением. Такие методы, как поворот, отражение и настройка яркости, помогут увеличить разнообразие твоего набора данных, улучшая способность модели справляться с более широким спектром условий.

Именно поэтому Ultralytics поддерживает интеграцию для аугментации данных изображений. Используя Albumentations, популярный инструмент, предлагающий набор трансформаций, ты можешь создавать разнообразные визуальные данные. Эта интеграция упрощает процесс обучения YOLO11 путем автоматической аугментации тренировочных изображений, что приводит к улучшению производительности модели.

В этой статье мы рассмотрим, как ты можешь использовать интеграцию с Albumentations, её преимущества и влияние на обучение модели.

Что такое Albumentations?#

Computer vision models могут учиться на широком наборе высококачественных изображений, чтобы распознавать объекты в различных средах. Сбор больших датасетов из реальных источников может быть медленным, дорогостоящим и неэффективным. Чтобы упростить эту задачу, ты можешь использовать image data augmentation для создания новых вариаций существующих изображений, помогая моделям учиться на различных сценариях без сбора дополнительных данных.

В частности, ты можешь использовать Albumentations, open-source библиотеку, представленную в 2018 году для эффективной аугментации данных изображений. Она поддерживает множество операций: от простых геометрических изменений, таких как повороты и отражения, до более сложных корректировок, таких как яркость, контрастность и добавление шума.

Fig 1. Примеры различных типов аугментации данных изображений.

Ключевые особенности Albumentations#

Albumentations известна своей высокой производительностью, что означает ее способность быстро и эффективно обрабатывать изображения. Созданная на базе оптимизированных библиотек, таких как OpenCV и NumPy, она обрабатывает большие датасеты с минимальным временем обработки, что делает ее идеальной для быстрой аугментации данных во время обучения модели.

Вот некоторые другие ключевые особенности Albumentations:

• Широкий спектр трансформаций: Albumentations предоставляет более 70 типов аугментаций. Эти вариации помогают моделям научиться обнаруживать объекты, несмотря на изменения в освещении, углах обзора или фонах.
• Оптимизация скорости: Она использует передовые методы оптимизации, такие как SIMD (Single Instruction, Multiple Data), которые обрабатывают несколько точек данных одновременно, чтобы ускорить аугментацию изображений и эффективно работать с большими наборами данных.
• Три уровня аугментаций: Она улучшает данные тремя способами. Например, аугментации на уровне пикселей корректируют яркость и цвет, не изменяя объекты. В то же время, пространственные аугментации меняют положение объекта, сохраняя ключевые детали, а смешивающие аугментации объединяют части разных изображений для создания новых образцов.

Почему тебе стоит использовать интеграцию с Albumentations?#

Возможно, ты задаешься вопросом: существует много способов применить аугментации к набору данных, и ты даже можешь создавать свои собственные, используя инструменты вроде OpenCV. Итак, зачем выбирать интеграцию, поддерживающую такую библиотеку, как Albumentations?

Вручную создание аугментаций с помощью таких инструментов, как OpenCV, может занять много времени и требует определенной экспертизы. Также бывает непросто точно настроить трансформации для получения лучших результатов. Интеграция Albumentations делает этот процесс проще. Она предлагает множество готовых к использованию трансформаций, которые могут сэкономить твое время и усилия при подготовке dataset.

Еще одна причина выбрать интеграцию Albumentations заключается в том, что она плавно работает с конвейером model training в Ultralytics. Она значительно упрощает кастомное обучение YOLO11, так как аугментации применяются автоматически во время тренировки. Это упрощает процесс, позволяя тебе сосредоточиться больше на улучшении модели, а не на обработке данных.

Начало работы с интеграцией Albumentations#

Интересно, что использование интеграций Albumentations для обучения Ultralytics YOLO11 проще, чем кажется. Как только необходимые библиотеки настроены, интеграция автоматически применяет аугментацию изображений во время обучения. Это помогает модели учиться на различных вариациях изображений, используя тот же набор данных.

Давай разберем, как установить и использовать интеграцию Albumentations при кастомном обучении Ultralytics YOLO11.

Установка Python-пакета Ultralytics и Albumentations#

Перед применением аугментаций необходимо установить как Ultralytics Python package, так и Albumentations. Интеграция создана так, чтобы обе библиотеки работали вместе бесшовно по умолчанию, поэтому тебе не нужно беспокоиться о сложных настройках.

Весь процесс установки можно завершить всего за пару минут с помощью одной команды pip, которая является инструментом управления пакетами для установки библиотек Python, как показано на изображении ниже.

Fig 2. Установка Ultralytics и Albumentations.

После установки Albumentations режим обучения моделей Ultralytics автоматически применяет аугментации изображений во время тренировки. Если Albumentations не установлена, эти аугментации применяться не будут. Более подробную информацию ты можешь найти в official Ultralytics documentation.

Обучение Ultralytics YOLO11 с помощью интеграции Albumentations#

Давай лучше поймем, что происходит «под капотом» интеграции с Albumentations.

Вот более подробный обзор аугментаций, применяемых во время обучения Ultralytics YOLO11:

• Blur (Размытие): Эта трансформация добавляет небольшое размытие к изображению. Это помогает модели обнаруживать объекты, даже если они не в фокусе.
• Median blur (Медианное размытие): Оно уменьшает случайный шум, сохраняя края объектов на изображении. Это облегчает модели обнаружение объектов в сложных условиях.
• Grayscale (Оттенки серого): Преобразуя изображение в черно-белое, эта аугментация может помочь модели сосредоточиться на формах и текстурах, а не на цветах.
• CLAHE (Contrast limited adaptive histogram equalization): Эта аугментация усиливает контрастность изображений, особенно в областях, которые слишком темные или трудноразличимы, например, в условиях низкого освещения или задымленности. Это делает объекты в таких областях более четкими и легкими для идентификации моделью.

Fig 3. Пример применения градации серого к изображению кота.

Применение Ultralytics YOLO11 и интеграции Albumentations#

Если ты обучаешь Ultralytics YOLO11 под конкретную задачу, интеграция Albumentations поможет повысить производительность модели, адаптируя ее к различным условиям. Давай обсудим некоторые реальные сценарии применения и проблемы, которые эта интеграция позволяет решить.

Улучшение медицинских изображений#

Vision AI in healthcare помогает врачам анализировать медицинские изображения более точно, чтобы помогать в постановке диагнозов и улучшать уход за пациентами. Фактически, around a fifth of healthcare organizations уже используют решения на основе ИИ.

Однако создание этих решений в области computer vision сопряжено с собственным набором проблем. Медицинские сканы могут сильно различаться между больницами, на что влияют такие факторы, как разное оборудование, настройки и даже опыт техников. Вариации яркости, контрастности и экспозиции могут влиять на согласованность и точность моделей Vision AI, затрудняя их надежную работу в разных условиях.

Именно здесь интеграция таких инструментов, как Albumentations, становится необходимой. Создавая несколько аугментированных версий одного и того же скана, Albumentations позволяет модели учиться на разнообразном качестве изображений. Это помогает модели стать более устойчивой, позволяя ей точно обнаруживать заболевания как на изображениях высокого, так и низкого качества.

Fig 4. Аугментированные рентгеновские изображения.

Улучшение безопасности и наблюдения#

Еще одно интересное применение визуального ИИ — безопасность и видеонаблюдение. Real-time object detection может помочь командам безопасности быстро выявлять потенциальные угрозы.

Основная проблема, связанная с этим приложением, заключается в том, что камеры наблюдения снимают видео в различных условиях освещения в течение дня, и эти условия могут радикально влиять на то, как модель воспринимает такие изображения. Факторы, такие как условия низкой освещенности, блики или плохая видимость, могут затруднить обнаружение объектов или последовательное распознавание потенциальных угроз моделями computer vision.

Интеграция с Albumentations помогает, применяя трансформации для имитации различных условий освещения. Это позволяет модели учиться обнаруживать объекты как в ярко освещенных, так и в темных условиях, делая её более надежной и улучшая время отклика в сложных условиях.

Переосмысление розничных процессов и клиентского опыта#

Пролитая жидкость в проходе супермаркета, бегающая по магазину собака или ребенок, опрокинувший витрину с товаром — это лишь несколько примеров повседневных событий, которые могут стать краеугольными случаями для vision AI in retail окружений. Компьютерное зрение все чаще используется для улучшения пользовательского опыта путем отслеживания поведения покупателей, мониторинга пешеходного трафика и идентификации продуктов на полках. Однако такие реальные ситуации могут быть сложными для понимания и точной обработки ИИ-системами.

Хотя не каждый сценарий можно представить в наборе данных computer vision, интеграция с Albumentations помогает, аугментируя данные для охвата многих возможных ситуаций, таких как неожиданное освещение, необычные углы или препятствия. Это помогает моделям computer vision адаптироваться к различным условиям, улучшая их способность справляться с крайними случаями и делать точные прогнозы в динамичных розничных средах.

Основные выводы#

Сбор разнообразных реальных данных для обучения моделей может быть сложным, но Albumentations облегчает этот процесс, создавая вариации изображений, которые помогают моделям адаптироваться к разным условиям.

Интеграция с Albumentations, поддерживаемая Ultralytics, упрощает процесс применения этих аугментаций при дообучении YOLO11. Это приводит к лучшему качеству набора данных, что приносит пользу широкому кругу отраслей за счет создания более точных и надежных моделей Vision AI.

Присоединяйся к our community и изучай наш GitHub repository, чтобы узнать больше об ИИ, а также ознакомься с our licensing options, чтобы запустить свои проекты в области визуального ИИ. Интересуешься инновациями вроде AI in manufacturing или computer vision in self-driving? Посети страницы наших решений, чтобы узнать больше.