Использование аугментаций Albumentations для диверсификации твоих данных

При создании решения в области computer vision сбор разнообразного набора изображений для обучения моделей Vision AI может стать важнейшей частью процесса. Это часто требует много времени и денег, а собранные изображения всё равно могут быть недостаточно разнообразными для эффективного обучения моделей.

Например, модели computer vision, такие как Ultralytics YOLO11, можно дообучать на наборах данных изображений для различных computer vision tasks, связанных с разными приложениями. Разнообразные данные — это ключ к успеху, так как они помогают модели лучше обобщать информацию, позволяя распознавать объекты и закономерности в широком спектре реальных сценариев.

Если ты столкнулся с нехваткой разнообразных данных, методы аугментации данных изображений могут стать отличным решением. Такие методы, как поворот, отражение и настройка яркости, помогут увеличить разнообразие твоего набора данных, улучшая способность модели справляться с более широким спектром условий.

Вот почему Ultralytics поддерживает интеграцию для аугментации данных изображений. Используя Albumentations, популярный инструмент, предлагающий коллекцию трансформаций, ты можешь создавать разнообразные визуальные данные. Эта интеграция упрощает процесс обучения YOLO11 за счет автоматической аугментации обучающих изображений, что ведет к улучшению производительности модели.

В этой статье мы рассмотрим, как ты можешь использовать интеграцию с Albumentations, её преимущества и влияние на обучение модели.

Link to this sectionЧто такое Albumentations?#

Computer vision models могут учиться на широком наборе высококачественных изображений для распознавания объектов в различных условиях. Сбор больших наборов данных из реальных источников может быть медленным, дорогостоящим и неэффективным. Чтобы оптимизировать эту задачу, ты можешь использовать image data augmentation для создания новых вариаций существующих изображений, помогая моделям учиться на разных сценариях без сбора дополнительных данных.

В частности, ты можешь использовать Albumentations, open-source библиотеку, представленную в 2018 году для эффективной аугментации данных изображений. Она поддерживает множество операций: от простых геометрических изменений, таких как повороты и отражения, до более сложных корректировок, таких как яркость, контрастность и добавление шума.

Fig 1. Примеры различных типов аугментаций данных изображений.

Link to this sectionКлючевые особенности Albumentations#

Albumentations известна своей высокой производительностью, что означает, что она может обрабатывать изображения быстро и эффективно. Построенная на оптимизированных библиотеках, таких как OpenCV и NumPy, она справляется с большими наборами данных с минимальным временем обработки, что делает её идеальной для быстрой аугментации данных во время обучения модели.

Вот некоторые другие ключевые особенности Albumentations:

• Широкий спектр трансформаций: Albumentations предоставляет более 70 типов аугментаций. Эти вариации помогают моделям научиться обнаруживать объекты, несмотря на изменения в освещении, углах обзора или фонах.
• Оптимизация скорости: Она использует передовые методы оптимизации, такие как SIMD (Single Instruction, Multiple Data), которые обрабатывают несколько точек данных одновременно, чтобы ускорить аугментацию изображений и эффективно работать с большими наборами данных.
• Три уровня аугментаций: Она улучшает данные тремя способами. Например, аугментации на уровне пикселей корректируют яркость и цвет, не изменяя объекты. В то же время, пространственные аугментации меняют положение объекта, сохраняя ключевые детали, а смешивающие аугментации объединяют части разных изображений для создания новых образцов.

Link to this sectionПочему тебе стоит использовать интеграцию с Albumentations?#

Возможно, ты задаешься вопросом: существует много способов применить аугментации к набору данных, и ты даже можешь создавать свои собственные, используя инструменты вроде OpenCV. Итак, зачем выбирать интеграцию, поддерживающую такую библиотеку, как Albumentations?

Вручную создавать аугментации с помощью инструментов типа OpenCV может занять много времени и требует определенных знаний. Также может быть сложно точно настроить трансформации для получения наилучших результатов. Интеграция с Albumentations облегчает этот процесс. Она предлагает множество готовых к использованию трансформаций, которые могут сэкономить твое время и усилия при подготовке dataset.

Еще одна причина выбрать интеграцию с Albumentations заключается в том, что она плавно работает с конвейером model training Ultralytics. Это значительно упрощает дообучение YOLO11, так как аугментации автоматически применяются во время тренировки. Это упрощает процесс, поэтому ты можешь больше сосредоточиться на улучшении своей модели, а не на подготовке данных.

Link to this sectionНачало работы с интеграцией Albumentations#

Интересно, что использование интеграции с Albumentations для обучения YOLO11 проще, чем может показаться. Как только настроены нужные библиотеки, интеграция автоматически применяет аугментации данных изображений во время обучения. Это помогает модели учиться на разных вариациях изображений, используя один и тот же набор данных.

Далее давай разберем, как установить и использовать интеграцию с Albumentations при дообучении YOLO11.

Link to this sectionУстановка Python-пакета Ultralytics и Albumentations#

Перед применением аугментаций необходимо установить как Ultralytics Python package, так и Albumentations. Интеграция была разработана так, чтобы обе библиотеки работали вместе по умолчанию, поэтому тебе не нужно беспокоиться о сложных настройках.

Весь процесс установки можно завершить всего за пару минут с помощью одной команды pip, которая является инструментом управления пакетами для установки библиотек Python, как показано на изображении ниже.

Fig 2. Установка Ultralytics и Albumentations.

Как только Albumentations установлена, режим обучения модели Ultralytics автоматически применяет аугментации изображений во время тренировки. Если Albumentations не установлена, эти аугментации не будут применяться. Для получения дополнительной информации ты можешь обратиться к официальной документации Ultralytics.

Link to this sectionОбучение YOLO11 с помощью интеграции Albumentations#

Давай лучше поймем, что происходит «под капотом» интеграции с Albumentations.

Вот более детальный взгляд на аугментации, применяемые во время обучения YOLO11:

• Blur (Размытие): Эта трансформация добавляет небольшое размытие к изображению. Это помогает модели обнаруживать объекты, даже если они не в фокусе.
• Median blur (Медианное размытие): Оно уменьшает случайный шум, сохраняя края объектов на изображении. Это облегчает модели обнаружение объектов в сложных условиях.
• Grayscale (Оттенки серого): Преобразуя изображение в черно-белое, эта аугментация может помочь модели сосредоточиться на формах и текстурах, а не на цветах.
• CLAHE (Contrast limited adaptive histogram equalization): Эта аугментация усиливает контрастность изображений, особенно в областях, которые слишком темные или трудноразличимы, например, в условиях низкого освещения или задымленности. Это делает объекты в таких областях более четкими и легкими для идентификации моделью.

Fig 3. Пример аугментации в оттенках серого, примененной к изображению кота.

Link to this sectionПриложения YOLO11 и интеграция с Albumentations#

Если ты дообучаешь YOLO11 для конкретного приложения, интеграция с Albumentations поможет улучшить производительность модели за счет адаптации к различным условиям. Давай обсудим некоторые реальные приложения и проблемы, которые может решить эта интеграция.

Link to this sectionУлучшение медицинских изображений#

Vision AI in healthcare помогает врачам более точно анализировать медицинские изображения, чтобы способствовать постановке диагнозов и улучшению ухода за пациентами. На самом деле, около пятой части медицинских организаций уже используют решения на основе ИИ.

Однако создание этих решений в области computer vision сопряжено с собственным набором проблем. Медицинские сканы могут сильно различаться между больницами, на что влияют такие факторы, как разное оборудование, настройки и даже опыт техников. Вариации яркости, контрастности и экспозиции могут влиять на согласованность и точность моделей Vision AI, затрудняя их надежную работу в разных условиях.

Именно здесь интеграция таких инструментов, как Albumentations, становится необходимой. Создавая несколько аугментированных версий одного и того же скана, Albumentations позволяет модели учиться на разнообразном качестве изображений. Это помогает модели стать более устойчивой, позволяя ей точно обнаруживать заболевания как на изображениях высокого, так и низкого качества.

Fig 4. Аугментированные рентгеновские снимки.

Link to this sectionУлучшение безопасности и наблюдения#

Еще одно интересное приложение Vision AI — это безопасность и наблюдение. Real-time object detection может помочь командам безопасности быстро выявлять потенциальные угрозы.

Основная проблема, связанная с этим приложением, заключается в том, что камеры наблюдения снимают видео в различных условиях освещения в течение дня, и эти условия могут радикально влиять на то, как модель воспринимает такие изображения. Факторы, такие как условия низкой освещенности, блики или плохая видимость, могут затруднить обнаружение объектов или последовательное распознавание потенциальных угроз моделями computer vision.

Интеграция с Albumentations помогает, применяя трансформации для имитации различных условий освещения. Это позволяет модели учиться обнаруживать объекты как в ярко освещенных, так и в темных условиях, делая её более надежной и улучшая время отклика в сложных условиях.

Link to this sectionПереосмысление розничных процессов и клиентского опыта#

Разлив жидкости в проходе супермаркета, собака, бегающая по магазину, или ребенок, опрокинувший витрину, — это лишь несколько примеров повседневных событий, которые могут стать крайними случаями (edge cases) для vision AI in retail сред. Computer vision все чаще используется для улучшения клиентского опыта путем отслеживания поведения покупателей, мониторинга трафика и идентификации товаров на полках. Однако эти реальные ситуации могут быть трудными для понимания и точной обработки системами ИИ.

Хотя не каждый сценарий можно представить в наборе данных computer vision, интеграция с Albumentations помогает, аугментируя данные для охвата многих возможных ситуаций, таких как неожиданное освещение, необычные углы или препятствия. Это помогает моделям computer vision адаптироваться к различным условиям, улучшая их способность справляться с крайними случаями и делать точные прогнозы в динамичных розничных средах.

Link to this sectionОсновные выводы#

Сбор разнообразных реальных данных для обучения моделей может быть сложным, но Albumentations облегчает этот процесс, создавая вариации изображений, которые помогают моделям адаптироваться к разным условиям.

Интеграция с Albumentations, поддерживаемая Ultralytics, упрощает процесс применения этих аугментаций при дообучении YOLO11. Это приводит к лучшему качеству набора данных, что приносит пользу широкому кругу отраслей за счет создания более точных и надежных моделей Vision AI.

Присоединяйся к нашему сообществу и изучи наш GitHub repository, чтобы узнать больше об ИИ, а также ознакомься с нашими вариантами лицензирования, чтобы запустить свои проекты в области Vision AI. Интересуешься инновациями, такими как AI in manufacturing или computer vision in self-driving? Посети наши страницы решений, чтобы узнать больше.