Data-Centric AI

ИИ, ориентированный на данные, — это философия и подход к машинному обучению, сосредоточенные на повышении качества набора данных, используемого для обучения модели, а не преимущественно на настройке архитектуры модели или гиперпараметров. При традиционной разработке, ориентированной на модель, инженеры часто оставляют набор данных неизменным, итеративно совершенствуя алгоритм для повышения производительности. ИИ, ориентированный на данные, меняет эту парадигму, предполагая, что для многих современных приложений архитектура модели уже достаточно совершенна, а наиболее эффективный способ улучшить результаты — системно совершенствовать сами данные. Это включает очистку, разметку, аугментацию и курирование наборов данных, чтобы обеспечить их согласованность, разнообразие и соответствие реальной задаче.

Главный принцип: качество данных важнее их количества#

Переход к методологиям, ориентированным на данные, подтверждает фундаментальную истину: «мусор на входе — мусор на выходе» в машинном обучении. Простое добавление новых данных не всегда является решением, если эти данные зашумлены или содержат искажения. Вместо этого данный подход подчеркивает важность высококачественных наборов данных для компьютерного зрения. Отдавая приоритет качеству данных и согласованности, разработчики часто могут добиться более высокой точности на небольших, тщательно отобранных наборах данных, чем на огромных и неструктурированных.

Эта философия тесно связана с активным обучением, при котором модель помогает определить, какие объекты данных наиболее ценны для следующей разметки. Такие инструменты, как Ultralytics Platform, упрощают этот процесс благодаря оптимизации аннотирования данных и управления ими, позволяя командам совместно улучшать состояние набора данных. Это отличается от рабочих процессов полностью обучения с учителем, в которых набор данных часто рассматривается как статичный артефакт.

Основные методы ИИ, ориентированного на данные#

Реализация стратегии, ориентированной на данные, включает несколько практических этапов, выходящих за рамки простого сбора данных.

• Согласованность разметки: крайне важно, чтобы все специалисты по аннотированию размечали объекты абсолютно одинаково. Например, в обнаружении объектов строгое определение того, нужно ли включать боковое зеркало автомобиля в ограничивающую рамку, может существенно повлиять на производительность модели.
• Аугментация данных: систематическое применение преобразований к существующим данным для охвата пограничных случаев. Чтобы понять, как такие методы, как поворот и мозаичная аугментация, помогают моделям лучше обобщать, ознакомься с нашим исчерпывающим руководством по аугментации данных.
• Анализ ошибок: выявление конкретных классов или сценариев, в которых модель ошибается, и сбор целевых данных для устранения этих пробелов. Часто для этого изучают матрицы ошибок, чтобы точно определить слабые места.
• Очистка данных: удаление дубликатов изображений, исправление ошибочно размеченных примеров и фильтрация некачественных данных, которые могут запутать нейронную сеть.

Практические применения#

Подходы, ориентированные на данные, преобразуют отрасли, в которых надежность имеет критическое значение.

1. Медицинская визуализация: в таких задачах, как обнаружение опухолей при медицинской визуализации, получить миллионы изображений невозможно. Вместо этого исследователи сосредотачиваются на формировании высокоточных наборов данных, проверенных экспертами. Подход, ориентированный на данные, гарантирует точность каждого пикселя в маске сегментации, поскольку неоднозначная разметка может привести к опасным для жизни ошибкам.

2. Контроль качества на производстве: при развертывании систем визуального контроля такие дефекты, как царапины или вмятины, встречаются гораздо реже безупречных деталей. Стратегия, ориентированная на данные, предполагает синтез или целенаправленный сбор данных о дефектах для балансировки набора данных, чтобы модель не выдавала прогноз «годно» для каждого изделия.

ИИ, ориентированный на данные, и ИИ, ориентированный на модель#

Важно различать ИИ, ориентированный на данные, и ИИ, ориентированный на модель. В рабочем процессе, ориентированном на модель, набор данных фиксирован, а цель состоит в улучшении метрик путем изменения архитектуры модели, например перехода от YOLO11 к пользовательскому ResNet, или настройки таких параметров, как скорость обучения. В рабочем процессе, ориентированном на данные, архитектура модели фиксирована, например используется YOLO26, а цель состоит в улучшении метрик путем очистки разметки, добавления разнообразных примеров или обработки выбросов.

Следующий фрагмент кода демонстрирует простую проверку, ориентированную на данные: проверку набора данных на наличие поврежденных изображений перед обучением. Это гарантирует, что конвейер обучения не завершится с ошибкой из-за некорректных данных.

from ultralytics.data.utils import check_cls_dataset

# Validate a classification dataset structure and integrity
# This helps identify issues with data organization before training begins
try:
    # Checks the dataset defined in a YAML or path structure
    check_cls_dataset("mnist", split="train")
    print("Dataset structure is valid and ready for data-centric curation.")
except Exception as e:
    print(f"Data issue found: {e}")

Инструменты для разработки, ориентированной на данные#

Для эффективного применения ИИ, ориентированного на данные, разработчики используют надежные инструменты. Ultralytics Platform служит централизованным узлом для управления жизненным циклом данных и предлагает функции автоматического аннотирования, которые ускоряют процесс разметки и одновременно поддерживают его согласованность. Кроме того, инструменты-исследователи позволяют пользователям выполнять семантические запросы к наборам данных, например «найти все изображения красных автомобилей ночью», чтобы понимать распределение данных и возможные искажения.

Сосредоточившись на данных, инженеры могут создавать более надежные, справедливые и практичные системы для развертывания в динамичных средах, таких как автономные транспортные средства или умная розничная торговля. Этот переход признает, что для многих задач код уже не является проблемой, а данные остаются передовым направлением инноваций.