Очистка данных

Очистка данных — это процесс выявления и исправления или удаления поврежденных, неточных, неполных или несогласованных данных из набора данных. Это важный первый шаг в любом рабочем процессе машинного обучения (МО), поскольку качество обучающих данных напрямую определяет производительность и надежность результирующей модели. Следуя принципу «что посеешь, то и пожнешь», очистка данных гарантирует, что такие модели, как Ultralytics YOLO, обучаются на точной и согласованной информации, что приводит к повышению точности и более надежным прогнозам. Без надлежащей очистки основные проблемы в данных могут привести к искаженным результатам и плохой генерализации модели.

Основные задачи по очистке данных

Процесс очистки данных включает в себя несколько различных задач, предназначенных для решения различных типов проблем с качеством данных. Эти задачи часто являются итеративными и могут требовать знания предметной области.

• Handling Missing Values (обработка пропущенных значений): Наборы данных часто содержат пропущенные записи, которые можно устранить, удалив неполные записи или заполнив пропущенные значения с использованием статистических методов, таких как среднее значение, медиана или более продвинутые модели прогнозирования. Руководство по обработке пропущенных данных может предоставить дополнительную информацию.
• Исправление неточных данных: Это включает в себя исправление опечаток, несоответствий измерений (например, фунты против кг) и фактически неверной информации. Правила проверки данных часто применяются для выявления этих ошибок.
• Удаление дубликатов: Дублирующиеся записи могут внести смещение в модель, придавая неоправданный вес определенным точкам данных. Выявление и удаление этих избыточных записей является стандартным шагом.
• Управление выбросами: Выбросы — это точки данных, которые значительно отклоняются от других наблюдений. В зависимости от причины их можно удалить, исправить или преобразовать, чтобы предотвратить их негативное влияние на процесс обучения модели. Для этого широко используются методы обнаружения выбросов.
• Стандартизация данных: Это включает в себя обеспечение соответствия данных согласованному формату. Примеры включают стандартизацию форматов дат, регистра текста (например, преобразование всего текста в нижний регистр) и преобразование единиц измерения. Последовательные стандарты качества данных имеют решающее значение для успеха.

Реальные приложения AI/ML

1. Анализ медицинских изображений: При обучении модели обнаружения объектов на наборе данных, таком как набор данных об опухолях головного мозга, очистка данных имеет жизненно важное значение. Этот процесс включает в себя удаление поврежденных или некачественных файлов изображений, стандартизацию всех изображений до согласованного разрешения и формата, а также проверку правильности меток и аннотаций пациентов. Это гарантирует, что модель учится на четкой, надежной информации, что необходимо для разработки надежных диагностических инструментов в ИИ в здравоохранении. Национальный институт биомедицинской визуализации и биоинженерии (NIBIB) подчеркивает важность качественных данных в медицинских исследованиях.
2. ИИ для управления запасами в розничной торговле: В розничной торговле на основе ИИ модели компьютерного зрения отслеживают запасы на полках с помощью видеопотоков с камер. Очистка данных необходима для фильтрации размытых изображений, удаления кадров, на которых товары закрыты покупателями, и устранения дублирования подсчета товаров с нескольких ракурсов камер. Устранение этих проблем гарантирует, что система инвентаризации имеет точное представление об уровнях запасов, что позволяет более разумно пополнять запасы и сокращать отходы. Такие компании, как Google Cloud, предоставляют аналитические решения, в которых качество данных имеет первостепенное значение.

Очистка данных в сравнении со смежными понятиями

Важно отличать очистку данных от связанных этапов подготовки данных:

• Data Preprocessing / Предварительная обработка данных: Это более широкий термин, который охватывает очистку данных, но также включает другие преобразования для подготовки данных для моделей ML, такие как нормализация (масштабирование числовых признаков), кодирование категориальных переменных и извлечение признаков. В то время как очистка фокусируется на исправлении ошибок, предварительная обработка фокусируется на форматировании данных для алгоритмов. См. руководство Ultralytics по предварительной обработке аннотированных данных для получения более подробной информации.
• Data Labeling / Маркировка данных: Это процесс добавления информативных тегов или аннотаций (меток) к необработанным данным, например, рисование ограничивающих рамок вокруг объектов на изображениях для обучения с учителем. Очистка данных может включать исправление неверных меток, выявленных в ходе проверок качества, но она отличается от первоначального акта маркировки. Руководство по сбору и аннотации данных содержит информацию о маркировке.
• Data Augmentation / Аугментация данных: Этот метод искусственно увеличивает размер и разнообразие обучающего набора данных путем создания измененных копий существующих данных (например, поворот изображений, изменение яркости). Аугментация данных направлена на улучшение обобщающей способности и устойчивости модели, тогда как очистка данных фокусируется на улучшении качества исходных данных. Узнайте больше в Полном руководстве по аугментации данных.

Очистка данных — это основополагающая, часто итеративная практика, которая значительно повышает надежность и производительность систем ИИ, обеспечивая достоверность базовых данных. Такие инструменты, как библиотека Pandas, обычно используются для задач манипулирования и очистки данных в рабочих процессах МО на основе Python. Обеспечение качества данных посредством тщательной очистки жизненно важно для разработки надежного ИИ, особенно при работе со сложными задачами компьютерного зрения (КЗ) или крупномасштабными эталонными наборами данных, такими как COCO или ImageNet. Платформы, такие как Ultralytics HUB, могут помочь управлять высококачественными наборами данных и поддерживать их на протяжении всего жизненного цикла проекта.