Data Cleaning

Очистка данных — это важнейший процесс обнаружения и исправления (или удаления) поврежденных, неточных или нерелевантных записей из набора записей, таблицы или базы данных. В сфере искусственного интеллекта (ИИ) и машинного обучения (МО) этот шаг часто считается самой трудоемкой, но при этом необходимой частью рабочего процесса. Прежде чем модель вроде YOLO26 сможет эффективно научиться распознавать объекты, обучающие данные необходимо очистить от ошибок, чтобы предотвратить феномен «Мусор на входе — мусор на выходе», при котором некачественные входные данные приводят к ненадежным результатам.

Важность целостности данных в ИИ#

Высокопроизводительные модели компьютерного зрения сильно зависят от качества используемых ими наборов данных. Если набор данных содержит изображения с неправильными метками, дубликаты или поврежденные файлы, модели будет сложно обобщать закономерности, что приведет к переобучению или низкой точности инференса. Эффективная очистка данных повышает надежность прогнозных моделей и гарантирует, что алгоритм учится на корректных сигналах, а не на шуме.

Распространенные методы очистки данных#

Практики применяют различные стратегии для доработки своих наборов данных с помощью таких инструментов, как Pandas для табличных данных или специализированных инструментов для работы с изображениями.

• Обработка пропущенных значений: это предполагает либо удаление записей с пропущенными данными, либо использование методов импутации для заполнения пробелов на основе статистических средних или ближайших соседей.
• Удаление дубликатов: дубликаты изображений в обучающем наборе могут непреднамеренно исказить результаты модели. Их удаление гарантирует, что модель не заучивает конкретные примеры, помогая уменьшить смещение набора данных.
• Обнаружение выбросов: выявление аномалий и выбросов, которые значительно отклоняются от нормы, имеет решающее значение, поскольку они могут исказить статистический анализ и веса модели.
• Структурный ремонт: это включает в себя исправление опечаток в метках классов (например, исправление «Car» против «car») для обеспечения согласованности классов.

Реальные приложения#

Очистка данных играет ключевую роль в различных отраслях, где внедряется ИИ.

• Анализ медицинских изображений: в приложениях ИИ в здравоохранении наборы данных часто содержат сканы с артефактами, неверными метаданными пациента или ненужным фоновым шумом. Очистка этих данных гарантирует, что модели анализа медицинских изображений будут сосредоточены исключительно на биологических маркерах, имеющих отношение к диагнозу.
• Управление запасами в розничной торговле: для ИИ в ритейле наборы данных о продукции могут содержать устаревшие товары или изображения с неверными пропорциями. Очистка таких наборов данных гарантирует, что модели обнаружения объектов смогут точно определять уровни запасов и сокращать количество ложных срабатываний в рабочей среде.

Отличие очистки данных от предобработки#

Хотя эти понятия часто используются как взаимозаменяемые, очистка данных отличается от предобработки данных. Очистка данных сфокусирована на исправлении ошибок и удалении «плохих» данных. В отличие от этого, предобработка включает в себя преобразование чистых данных в формат, подходящий для модели, такой как изменение размера изображений, нормализация или применение аугментации данных для увеличения разнообразия.

Автоматизация проверок качества#

Современные рабочие процессы, такие как те, что доступны на Ultralytics Platform, объединяют автоматические проверки для выявления поврежденных изображений или несоответствий меток до начала обучения. Ниже приведен простой пример на Python, демонстрирующий, как проверять и находить поврежденные файлы изображений с помощью стандартной библиотеки Pillow, что является обычным шагом перед подачей данных в такую модель, как YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")