Data Cleaning

Очистка данных — это критически важный процесс выявления и исправления (или удаления) повреждённых, неточных или нерелевантных записей из набора записей, таблицы или базы данных. В сфере искусственного интеллекта (AI) и машинного обучения (ML) этот этап часто считают наиболее трудоёмкой, но необходимой частью рабочего процесса. Прежде чем модель вроде YOLO26 сможет эффективно научиться распознавать объекты, из обучающих данных необходимо удалить ошибки, чтобы предотвратить эффект «мусор на входе — мусор на выходе», при котором входные данные низкого качества приводят к ненадёжным результатам.

Важность целостности данных в AI#

Высокопроизводительные модели компьютерного зрения в значительной степени зависят от качества используемых ими наборов данных. Если набор данных содержит неправильно размеченные изображения, дубликаты или повреждённые файлы, модели будет сложно обобщать закономерности, что приведёт к переобучению или низкой точности инференса. Эффективная очистка данных повышает надёжность прогнозных моделей и гарантирует, что алгоритм обучается на достоверных сигналах, а не на шуме.

Распространённые методы очистки данных#

Специалисты используют различные стратегии для улучшения наборов данных с помощью таких инструментов, как Pandas для табличных данных или специализированных инструментов для компьютерного зрения.

• Обработка пропущенных значений: она включает удаление записей с отсутствующими данными или использование методов импутации для заполнения пропусков на основе статистических средних значений или ближайших соседей.
• Удаление дубликатов: дублирующиеся изображения в обучающем наборе могут непреднамеренно сместить модель. Их удаление гарантирует, что модель не будет запоминать конкретные примеры, помогая уменьшить смещение набора данных.
• Выявление выбросов: выявление и обработка аномалий или выбросов, которые значительно отклоняются от нормы, имеют критическое значение, поскольку они могут искажать статистический анализ и веса модели.
• Структурное исправление: сюда входит исправление опечаток в метках классов (например, приведение «Car» и «car» к единому виду) для обеспечения согласованности классов.

Практические применения#

Очистка данных имеет решающее значение в различных отраслях, где применяется AI.

• Анализ медицинских изображений: в приложениях AI в здравоохранении наборы данных часто содержат сканы с артефактами, неверными метаданными пациентов или нерелевантным фоновым шумом. Очистка этих данных гарантирует, что модели анализа медицинских изображений сосредоточатся исключительно на биологических маркерах, имеющих значение для диагностики.
• Управление запасами в розничной торговле: в сфере AI в розничной торговле наборы данных о товарах могут содержать устаревшие позиции или изображения с неправильными соотношениями сторон. Очистка этих наборов данных гарантирует, что модели обнаружения объектов смогут точно определять уровень запасов и уменьшать количество ложноположительных срабатываний в реальных условиях.

Различия между очисткой данных и предварительной обработкой#

Хотя эти понятия часто используются как взаимозаменяемые, очистка данных отличается от предварительной обработки данных. Очистка данных сосредоточена на исправлении ошибок и удалении «плохих» данных. В свою очередь, предварительная обработка включает преобразование очищенных данных в формат, подходящий для модели, например изменение размера изображений, нормализацию или применение расширения данных для увеличения разнообразия.

Автоматизация проверок качества#

Современные рабочие процессы, например доступные на платформе Ultralytics, включают автоматические проверки для выявления повреждённых изображений или несоответствий в метках до начала обучения. Ниже приведён простой пример на Python, демонстрирующий проверку и выявление повреждённых файлов изображений с помощью стандартной библиотеки Pillow, что является распространённым этапом перед передачей данных в такую модель, как YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")