Training Data

Обучающие данные — это исходный набор данных, используемый для обучения модели машинного обучения распознаванию закономерностей, выполнению прогнозов или решению конкретных задач. Они служат фундаментальным учебником для систем искусственного интеллекта, предоставляя эталонные данные, которые алгоритм анализирует для корректировки своих внутренних параметров. В контексте обучения с учителем обучающие данные состоят из входных примеров, сопряженных с соответствующими выходными метками, что позволяет модели выявить взаимосвязь между ними. Качество, количество и разнообразие этих данных напрямую влияют на итоговую точность модели и ее способность обобщать новую, ранее не встречавшуюся информацию.

Роль обучающих данных в ИИ#

Основная функция обучающих данных — минимизировать ошибку между предсказаниями модели и реальными результатами. Во время процесса обучения модели алгоритм итеративно обрабатывает данные, выявляя признаки (такие как границы на изображении или ключевые слова в предложении), которые коррелируют с конкретными метками. Этот процесс отличается от данных валидации, которые используются для настройки гиперпараметров во время обучения, и тестовых данных, которые зарезервированы для финальной оценки производительности модели.

Высококачественные обучающие данные должны быть репрезентативными для реальных сценариев, с которыми столкнется модель. Если набор данных содержит предвзятость или в нем отсутствует разнообразие, модель может пострадать от переобучения, при котором она запоминает примеры из обучения, но не справляется с новыми входными данными. И наоборот, недообучение возникает, когда данные слишком просты или недостаточны для того, чтобы модель уловила скрытые закономерности.

Реальные приложения#

Обучающие данные стимулируют инновации практически в каждой отрасли, позволяя системам учиться на исторических примерах.

• ИИ в здравоохранении: В медицинской диагностике обучающие данные могут состоять из тысяч рентгеновских снимков, помеченных как "здоровые" или содержащие определенные патологии, такие как пневмония. Обрабатывая эти размеченные примеры, такие модели, как Ultralytics YOLO26, учатся помогать рентгенологам, подсвечивая потенциальные отклонения с высокой точностью, что значительно ускоряет время постановки диагноза.
• Автономные транспортные средства: Беспилотные автомобили полагаются на огромные наборы данных, содержащие миллионы миль видеозаписей поездок. Эти обучающие данные включают аннотированные кадры с пешеходами, дорожными знаками, другими автомобилями и разметкой полос. Получаемая из исчерпывающих библиотек, таких как Waymo Open Dataset или nuScenes, эта информация учит систему восприятия автомобиля безопасно ориентироваться в сложных условиях.

Сбор и управление данными#

Получение надежных обучающих данных часто является самой сложной частью проекта по машинному обучению. Данные можно брать из публичных репозиториев, таких как Google Dataset Search, или специализированных коллекций вроде COCO для обнаружения объектов. Однако «сырые» данные часто требуют тщательной очистки данных и разметки для обеспечения точности.

Инструменты вроде Ultralytics Platform упростили этот рабочий процесс, предлагая интегрированную среду для загрузки, разметки наборов данных и управления ими. Эффективное управление также включает аугментацию данных — технику, которая используется для искусственного увеличения размера обучающей выборки путем применения трансформаций (таких как отражение, поворот или коррекция цвета) к существующим изображениям. Это помогает моделям становиться более устойчивыми к вариациям во входных данных.

Практический пример с Ultralytics YOLO26#

В следующем примере Python показано, как запустить обучение с помощью библиотеки ultralytics. Здесь предобученная модель YOLO26 дообучается на наборе данных COCO8, небольшом наборе данных, созданном для проверки обучающих пайплайнов.

from ultralytics import YOLO

# Load a pre-trained YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 5 epochs
# The 'data' argument specifies the dataset configuration file
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

Важность качества данных#

Поговорка «мусор на входе — мусор на выходе» является основополагающей для машинного обучения. Даже самые сложные архитектуры, такие как Transformers или глубокие сверточные нейронные сети (CNN), не могут компенсировать плохие обучающие данные. Такие проблемы, как зашумленность меток, когда истинные метки неверны, могут серьезно ухудшить производительность. Поэтому строгие процессы обеспечения качества, часто включающие проверку с участием человека, необходимы для поддержания целостности набора данных.

Кроме того, соблюдение принципов этики ИИ требует проверки обучающих данных на предмет демографических или социально-экономических предвзятостей. Обеспечение справедливости в ИИ начинается с сбалансированного и репрезентативного набора обучающих данных, что помогает предотвратить дискриминационные результаты в развернутых приложениях.