Training Data

Обучающие данные — это исходный набор данных, используемый для обучения модели машинного обучения распознаванию закономерностей, выполнению прогнозов или решению конкретных задач. Они служат фундаментальным учебником для систем искусственного интеллекта, предоставляя эталонные данные, которые алгоритм анализирует для корректировки своих внутренних параметров. В контексте обучения с учителем обучающие данные состоят из входных примеров, сопряженных с соответствующими выходными метками, что позволяет модели выявить взаимосвязь между ними. Качество, количество и разнообразие этих данных напрямую влияют на итоговую точность модели и ее способность обобщать новую, ранее не встречавшуюся информацию.

Link to this sectionРоль обучающих данных в ИИ#

Основная функция обучающих данных заключается в минимизации ошибки между прогнозами модели и реальными результатами. В процессе обучения модели алгоритм итеративно обрабатывает данные, выявляя признаки — например, границы на изображении или ключевые слова в предложении, — которые коррелируют с определенными метками. Этот процесс отличается от использования валидационных данных, необходимых для настройки гиперпараметров во время обучения, и тестовых данных, зарезервированных для финальной оценки производительности модели.

Высококачественные обучающие данные должны быть репрезентативными для реальных сценариев, с которыми столкнется модель. Если набор данных содержит предвзятость или недостаточно разнообразен, модель может столкнуться с переобучением, при котором она запоминает обучающие примеры, но не справляется с новыми входными данными. И наоборот, недообучение происходит, когда данные слишком просты или их недостаточно для того, чтобы модель уловила глубинные закономерности.

Link to this sectionРеальные приложения#

Обучающие данные стимулируют инновации практически в каждой отрасли, позволяя системам учиться на исторических примерах.

• ИИ в здравоохранении: В медицинской диагностике обучающие данные могут состоять из тысяч рентгеновских снимков, помеченных как «здоровые» или содержащие специфические патологии, такие как пневмония. Обрабатывая эти размеченные примеры, модели, такие как Ultralytics YOLO26, могут научиться помогать радиологам, выделяя потенциальные аномалии с высокой точностью, что значительно ускоряет постановку диагноза.
• Автономные транспортные средства: Беспилотные автомобили полагаются на огромные наборы данных, содержащие миллионы миль видеозаписей поездок. Эти обучающие данные включают аннотированные кадры с изображением пешеходов, дорожных знаков, других транспортных средств и дорожной разметки. Полученная из таких обширных библиотек, как Waymo Open Dataset или nuScenes, эта информация учит систему восприятия автомобиля безопасно перемещаться в сложных условиях.

Link to this sectionСбор и управление данными#

Получение надежных обучающих данных часто является самой сложной частью проекта машинного обучения. Данные можно брать из публичных репозиториев, таких как Google Dataset Search, или из специализированных коллекций, например COCO для обнаружения объектов. Однако «сырые» данные часто требуют тщательной очистки и аннотирования для обеспечения точности.

Инструменты, такие как Ultralytics Platform, упростили этот рабочий процесс, предложив интегрированную среду для загрузки, разметки и управления наборами данных. Эффективное управление также включает аугментацию данных — технику, используемую для искусственного увеличения размера обучающей выборки путем применения преобразований, таких как отражение, поворот или корректировка цвета, к существующим изображениям. Это помогает сделать модели более устойчивыми к вариациям во входных данных.

Link to this sectionПрактический пример с YOLO26#

Следующий пример на Python демонстрирует, как запустить обучение с помощью библиотеки ultralytics. Здесь предобученная модель YOLO26 дообучается на наборе данных COCO8 — небольшом датасете, предназначенном для проверки конвейеров обучения.

from ultralytics import YOLO

# Load a pre-trained YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 5 epochs
# The 'data' argument specifies the dataset configuration file
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

Link to this sectionВажность качества данных#

Принцип «мусор на входе — мусор на выходе» является фундаментальным для машинного обучения. Даже самые сложные архитектуры, такие как Transformers или глубокие сверточные нейронные сети (CNN), не могут компенсировать плохие обучающие данные. Проблемы вроде шума в метках, когда эталонные данные неверны, могут серьезно ухудшить производительность. Поэтому строгие процессы контроля качества, зачастую включающие проверку с участием человека, необходимы для поддержания целостности набора данных.

Более того, соблюдение принципов этики ИИ требует тщательной проверки обучающих данных на наличие демографических или социально-экономических искажений. Обеспечение справедливости в ИИ начинается со сбалансированного и репрезентативного обучающего набора данных, что помогает предотвратить дискриминационные результаты в развернутых приложениях.