Training Data

Данные для обучения — это исходный набор данных, используемый для обучения модели машинного обучения распознаванию закономерностей, построению прогнозов или выполнению конкретных задач. Они служат фундаментальным учебником для систем искусственного интеллекта, предоставляя эталонные значения, которые алгоритм анализирует для настройки своих внутренних параметров. В контексте обучения с учителем данные для обучения состоят из входных примеров, связанных с соответствующими выходными метками, что позволяет модели учиться взаимосвязи между ними. Качество, объем и разнообразие этих данных напрямую влияют на итоговую точность модели и ее способность обобщать информацию на новые, ранее не встречавшиеся данные.

Роль данных для обучения в ИИ#

Основная функция данных для обучения — минимизировать ошибку между прогнозами модели и фактическими результатами. В ходе процесса обучения модели алгоритм итеративно обрабатывает данные, выявляя признаки — например, границы на изображении или ключевые слова в предложении, — которые коррелируют с определенными метками. Этот процесс отличается от использования данных для валидации, которые применяются для настройки гиперпараметров во время обучения, и тестовых данных, которые предназначены для итоговой оценки производительности модели.

Высококачественные данные для обучения должны отражать реальные сценарии, с которыми столкнется модель. Если набор данных содержит смещение или ему не хватает разнообразия, модель может столкнуться с переобучением, при котором она запоминает примеры из обучающей выборки, но плохо работает на новых входных данных. Напротив, недообучение возникает, когда данные слишком просты или недостаточны для того, чтобы модель выявила лежащие в их основе закономерности.

Практические применения#

Данные для обучения лежат в основе инноваций практически во всех отраслях, позволяя системам учиться на исторических примерах.

• ИИ в здравоохранении: В медицинской диагностике данные для обучения могут состоять из тысяч рентгеновских снимков с метками «здоров» или с указанием конкретных патологий, например пневмонии. Обрабатывая эти размеченные примеры, такие модели, как Ultralytics YOLO26, могут научиться помогать радиологам, выделяя потенциальные аномалии с высокой точностью и значительно ускоряя диагностику.
• Автономные транспортные средства: Беспилотные автомобили используют огромные наборы данных, содержащие миллионы километров видеозаписей поездок. Эти данные для обучения включают размеченные кадры с пешеходами, дорожными знаками, другими транспортными средствами и дорожной разметкой. Полученная из обширных библиотек, таких как Waymo Open Dataset или nuScenes, эта информация обучает систему восприятия автомобиля безопасно перемещаться в сложных условиях.

Сбор и управление данными#

Получение надежных данных для обучения часто оказывается самой сложной частью проекта по машинному обучению. Данные можно получать из общедоступных репозиториев, таких как Google Dataset Search, или специализированных коллекций, таких как COCO для обнаружения объектов. Однако для обеспечения точности необработанные данные часто требуют тщательной очистки данных и разметки.

Такие инструменты, как Ultralytics Platform, упростили этот рабочий процесс, предоставив интегрированную среду для загрузки, разметки и управления наборами данных. Эффективное управление также включает аугментацию данных — метод искусственного увеличения размера обучающей выборки путем применения преобразований, таких как отражение, поворот или изменение цвета, к существующим изображениям. Это помогает моделям стать более устойчивыми к вариациям входных данных.

Практический пример с Ultralytics YOLO26#

Следующий пример на Python показывает, как начать обучение с использованием библиотеки ultralytics. В этом примере предварительно обученная модель YOLO26 дообучается на наборе данных COCO8 — небольшом наборе данных, предназначенном для проверки конвейеров обучения.

from ultralytics import YOLO

# Load a pre-trained YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 5 epochs
# The 'data' argument specifies the dataset configuration file
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

Важность качества данных#

Изречение «мусор на входе — мусор на выходе» имеет фундаментальное значение для машинного обучения. Даже самые сложные архитектуры, такие как трансформеры или глубокие сверточные нейронные сети (CNNs), не могут компенсировать низкое качество данных для обучения. Такие проблемы, как шум в метках, когда эталонные метки указаны неверно, могут существенно ухудшить производительность. Поэтому для сохранения целостности набора данных необходимы строгие процессы контроля качества, часто включающие проверку с участием человека.

Кроме того, соблюдение принципов этики ИИ требует проверять данные для обучения на наличие демографических или социально-экономических смещений. Обеспечение справедливости в ИИ начинается со сбалансированного и репрезентативного набора данных для обучения, который помогает предотвращать дискриминационные результаты в развернутых приложениях.