Knowledge Distillation

Дистилляция знаний — это сложная методика в области машинного обучения, при которой компактная нейронная сеть, называемая «учеником», обучается воспроизводить поведение и производительность более крупной и сложной сети, известной как «учитель». Основная цель этого процесса — оптимизация модели, позволяющая разработчикам переносить прогностические возможности ресурсоёмких архитектур в облегчённые модели, подходящие для развертывания на оборудовании с ограниченными ресурсами. За счёт усвоения богатой информации, закодированной в предсказаниях учителя, модель-ученик часто достигает значительно более высокой точности, чем при обучении исключительно на исходных данных, эффективно сокращая разрыв между высокой производительностью и эффективностью.

Механизм передачи знаний#

В традиционном обучении с учителем модели обучаются с использованием «жёстких меток» из обучающих данных, где изображение однозначно классифицируется, например как 100 % «собака» и 0 % «кошка». Однако предварительно обученная модель-учитель формирует выходные данные с помощью функции softmax, которая назначает вероятности всем классам. Эти распределения вероятностей называются «мягкими метками» или «тёмными знаниями».

Например, анализируя изображение волка, модель-учитель может предсказать: 90 % — волк, 9 % — собака и 1 % — кошка. Это распределение показывает, что волк обладает общими визуальными признаками с собакой, тогда как жёсткая метка игнорирует этот контекст. В процессе дистилляции ученик минимизирует функцию потерь, например расхождение Кульбака — Лейблера, чтобы согласовать свои предсказания с мягкими метками учителя. Этот метод, получивший широкую известность благодаря исследованиям Джеффри Хинтона, помогает ученику лучше обобщать данные и снижает переобучение на небольших наборах данных.

Практические применения#

Дистилляция знаний играет ключевую роль в отраслях, где вычислительные ресурсы ограничены, но высокая производительность обязательна.

• Периферийный ИИ и мобильное компьютерное зрение: выполнение сложных задач обнаружения объектов на смартфонах или устройствах IoT требует моделей с низкой задержкой инференса. Инженеры преобразуют массивные сети в архитектуры, оптимизированные для мобильных устройств, например YOLO26, в частности варианты nano или small. Это позволяет приложениям реального времени, таким как распознавание лиц и фильтры дополненной реальности, работать плавно, не расходуя чрезмерно заряд батареи.
• Обработка естественного языка (NLP): для работы современных больших языковых моделей (LLMs) требуются огромные кластеры GPU. Дистилляция позволяет разработчикам создавать меньшие и более быстрые версии этих моделей, сохраняющие основные возможности языкового моделирования. Благодаря этому становится возможным развертывание отзывчивых чат-ботов и виртуальных помощников на стандартном пользовательском оборудовании или в более простых облачных инстансах.

Различия между связанными терминами оптимизации#

Важно отличать дистилляцию знаний от других стратегий сжатия, поскольку они принципиально по-разному изменяют модели.

• Перенос обучения: эта методика предполагает использование модели, предварительно обученной на обширном эталонном наборе данных, и её адаптацию к новой конкретной задаче, например дообучение универсального классификатора изображений для обнаружения медицинских аномалий. Дистилляция, напротив, сосредоточена на сжатии тех же знаний в меньшую форму, а не на изменении предметной области.
• Прореживание модели: прореживание физически удаляет избыточные связи или нейроны из уже обученной сети, делая её разреженной. Дистилляция обычно предполагает обучение полностью отдельной, меньшей архитектуры ученика с нуля под руководством учителя.
• Квантизация модели: квантизация снижает точность представления весов модели, например с 32-битных чисел с плавающей точкой до 8-битных целых чисел, чтобы экономить память и ускорять вычисления. Это часто является заключительным этапом развертывания модели, совместимым с такими движками, как TensorRT или OpenVINO, и может сочетаться с дистилляцией для достижения максимальной эффективности.

Реализация модели-ученика#

В практическом рабочем процессе сначала выбирается облегчённая архитектура, которая будет использоваться в качестве ученика. Платформу Ultralytics можно использовать для управления наборами данных и отслеживания экспериментов по обучению этих эффективных моделей. Ниже приведён пример инициализации компактной модели YOLO26, которая идеально подходит для развертывания на периферийных устройствах и использования в качестве сети-ученика:

from ultralytics import YOLO

# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")

# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)