Foundation Model

Фундаментальная модель — это крупная модель машинного обучения, обученная на масштабных и разнообразных данных и способная адаптироваться к широкому кругу последующих задач. Исследователи из Стэнфорда ввели этот термин в отчёте 2021 года «Возможности и риски фундаментальных моделей», выбрав слово «фундаментальная», чтобы описать модели, которые лежат в основе множества приложений, но сами по себе не являются завершёнными решениями. Раньше модели обычно обучали для одной задачи на одном размеченном наборе данных. Фундаментальная модель один раз изучает общие закономерности во время дорогостоящего предварительного обучения, а затем становится основой для чат-ботов, поиска, перевода, классификации изображений, сегментации и множества других приложений, которые создают команды, не обучающие такие модели самостоятельно. Большие языковые модели (LLM), например GPT, Claude, Gemini и Llama, — это фундаментальные модели; к ним также относятся модели компьютерного зрения, например CLIP, DINOv3 и Segment Anything Model (SAM) от Meta.

Как работают фундаментальные модели#

Для предварительного обучения используются цели, не требующие человеческой разметки, поэтому обучающий набор может включать триллионы слов текста или миллиарды изображений. Языковые модели обучаются предсказывать следующий токен, кодировщики изображений — с помощью методов самоконтролируемого обучения, например моделирования скрытых частей изображения и само-дистилляции, а модели «зрение — язык» — с помощью контрастивного обучения на парах изображений и подписей к ним. Почти все фундаментальные модели используют архитектуру трансформера, а их качество предсказуемо растёт вместе с количеством параметров, объёмом данных и вычислительными ресурсами, как описывают законы масштабирования.

После предварительного обучения одну и ту же модель адаптируют к каждой задаче одним из нескольких способов. Промптинг задаёт ей инструкции или примеры, не требуя обучения; при дообучении или параметрически-эффективном дообучении (PEFT) веса обновляются на данных конкретной задачи; небольшая голова, обученная на замороженных эмбеддингах, превращает модель в классификатор или поисковую систему:

В отчёте отмечены два следствия такого подхода. Эмерджентность означает, что при масштабировании появляются способности, которым модель не обучалась напрямую, например когда GPT-3 научилась выполнять новые задачи по нескольким примерам в промпте. Гомогенизация означает, что теперь множество приложений создаются на основе нескольких моделей, поэтому ошибки и смещения модели переходят во всё, что на её основе адаптируют. Теперь эти модели регулируются напрямую: Закон ЕС об искусственном интеллекте называет их моделями общего назначения, а установленные для их поставщиков обязательства действуют с 2 августа 2025 года.

Фундаментальные модели в компьютерном зрении#

Фундаментальные модели компьютерного зрения обучаются на гораздо более крупных и разнообразных данных, чем детекторы для конкретных задач. CLIP обучался на 400 миллионах пар изображений и подписей к ним и классифицирует изображения по категориям, названия которых указаны только в тексте; на этом основано обучение с нулевым числом примеров в компьютерном зрении. DINOv3 от Meta формирует замороженные признаки для оценки глубины, сегментации и картографирования со спутников с помощью модели на 7 миллиардов параметров, обученной на 1.7 миллиарда неразмеченных изображений. Авторы SAM описали эту модель как фундаментальную модель для сегментации изображений. Она обучалась на наборе SA-1B из 11 миллионов изображений и 1.1 миллиарда масок и сегментирует любой объект, указанный точкой или рамкой. SAM 3 дополняет этот подход текстовыми промптами, которые находят все экземпляры объекта с заданным названием. Модели «зрение — язык — действие» распространяют этот подход на робототехнику, преобразуя изображения с камер и инструкции в действия робота.

Ultralytics Platform использует эти модели для ускорения разметки данных: в режиме умной разметки щелчок вызывает SAM 2.1, SAM 3 или SAM 3.1 для создания маски объекта; в наборах данных для детекции модели с подсказками по классам, например SAM 3.1 Text и Grounding DINO, находят все объекты класса по его названию. Таблица лидеров VLM сравнивает, насколько точно такие модели и генеративные VLM автоматически размечают реальные наборы данных для детекции. SAM 2.1 от Meta также работает в пакете Ultralytics Python: подсказка в виде рамки заменяет обучение для конкретной задачи.

from ultralytics import SAM

# SAM 2.1 от Meta — фундаментальная модель сегментации, используемая без изменений и без обучения
model = SAM("sam2.1_b.pt")

# Рамка вокруг автобуса задаёт задачу; модель возвращает маску этого объекта
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

Фундаментальные модели и смежные понятия#

• Большая языковая модель (LLM): Фундаментальная модель для работы с текстом. Фундаментальные модели также работают с изображениями, видео, аудио, табличными данными и управлением роботами.
• Генеративный ИИ: Системы, создающие текст, изображения, аудио или видео. Многие из них построены на фундаментальных моделях, а некоторые фундаментальные модели, например DINOv3 и SAM, создают признаки и маски, а не новый контент.
• Трансферное обучение: Приём повторного использования предварительно обученной модели для новой задачи. Фундаментальная модель — это предварительно обученная модель, изначально рассчитанная на такое повторное использование в разных задачах. Модель, обученная для одной задачи с фиксированным набором меток, например детектор объектов COCO с 80 классами, можно перенести главным образом на близкие задачи.
• Передовые модели ИИ: самые мощные базовые модели на данный момент. Согласно Закону ЕС об искусственном интеллекте, предполагается, что модель ИИ общего назначения, обученная с использованием более 10²⁵ операций с плавающей запятой, несёт системный риск и подпадает под дополнительные требования.