Модель фундамента

Фундаментальная модель - это крупномасштабная модель машинного обучения (ML), обученная на огромном количестве обширных, немаркированных данных, которые можно адаптировать для решения широкого круга задач. В основе концепции, предложенной Стэнфордским институтом человекоцентрированного ИИ, лежат "эмерджентные свойства", когда модель развивает удивительно универсальное понимание паттернов, синтаксиса и семантики на основе данных, на которых она была обучена. Эта универсальная природа позволяет ей служить мощной отправной точкой или "фундаментом" для создания более специализированных моделей с помощью процесса, называемого тонкой настройкой.

Основные характеристики и области применения

Определяющей особенностью базовых моделей является их адаптивность, которая вытекает из парадигмы трансферного обучения. Вместо того чтобы обучать новую модель с нуля для каждой задачи, разработчики могут взять предварительно обученную базовую модель и адаптировать ее с помощью гораздо меньшего набора данных, специфичного для конкретной задачи. Это значительно сокращает объем данных, вычислений и времени, необходимых для создания высокопроизводительных систем ИИ.

Реальные приложения демонстрируют их универсальность:

1. Продвинутые чатботы и виртуальные помощники: Большая языковая модель (LLM), такая как GPT-4 от OpenAI, служит базовой моделью языка. Она предварительно обучена на огромном корпусе интернет-текстов для понимания грамматики, фактов и навыков рассуждения. Затем компания может доработать ее с помощью внутренних документов и журналов взаимодействия с клиентами, чтобы создать специализированного чат-бота, который сможет с высокой точностью отвечать на конкретные вопросы о ее продуктах или услугах.
2. Анализ медицинских изображений: В компьютерном зрении такая модель, как Segment Anything Model (SAM) компании Meta AI, является основой для сегментации изображений. Она может идентифицировать и очерчивать объекты на любом изображении без предварительного контекста. Исследователи-медики могут точно настроить эту модель на небольшом наборе снимков МРТ или КТ, чтобы точно сегментировать определенные органы или обнаружить аномалии, например опухоли, что ускоряет диагностику при анализе медицинских изображений.

Модели фундамента в сравнении с другими моделями

Важно отличать модели фундамента от смежных концепций:

• Модели для конкретных задач: Традиционно ML предполагает обучение моделей с нуля для одной цели, например обучение модели Ultralytics YOLO исключительно для обнаружения посылок в логистике. Несмотря на свою эффективность, такой подход требует значительного количества помеченных данных для каждой новой задачи. Базовые модели предлагают более эффективную альтернативу.
• Большие языковые модели (БЯМ): LLM являются одним из основных типов базовых моделей, ориентированных на решение языковых задач. Однако термин "базовая модель" шире и включает в себя модели для зрения, аудио и других модальностей данных, о чем подробно говорится в знаковом документе "О возможностях и рисках базовых моделей".
• Специализированные модели зрения: В то время как крупные модели зрения, такие как Vision Transformer (ViT), считаются базовыми моделями, многие специализированные модели CV таковыми не являются. Например, модель YOLO11, точно настроенная для конкретного приложения, такого как искусственный интеллект в автомобилестроении, является специализированной моделью. Однако она использует предварительно обученную основу, которая воплощает фундаментальные знания, полученные из больших наборов данных, таких как COCO.

Обучение и будущее значение

Предварительное обучение базовых моделей - ресурсоемкая задача, часто требующая тысяч графических процессоров и огромных инженерных усилий, обычно выполняемая такими крупными организациями, как Google AI и DeepMind. Однако после обучения эти модели становятся доступными для широкого использования.

Платформы, подобные Ultralytics HUB, предоставляют инструменты, помогающие пользователям адаптировать эти базовые возможности, оптимизируя рабочие процессы для обучения пользовательских моделей, управления наборами данных и развертывания решений, часто с тщательной настройкой гиперпараметров.

Модели фондов меняют ландшафт ИИ, демократизируя доступ к мощным возможностям. Их появление также приводит к критическим дискуссиям об этике ИИ, предвзятости наборов данных и разрыве в вычислениях. Будущее указывает на более мощные, эффективные и мультимодальные модели, способные понимать и обрабатывать информацию из текста, изображений и звука одновременно, что приведет к следующей волне использования ИИ.