Знакомство с Llama 3 от Meta

Когда мы подводили итоги инноваций в области искусственного интеллекта (AI) за первый квартал 2024 года, мы заметили, что разные организации одна за другой выпускали большие языковые модели (LLMs). Продолжая эту тенденцию, 18 апреля 2024 года Meta выпустила Llama 3 — большую языковую модель (LLM) следующего поколения с передовыми на тот момент возможностями и открытым исходным кодом.

Ты, возможно, думаешь: Это всего лишь ещё одна большая языковая модель (LLM). Почему же AI-сообщество так ею воодушевлено?

Хотя такие модели, как GPT-3 или Gemini, можно дообучать для получения специализированных ответов, они не обеспечивают полной прозрачности в отношении своей внутренней работы — например, обучающих данных, параметров модели или алгоритмов. В отличие от них, Llama 3 от Meta более прозрачна: её архитектуру и веса можно скачать. Для AI-сообщества это означает больше свободы для экспериментов.

В этой статье мы узнаем, на что способна Llama 3, как она появилась и какое влияние оказала на сферу AI. Давай начнём!

Эволюция моделей Llama от Meta#

Прежде чем перейти к Llama 3, давай вспомним её предыдущие версии.

Meta выпустила Llama 1 в феврале 2023 года в четырёх вариантах с количеством параметров от 7 до 65 миллиардов. В машинном обучении «параметры» — это элементы модели, которые она изучает на обучающих данных. Из-за меньшего количества параметров Llama 1 иногда испытывала трудности с пониманием нюансов и выдавала непоследовательные ответы.

Вскоре после Llama 1, в июле 2023 года, Meta выпустила Llama 2. Она была обучена на 2 триллионах токенов. Токен — это фрагмент текста, например слово или его часть, который используется как базовая единица данных для обработки моделью. Модель также получила такие улучшения, как увеличенное вдвое контекстное окно на 4096 токенов для понимания более длинных фрагментов и более 1 миллиона аннотаций, созданных людьми, для уменьшения количества ошибок. Несмотря на эти улучшения, Llama 2 по-прежнему требовала много вычислительных ресурсов — это Meta стремилась исправить в Llama 3.

Представляем Llama 3 от Meta#

Llama 3 представлена в четырёх вариантах, обученных на впечатляющих 15 триллионах токенов. Более 5% этих обучающих данных — около 800 миллионов токенов — приходилось на данные на 30 разных языках. Все варианты Llama 3 можно запускать на различных типах пользовательского оборудования, а длина их контекста составляет 8 тысяч токенов.

Рис. 1. Llama 3 и Llama 2.

Варианты модели выпускаются в двух размерах: 8B и 70B, что означает соответственно 8 и 70 миллиардов параметров. Также существуют две версии: базовая и instruct. «Базовая» — это стандартная предварительно обученная версия. «Instruct» — это дообученная версия, оптимизированная для конкретных приложений или областей за счёт дополнительного обучения на релевантных данных.

Вот варианты модели Llama 3:

• Meta-Llama-3-8b: базовая модель 8B предоставляет фундаментальные возможности AI и идеально подходит для общих задач, например разработки чат-ботов для службы поддержки.
• Meta-Llama-3-8b-instruct: дообученная instruct-версия модели 8B, оптимизированная для конкретных задач. Например, её можно использовать для создания образовательных инструментов, объясняющих сложные темы.
• Meta-Llama-3-70b: базовая модель 70B разработана для высокопроизводительных AI-приложений. Она хорошо подойдёт для таких задач, как обработка обширной биомедицинской литературы для поиска новых лекарств.
• Meta-Llama-3-70b-instruct: эта версия дообучена на основе модели 70B для задач, требующих высокой точности, например анализа юридических или медицинских документов, где точность критически важна.

Архитектура модели Llama 3 от Meta#

Как и при разработке любых других AI-решений Meta, для сохранения целостности данных и минимизации предвзятости были приняты строгие меры контроля качества. В результате получилась мощная модель, созданная ответственным образом.

Архитектура модели Llama 3 выделяется ориентацией на эффективность и производительность в задачах обработки естественного языка. Построенная на основе фреймворка Transformer, она повышает вычислительную эффективность, особенно при генерации текста, благодаря архитектуре только с декодером.

Модель генерирует результаты исключительно на основе предшествующего контекста, без энкодера для кодирования входных данных, что делает её гораздо быстрее.

Рис. 2. Ответственная архитектура модели Llama 3.

Модели Llama 3 используют токенизатор со словарём из 128 тысяч токенов. Больший словарь позволяет моделям лучше понимать и обрабатывать текст. Кроме того, теперь модели используют групповое внимание к запросам (GQA) для повышения эффективности вывода. GQA можно представить как прожектор, который помогает моделям сосредоточиться на релевантных частях входных данных и выдавать более быстрые и точные ответы.

Вот ещё несколько интересных подробностей об архитектуре модели Llama 3:

• Обработка документов с учётом границ: Llama 3 сохраняет ясность при переходе между границами документов, что особенно важно для таких задач, как составление резюме.
• Улучшенное понимание кода: обучающие данные Llama 3 содержат в четыре раза больше примеров кода, что повышает её возможности программирования.
• Надёжный контроль качества: строгие меры, включая эвристические фильтры и удаление NSFW-контента, обеспечивают целостность данных и минимизируют предвзятость.

Llama 3 меняет подход к обучению моделей#

Для обучения крупнейших моделей Llama 3 были объединены три типа параллелизации: параллелизация данных, параллелизация модели и конвейерная параллелизация.

Параллелизация данных распределяет обучающие данные между несколькими GPU, а параллелизация модели разделяет архитектуру модели, чтобы использовать вычислительную мощность каждого GPU. Конвейерная параллелизация разбивает процесс обучения на последовательные этапы, оптимизируя вычисления и обмен данными.

Наиболее эффективная реализация обеспечила впечатляющую загрузку вычислительных ресурсов — более 400 TFLOPS на GPU при одновременном обучении на 16 000 GPU. Эти обучающие запуски проводились на двух специально созданных кластерах GPU, каждый из которых включал 24 000 GPU. Эта масштабная вычислительная инфраструктура обеспечила необходимую мощность для эффективного обучения крупномасштабных моделей Llama 3.

Для максимального увеличения времени работы GPU был разработан новый продвинутый стек обучения, автоматизирующий обнаружение и обработку ошибок, а также обслуживание. Надёжность оборудования и механизмы обнаружения были значительно улучшены для снижения рисков незаметного повреждения данных. Кроме того, были разработаны новые масштабируемые системы хранения, позволяющие сократить накладные расходы на создание контрольных точек и откат.

Благодаря этим улучшениям общая эффективность обучения превысила 95%. В совокупности они примерно втрое повысили эффективность обучения Llama 3 по сравнению с Llama 2. Эта эффективность не просто впечатляет — она открывает новые возможности для методов обучения AI.

Новые возможности благодаря Llama 3#

Поскольку Llama 3 имеет открытый исходный код, исследователи и студенты могут изучать её код, проводить эксперименты и обсуждать этические проблемы и предвзятость. Однако Llama 3 предназначена не только для академической среды. Она активно применяется и в практических задачах. Модель становится основой интерфейса Meta AI Chat, бесшовно интегрируясь в такие платформы, как Facebook, Instagram, WhatsApp и Messenger. С помощью Meta AI пользователи могут вести диалоги на естественном языке, получать персональные рекомендации, выполнять задачи и легко общаться с другими людьми.

Рис. 3. Meta AI: на базе Llama 3.

Сравнение Llama 3 с другими большими языковыми моделями (LLMs)#

Llama 3 демонстрирует исключительно высокие результаты в нескольких ключевых бенчмарках, оценивающих сложное понимание языка и способности к рассуждению. Вот некоторые бенчмарки, проверяющие различные аспекты возможностей Llama 3:

• Масштабное многоаспектное понимание языка (MMLU) — измеряет знания модели в различных областях.
• Вопросы и ответы общего назначения (GPQA) — оценивает способность модели генерировать связные и правильные ответы на широкий спектр вопросов на общие знания.
• HumanEval — посвящён задачам программирования и решения проблем, проверяя способность модели создавать работоспособный программный код и решать алгоритмические задачи.

Выдающиеся результаты Llama 3 в этих тестах явно отличают её от таких конкурентов, как Gemma 7B от Google, Mistral 7B от Mistral и Claude 3 Sonnet от Anthropic. Согласно опубликованной статистике, особенно модель 70B превосходит эти модели по всем перечисленным выше бенчмаркам.

Рис. 4. Сравнение Llama 3 с другими большими языковыми моделями (LLMs).

Meta Llama 3 становится широко доступной#

Meta расширяет доступность Llama 3, представляя её на различных платформах для обычных пользователей и разработчиков. Для повседневных пользователей Llama 3 интегрирована в популярные платформы Meta, такие как WhatsApp, Instagram, Facebook и Messenger. Пользователи могут получать доступ к расширенным функциям, например поиску в реальном времени и генерации творческого контента, непосредственно в этих приложениях.

Llama 3 также внедряется в носимые технологии, такие как умные очки Ray-Ban Meta и VR-гарнитура Meta Quest, обеспечивая интерактивное взаимодействие.

Llama 3 доступна разработчикам на различных платформах, включая AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM и Snowflake. Ты также можешь получить доступ к этим моделям напрямую через Meta. Широкий выбор вариантов упрощает интеграцию передовых возможностей AI-моделей в проекты разработчиков — независимо от того, предпочитают ли они работать напрямую с Meta или через другие популярные платформы.

Главный вывод#

Достижения в машинном обучении продолжают менять то, как мы взаимодействуем с технологиями каждый день. Llama 3 от Meta показывает, что большие языковые модели (LLMs) больше не ограничиваются генерацией текста. LLMs решают сложные задачи и работают с несколькими языками. В целом Llama 3 делает AI более адаптивным и доступным, чем когда-либо. В будущем запланированные обновления Llama 3 обещают ещё больше возможностей, например работу с несколькими моделями и понимание более крупных контекстов.

Загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы больше узнать об AI. Посети страницы наших решений и узнай, как AI применяется в таких областях, как производство и сельское хозяйство.