2024 год начинается с волны генеративного ИИ

Новости об ИИ-сообществе появляются почти каждый день. Первые месяцы 2024 года выдались захватывающими и насыщенными новыми инновациями в области ИИ. От мощных больших языковых моделей до имплантов в мозг человека — 2024 год обещает стать важным для развития ИИ.

Мы видим, как ИИ меняет отрасли, делает информацию доступнее и даже делает первые шаги к объединению нашего разума с машинами. Давай вспомним первый квартал 2024 года и посмотрим, какого прогресса удалось достичь в области ИИ всего за несколько месяцев.

Большие языковые модели на пике популярности#

Большие языковые модели (LLMs), предназначенные для понимания, создания и обработки человеческого языка на основе огромных объёмов текстовых данных, оказались в центре внимания в первом квартале 2024 года. Многие крупные технологические компании выпустили собственные LLM с уникальными возможностями. Эту тенденцию вдохновил успех более ранних LLM, например GPT-3. Вот несколько наиболее заметных LLM, выпущенных в начале 2024 года.

Claude 3 от Anthropic#

Anthropic выпустила Claude 3 4 марта 2024 года. Модель Claude 3 представлена в трех версиях: Opus, Sonnet и Haiku, каждая из которых рассчитана на свою аудиторию и задачи. Haiku, самая быстрая модель, оптимизирована для быстрых ответов на простые запросы. Sonnet сочетает скорость и интеллект и предназначена для корпоративных приложений. Самая мощная версия, Opus, создана для сложных задач логического мышления и на момент запуска лидировала во многих тестах.

Как мы рассказывали в обзоре карточки модели Claude 3, Claude 3 предлагает несколько функций и улучшений:

• Улучшенный многоязычный диалог: расширены возможности работы с такими языками, как испанский, японский и французский.
• Расширенные возможности работы с изображениями: модель умеет обрабатывать различные визуальные форматы.
• Меньше отказов: модель лучше понимает запросы и реже отказывает без необходимости, что свидетельствует об улучшенном понимании контекста.
• Расширенное контекстное окно: оно составляет 200K токенов, но при необходимости клиента модель способна обрабатывать входные данные объёмом более 1 миллиона токенов.

Рис. 1. Claude 3 лучше учитывает контекст, чем предыдущие версии.

DBRX от Databricks#

Databricks DBRX — открытая универсальная LLM, выпущенная Databricks 27 марта 2024 года. DBRX показывает хорошие результаты в различных тестах, включая понимание языка, программирование и математику. Она превосходит другие известные модели и при этом примерно на 40% компактнее сопоставимых моделей.

Рис. 2. Сравнение DBRX с другими моделями.

DBRX обучали с помощью предсказания следующего токена и детализированной архитектуры смеси экспертов (MoE), которая значительно повышает эффективность обучения и инференса. Благодаря архитектуре модель точнее предсказывает следующее слово в последовательности, обращаясь к различным специализированным подмоделям («экспертам»). Эти подмодели хорошо справляются с разными типами информации и задач.

Gemini 1.5 от Google#

15 февраля 2024 года Google представила Gemini 1.5 — мультимодальную модель ИИ, которая эффективно использует вычислительные ресурсы и может анализировать большие объёмы текста, видео и аудиоданных. Новейшая модель стала совершеннее по производительности, эффективности и возможностям. Одной из ключевых особенностей Gemini 1.5 стал прорыв в обработке длинного контекста. Модель стабильно обрабатывает до 1 миллиона токенов. Своими возможностями Gemini 1.5 также обязана новой архитектуре на основе MoE.

Рис. 3. Сравнение длины контекста популярных LLM

Вот несколько самых интересных возможностей Gemini 1.5:

• Улучшенная работа с данными: позволяет напрямую загружать большие PDF-файлы, репозитории кода и длинные видео в качестве промптов. Модель умеет рассуждать на основе данных из разных модальностей и генерировать текст.
• Загрузка нескольких файлов и запросы: теперь разработчики могут загружать несколько файлов и задавать вопросы.
• Подходит для разных задач: модель оптимизирована для масштабирования при решении разнообразных задач и демонстрирует улучшения в математике, естественных науках, рассуждениях, многоязычии, понимании видео и работе с кодом.

Потрясающие визуальные эффекты от AI#

В первом квартале 2024 года появились генеративные модели ИИ, способные создавать настолько реалистичные изображения, что они вызвали дискуссии о будущем социальных сетей и развитии ИИ. Вот модели, которые стали предметом этих обсуждений.

Sora от OpenAI#

15 февраля 2024 года OpenAI, создатель ChatGPT, представила передовую модель глубокого обучения для преобразования текста в видео под названием Sora. Sora создает видеоролики длительностью до минуты с высоким качеством изображения на основе текстовых запросов пользователей.

Например, взгляни на такой запрос.

«Прекрасно выполненный мир из бумажных поделок с коралловым рифом, полным разноцветных рыб и морских обитателей».

А вот кадр из созданного видео.

Рис. 4. Кадр из видео, созданного Sora.

Архитектура Sora делает это возможным благодаря сочетанию диффузионных моделей для создания текстур и моделей-трансформеров, обеспечивающих структурную согласованность. Пока доступ к Sora получили специалисты красной команды, а также ограниченная группа художников, дизайнеров и кинематографистов: они помогают оценить риски и поделиться отзывами.

Stable Diffusion 3 от Stability AI#

22 февраля 2024 года Stability AI объявила о выходе Stable Diffusion 3 — модели генерации изображений по тексту. Она сочетает архитектуру диффузионного трансформера с методом сопоставления потоков. Техническая статья пока не опубликована, но уже можно отметить несколько ключевых особенностей.

Рис. 5. Изображение, созданное по запросу: «Эпичная аниме-иллюстрация: волшебник на вершине горы ночью творит космическое заклинание в темном небе; слова "Stable Diffusion 3" составлены из разноцветной энергии» (Источник)

Новейшая модель Stable Diffusion обеспечивает более высокую производительность, качество изображений и точность при создании изображений с несколькими объектами. Stable Diffusion 3 также будет доступна в вариантах с числом параметров от 800 миллионов до 8 миллиардов. Пользователи смогут выбирать модель с учетом своих требований к масштабируемости и детализации.

Lumiere от Google#

23 января 2024 года исследователи Google представили Lumiere — диффузионную модель для генерации видео по текстовому описанию. Lumiere использует архитектуру Space-Time-U-Net, сокращенно STUNet. Она помогает модели понимать, где находятся объекты и как они движутся в видео. Благодаря этому модель способна создавать плавные и реалистичные видео.

Рис. 6. Кадр из видео, созданного по запросу: «Панда играет на укулеле дома».

Способность создавать до 80 кадров на видео делает Lumiere заметным шагом вперёд в качестве видео, генерируемого ИИ. Вот некоторые возможности Lumiere:

• Преобразование изображения в видео: Lumiere может анимировать изображение и превращать его в видео на основе изображения и промпта.
• Стилизация генерации: Lumiere может создавать видео в заданном стиле, используя одно эталонное изображение.
• Живые фотографии: Lumiere может анимировать отдельные области изображения, создавая динамичные сцены, например, когда движется определенный объект, а остальная часть сцены остается неподвижной.
• Восстановление видео: модель может изменять части видео, например менять одежду людей или детали фона.

Будущее уже наступило#

Начало 2024 года принесло и множество инноваций в сфере AI, словно сошедших с экрана научно-фантастического фильма. То, что раньше казалось невозможным, теперь находится в разработке. Благодаря следующим открытиям будущее кажется совсем близким.

Neuralink Илона Маска#

29 января 2024 года Neuralink Илона Маска успешно имплантировала человеку беспроводной мозговой чип. Это важный шаг к подключению человеческого мозга к компьютерам. Илон Маск сообщил, что первый продукт Neuralink под названием «Telepathy» уже находится в разработке.

Рис. 7. Имплант Neuralink

Цель — дать пользователям, особенно людям, утратившим подвижность конечностей, возможность легко управлять устройствами силой мысли. Возможное применение этой технологии не ограничивается удобством. Илон Маск представляет будущее, в котором люди с параличом смогут без труда общаться.

Пол HoloTile от Disney#

18 января 2024 года Walt Disney Imagineering представила пол HoloTile. Его назвали первой в мире всенаправленной беговой дорожкой для нескольких человек.

Рис. 8. Инженер Disney Imagineering Лэнни Смут демонстрирует свою последнюю разработку — пол HoloTile.

Пол может перемещаться под любым человеком или предметом, словно под действием телекинеза, создавая эффект полного погружения в виртуальную и дополненную реальность. На нем можно ходить в любом направлении и избегать столкновений. Пол HoloTile от Disney также можно установить на театральной сцене, чтобы танцевать и двигаться по-новому.

Vision Pro от Apple#

2 февраля 2024 года долгожданная гарнитура Vision Pro от Apple поступила в продажу. Она предлагает множество функций и приложений, призванных изменить опыт взаимодействия с виртуальной и дополненной реальностью. Гарнитура Vision Pro рассчитана на широкую аудиторию и объединяет развлечения, продуктивную работу и пространственные вычисления. Apple с гордостью сообщила, что к запуску Vision Pro для нее оптимизировали более 600 приложений — от инструментов для работы до игр и развлекательных сервисов.

Devin от Cognition#

12 марта 2024 года Cognition выпустила помощника по разработке программного обеспечения Devin. Это первая в мире попытка создать автономного ИИ-инженера-программиста. В отличие от традиционных помощников по программированию, которые предлагают варианты или выполняют отдельные задачи, Devin предназначен для ведения целых проектов по разработке программного обеспечения — от первоначальной идеи до завершения.

Он может изучать новые технологии, создавать и развертывать полноценные приложения, находить и исправлять ошибки, обучать собственные модели, вносить вклад в проекты с открытым исходным кодом и производственные кодовые базы и даже выполнять реальные задачи по разработке с таких сайтов, как Upwork.

Рис. 9. Сравнение Devin с другими моделями.

Devin оценивали на SWE-bench — сложном бенчмарке, в котором агентам нужно решать реальные задачи GitHub из проектов с открытым исходным кодом, таких как Django и scikit-learn. Модель успешно решила 13,86% задач от начала до конца. Предыдущий лучший результат составлял 1,96%.

Почетные упоминания#

Происходило так много всего, что рассказать обо всём в этой статье невозможно, но вот ещё несколько достойных упоминания событий.

• LATTE3D от NVIDIA, представленный 21 марта 2024 года, — это AI-модель для преобразования текста в 3D, которая мгновенно создает трехмерные представления по текстовым промптам.
• Новый генератор видео по тексту от Midjourney, о котором рассказал генеральный директор Дэвид Хольц, начали обучать в январе. Ожидается, что скоро он выйдет.
• В рамках развития революции AI-ПК Lenovo 8 января 2024 года выпустила ThinkBook 13x с технологией E Ink Prism и высокопроизводительные ноутбуки с AI.

Следи за новостями и трендами в сфере AI вместе с нами!#

Начало 2024 года ознаменовалось крупными достижениями в сфере ИИ и несколькими технологическими вехами. Но это лишь начало того, на что способен ИИ. Если ты хочешь узнать больше о последних достижениях в области ИИ, Ultralytics поможет тебе.

Загляни в наш репозиторий GitHub, чтобы узнать о наших последних разработках в области компьютерного зрения и AI. Также посмотри страницы наших решений и узнай, как AI применяют в таких отраслях, как производство и здравоохранение.