Generative AI

Генеративный ИИ — это область искусственного интеллекта (AI), в которой модели изучают вероятностное распределение своих обучающих данных и генерируют из него новые данные: текст, изображения, аудио, видео, код, трёхмерные сцены или молекулярные структуры. Дискриминативная модель изучает p(label | input) — вероятность метки при заданном входе, а генеративная модель изучает само p(input) или p(input | prompt), поэтому она может создавать входные данные, которых раньше не существовало. Термин вошёл в повседневный обиход после того, как OpenAI выпустила ChatGPT 30 ноября 2022 года, но сами методы появились раньше: Дидерик Кингма и Макс Веллинг представили вариационный автокодировщик в 2013 году, а Иэн Гудфеллоу и его коллеги — генеративно-состязательные сети в 2014 году.

Как работают генеративные модели#

Сегодня большинство генеративных моделей ИИ относится к четырём семействам моделей глубокого обучения, а каждая большая языковая модель (LLM) типа GPT принадлежит к первому:

• Авторегрессионные трансформеры: Генерируют последовательность по одному токену за раз, каждый раз учитывая всё, что было написано ранее. Применяются для текста, кода, речи и изображений, представленных в виде токенов.
• Диффузионные модели: Добавляют шум к обучающим примерам и учатся постепенно его удалять. Генерация начинается с чистого шума, который затем очищается до получения образца. Stable Diffusion, выпущенная в августе 2022 года, выполняет этот процесс в сжатом латентном пространстве.
• Генеративно-состязательные сети (GANs): Обучают генератор в противостоянии с дискриминатором, который пытается отличить реальные образцы от сгенерированных. Это побуждает генератор создавать реалистичные результаты за один прямой проход.
• Вариационные автокодировщики (VAEs): Кодируют данные в латентное пространство с известным распределением, а затем декодируют взятые из него образцы. Латентные диффузионные модели используют VAE для сжатия изображений перед удалением шума.

Основную идею можно изложить в нескольких строках. Смесь гауссовых распределений изучает распределение 150 цветков из набора данных Iris и генерирует новые цветки, а обученный на тех же данных дискриминативный классификатор присваивает им метки:

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150 цветков: длина и ширина чашелистиков и лепестков в см

# Дискриминативная модель: изучает p(species | measurements), поэтому может только классифицировать цветки
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# Генеративная модель: изучает само p(measurements), поэтому может генерировать новые цветки
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# Дискриминативная модель присваивает метки сгенерированным образцам
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

Три сгенерированных цветка, например один с чашелистиками длиной 4,7 см и лепестками длиной 1,4 см, никогда не измеряли, но классификатор относит их к versicolor, setosa и virginica, поскольку три кластера смеси соответствуют трём видам. В генераторе текста или изображений три гауссовых распределения заменены нейросетью с миллиардами параметров, а измерения — токенами или пикселями.

Совместное использование генеративных и дискриминативных моделей#

Классификация изображений и обнаружение объектов — дискриминативные задачи: YOLO26 преобразует изображение в боксы и классы, но не может нарисовать изображение. Часто модели этих двух типов работают последовательно. Умная разметка по названиям классов в Ultralytics Platform использует генеративные визуально-языковые модели (VLM), по умолчанию Moondream 3.1, чтобы рисовать боксы для названий классов набора данных. После проверки эти боксы становятся метками для обучения детектора YOLO26.

Генераторы также создают синтетические данные для редких событий, которые дорого или опасно фотографировать, например необычных дефектов или дорожных опасностей. Конвейеры генерации синтетических данных объединяют такие изображения с реальными для обучения. Распространён и обратный подход: детекторы и классификаторы оценивают качество сгенерированных изображений или отмечают небезопасный контент.

Применение#

• Генерация текста: LLM лежат в основе чат-ассистентов, суммаризации и перевода, а помощники по программированию пишут и тестируют ПО по описанию.
• Генерация изображений по тексту: Такие модели, как Stable Diffusion, создают изображения по запросам и могут заполнять или заменять замаскированные области фотографии.
• Генерация видео по тексту: Такие модели, как Sora от OpenAI, представленная в предварительном просмотре в феврале 2024 года, создают видеоклипы по описанию.
• Молекулярная структура: AlphaFold 3 от Google DeepMind и Isomorphic Labs, опубликованная в мае 2024 года, предсказывает структуры белковых комплексов с помощью диффузионного модуля, генерирующего координаты атомов.

Риски и ограничения#

Языковые генераторы галлюцинируют, создавая беглые, но ложные утверждения; генераторы изображений и голоса позволяют создавать дипфейки, а обучение на веб-данных поднимает вопросы авторского права и согласия. Водяные знаки ИИ и учётные данные контента C2PA помечают сгенерированные материалы, чтобы их можно было идентифицировать позднее. Сгенерированный контент также попадает обратно в обучающие данные: Илия Шумайлов и его коллеги показали в опубликованной в Nature в 2024 году работе «Проклятие рекурсии», что модели, рекурсивно обучаемые на собственных результатах, теряют редкие хвосты исходного распределения. Этот сбой они назвали коллапсом модели.