Generative AI

A IA generativa é o ramo da inteligência artificial (IA) cujos modelos aprendem a distribuição de probabilidade dos seus dados de treino e geram novos dados a partir dela: texto, imagens, áudio, vídeo, código, cenas 3D ou estruturas moleculares. Um modelo discriminativo aprende p(rótulo | entrada), a probabilidade de um rótulo dada uma entrada, enquanto um modelo generativo aprende p(entrada) propriamente dita ou p(entrada | prompt), podendo assim produzir entradas que nunca existiram. O termo entrou no uso quotidiano depois de a OpenAI lançar o ChatGPT em 30 de novembro de 2022, mas os métodos são mais antigos: Diederik Kingma e Max Welling apresentaram o autoencoder variacional em 2013, e Ian Goodfellow e colegas apresentaram as redes adversariais generativas em 2014.

Como funcionam os modelos generativos#

Quatro famílias de modelos de aprendizagem profunda produzem a maior parte da IA generativa atual, e todos os grandes modelos de linguagem (LLM) no estilo GPT pertencem à primeira:

• Transformers autorregressivos: Geram uma sequência, um token de cada vez, condicionando cada token a tudo o que foi escrito até então, para texto, código, fala e imagens tokenizadas.
• Modelos de difusão: Adicionam ruído às amostras de treino e aprendem a removê-lo gradualmente, de modo que a geração começa com ruído puro e o transforma numa amostra. O Stable Diffusion, lançado em agosto de 2022, executa este processo num espaço latente comprimido.
• Redes adversariais generativas (GANs): Treinam um gerador contra um discriminador que tenta distinguir amostras reais das geradas, incentivando o gerador a produzir resultados realistas numa única passagem direta.
• Autoencoders variacionais (VAEs): Codificam dados num espaço latente com uma distribuição conhecida e descodificam amostras extraídas dessa distribuição. Os modelos de difusão latente usam um VAE para comprimir imagens antes de remover o ruído.

A ideia subjacente pode ser explicada em poucas linhas. Um modelo de mistura gaussiana aprende a distribuição das 150 flores do conjunto de dados Iris e gera novas flores, enquanto um classificador discriminativo treinado com os mesmos dados atribui-lhes rótulos:

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150 flores: comprimento e largura das sépalas e pétalas em cm

# Modelo discriminativo: aprende p(espécie | medidas), por isso só consegue classificar flores
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# Modelo generativo: aprende p(medidas) propriamente dita, por isso consegue gerar novas flores
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# O modelo discriminativo classifica as amostras geradas
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

As três flores geradas por amostragem, como uma com sépalas de 4,7 cm e pétalas de 1,4 cm, nunca foram medidas, mas o classificador atribui-lhes as classes versicolor, setosa e virginica, porque os três agrupamentos da mistura correspondem às três espécies. Um gerador de texto ou imagens substitui as três gaussianas por uma rede neural com milhares de milhões de parâmetros e as medidas por tokens ou píxeis.

Modelos generativos e discriminativos em conjunto#

A classificação de imagens e a detecção de objetos são tarefas discriminativas: o YOLO26 mapeia uma imagem para caixas e classes, mas não consegue desenhar uma imagem. Os dois tipos de modelo costumam trabalhar em sequência. A anotação inteligente orientada por classes da Ultralytics Platform usa modelos de linguagem visual (VLMs) generativos, com o Moondream 3.1 como padrão, para desenhar caixas para os nomes das classes de um conjunto de dados; depois da revisão, essas caixas se tornam rótulos para treinar um detector YOLO26.

Os geradores também criam dados sintéticos para eventos raros que são caros ou perigosos de fotografar, como defeitos invulgares ou perigos rodoviários, e os pipelines de geração de dados sintéticos combinam essas imagens com imagens reais para o treino. O sentido inverso também é comum: detetores e classificadores avaliam a qualidade das imagens geradas ou assinalam conteúdo inseguro.

Aplicações#

• Geração de texto: Os assistentes de chat, a sumarização e a tradução são executados em LLMs, e os assistentes de programação escrevem e testam software a partir de uma descrição.
• Texto para imagem: Modelos como o Stable Diffusion criam imagens a partir de prompts, e os mesmos modelos preenchem ou substituem regiões mascaradas de uma fotografia.
• Texto para vídeo: Modelos como o Sora da OpenAI, apresentado em pré-visualização em fevereiro de 2024, geram clips de vídeo a partir de uma descrição.
• Estrutura molecular: O AlphaFold 3, da Google DeepMind e da Isomorphic Labs, publicado em maio de 2024, prevê as estruturas de complexos proteicos com um módulo baseado em difusão que gera coordenadas atómicas.

Riscos e limitações#

Os geradores de linguagem alucinam afirmações convincentes, mas falsas; os geradores de imagens e voz possibilitam deepfakes, e o treino com dados da Web levanta questões de direitos de autor e consentimento. A marca de água de IA e as credenciais de conteúdo C2PA identificam os conteúdos gerados para que possam ser reconhecidos posteriormente. O conteúdo gerado também volta a integrar os dados de treino: Ilia Shumailov e colegas demonstraram em The Curse of Recursion, publicado na Nature em 2024, que os modelos treinados recursivamente com os próprios resultados perdem as caudas raras da distribuição original, uma falha a que chamaram colapso do modelo.