O surgimento dos modelos neurais generativos
Uma linha de continuidade entre um vetor de palavras de 2013 e um agente autônomo de 2024 e o que essa trajetória revela sobre quem controla a capacidade de gerar.
Passei os últimos dias estudando a fundo a arquitetura por trás dos modelos que hoje geram texto, imagem e vídeo, e reparei em algo que a lista cronológica de lançamentos esconde: não é uma sequência de acasos. Cada geração resolve, de forma quase mecânica, a limitação estrutural da anterior. Entender essa continuidade importa mais do que decorar datas, porque é ela que explica por que estamos, hoje, discutindo agentes autônomos e não mais apenas "IA que gera imagem".
Começa em 2013, com o Word2Vec. Antes de qualquer modelo gerar algo, ele precisa representar. O Word2Vec mostrou que era possível transformar palavras em vetores numéricos onde a distância geométrica carrega significado, o exemplo que todo mundo cita é rei - homem + mulher ≈ rainha. Parece um detalhe técnico distante de "criar conteúdo", mas é o alicerce: sem uma forma de comprimir significado num espaço contínuo, não existe base sobre a qual construir geração de nenhum tipo.
Um ano depois, em 2014, duas arquiteturas nascem com a mesma pergunta e respondem de formas opostas: como fazer uma máquina criar, e não só classificar? Os Autoencoders Variacionais (Kingma e Welling) resolveram isso comprimindo uma imagem num espaço latente navegável, a geração deixa de ser aleatória e passa a ser dirigível. As GANs (Goodfellow et al.) resolveram de um jeito mais provocador: dois modelos competindo, um gerador tentando enganar um discriminador. Desse jogo adversarial nasceram rostos e cenários indistinguíveis de fotografias reais, pela primeira vez na história da computação, uma máquina produzia algo que um humano não conseguia identificar como falso.
Entre a era das GANs e a era dos modelos multimodais que usamos hoje existe um ponto de inflexão que não é sobre imagem nenhuma, é sobre como processar sequência. Em 2017, o paper Attention Is All You Need propôs abandonar a recorrência (o jeito tradicional de ler texto palavra por palavra, com uma memória que degrada quanto mais longa a frase) e substituí-la por atenção: cada elemento de uma sequência passa a olhar diretamente para todos os outros, em paralelo, sem precisar carregar informação por um corredor de memória. Isso destravou treinar modelos ordens de grandeza maiores em muito menos tempo. O Transformer não foi desenhado para gerar nada criativo, foi desenhado para tradução automática, mas virou, sem que ninguém tivesse planejado exatamente assim, o esqueleto comum de praticamente tudo que veio depois. GPT, BERT, os modelos multimodais atuais: todos carregam essa mesma peça por baixo.
Cinco anos depois, em 2022, uma terceira estratégia de geração de imagem ofusca GANs e VAEs em qualidade: os modelos de difusão. A ideia é quase contraintuitiva, treinar o modelo para desaprender uma imagem, adicionando ruído até sobrar só estática, e depois ensiná-lo a reverter esse processo, reconstruindo algo coerente a partir do ruído puro. Stable Diffusion, DALL-E 2 e Midjourney ganham tração no mesmo ano, e a combinação de controle via texto com, no caso do Stable Diffusion, código aberto, faz a diferença: não é só qualidade, é qualidade acessível. Foi esse terceiro fator, abertura, que transformou uma técnica de laboratório numa explosão de aplicações.
E aí chegamos onde estamos agora. A fronteira mais recente já não é gerar uma modalidade isolada, é combinar texto, imagem, áudio e vídeo num modelo capaz de raciocinar entre elas, GPT-4o, Gemini, Claude 3 são expressões disso. O passo seguinte, que já está em curso, é dar a esses modelos contexto contínuo, percepção e capacidade de planejar e executar em múltiplos passos, sem supervisão a cada etapa. É o início dos agentes: sistemas que não geram mais uma saída, orquestram uma sequência de decisões.
Olhando pra essas duas décadas em conjunto, um padrão se repete: cada geração de modelo generativo nasce como ferramenta pontual, representação, depois imagem, depois arte controlada e, à medida que amadurece, vira plataforma. E as plataformas mais recentes já não são só plataformas, são parceiros integrados a fluxos de decisão e execução.
Isso é empolgante do ponto de vista técnico, e eu sinto isso genuinamente estudando cada uma dessas arquiteturas. Mas cada salto de capacidade generativa é, ao mesmo tempo, um salto na pergunta sobre quem controla essas plataformas, com que dados foram treinadas e a favor de quem elas agem quando passam a executar sozinhas. A história que acabei de contar é sobre capacidade técnica. A que vem depois e que me interessa tanto quanto essa é sobre poder.