As atualizações mais recentes da OpenAI: Canvas, fine-tuning de visão e mais

Desde que analisamos pela última vez os modelos o1 da OpenAI em setembro (criados para aprimorar o raciocínio), muitos recursos novos e interessantes foram adicionados ao ChatGPT. Alguns desses lançamentos são voltados para desenvolvedores, enquanto outros foram criados para aprimorar a experiência do usuário. No geral, cada atualização ajuda a tornar as interações com o ChatGPT mais intuitivas e eficazes.

Atualizações como o Canvas, desenvolvido para escrita e programação colaborativas, e o ajuste fino dos recursos de visão, que melhora a forma como o ChatGPT trabalha com imagens, despertaram muito interesse e incentivaram os usuários a explorar possibilidades mais criativas. Enquanto isso, aprimoramentos técnicos, como novas APIs e relatórios de testes de imparcialidade, abordam aspectos como a integração de modelos e as práticas de IA ética. Vamos conhecer melhor os recursos mais recentes do ChatGPT da OpenAI.

Visão geral do recurso Canvas da OpenAI#

O Canvas é a primeira grande atualização da interface do usuário (UI) do ChatGPT desde o lançamento. É uma nova interface com layout de duas telas, prompts na barra lateral esquerda e respostas na janela do lado direito. A nova UI abandona o fluxo de trabalho habitual de uma estrutura de chat em tela única e adota um layout de duas telas, adequado à multitarefa e que aumenta a produtividade.

Fig. 1. O Canvas traz atualizações à UI do ChatGPT.

Antes da introdução do Canvas, trabalhar com documentos longos no ChatGPT exigia rolar bastante a tela para cima e para baixo. No novo layout, os prompts aparecem na barra lateral esquerda, enquanto o documento de texto ou trecho de código ocupa a maior parte da tela. Se necessário, você pode até ajustar o tamanho da barra lateral esquerda e da área de saída. Além disso, você pode selecionar um trecho do texto ou uma seção do código e editar apenas essa parte sem alterar o documento inteiro.

Fig. 2. Edite seções específicas de texto usando o Canvas.

Se você usar o Canvas, vai notar que não há um botão nem uma opção específica para abri-lo na interface do ChatGPT. Em vez disso, quando você trabalha com o modelo GPT-4o, o Canvas é aberto automaticamente se detectar que você está editando, escrevendo ou programando. Para prompts mais simples, ele permanece inativo. Se quiser abri-lo manualmente, você pode usar prompts como "Abrir o Canvas" ou "Mostrar o layout do Canvas".

Atualmente, o Canvas está em versão beta e disponível apenas com o GPT-4o. No entanto, a OpenAI mencionou que o Canvas estará disponível para todos os usuários do plano gratuito quando sair da versão beta.

Atualizações da API do ChatGPT#

A OpenAI lançou três novas atualizações da API do ChatGPT para melhorar a eficiência, a escalabilidade e a versatilidade. Vamos analisar cada uma dessas atualizações.

Destilação de modelos#

Com o recurso de destilação de modelos pelas APIs da OpenAI, os desenvolvedores podem usar as saídas de modelos avançados, como GPT-4o ou o1-preview, para melhorar o desempenho de modelos menores e mais econômicos, como o GPT-4o mini. A destilação de modelos é um processo que treina modelos menores para imitar o comportamento de modelos mais avançados, tornando-os mais eficientes em tarefas específicas.

Antes da introdução desse recurso, os desenvolvedores precisavam coordenar manualmente várias tarefas usando ferramentas diferentes. Entre elas estavam a geração de conjuntos de dados, a medição do desempenho dos modelos e o ajuste fino, o que muitas vezes tornava o processo complexo e propenso a erros. A atualização de destilação de modelos permite que os desenvolvedores usem Stored Completions, uma ferramenta que gera conjuntos de dados automaticamente ao capturar e armazenar os pares de entrada e saída produzidos por modelos avançados por meio da API.

Outro recurso da destilação de modelos, o Evals (atualmente em beta), ajuda a medir o desempenho de um modelo em tarefas específicas sem a necessidade de criar scripts de avaliação personalizados ou usar ferramentas separadas. Com conjuntos de dados gerados pelo Stored Completions e a avaliação do desempenho pelo Evals, os desenvolvedores podem ajustar seus próprios modelos GPT personalizados.

Fig. 3. Você pode usar o Evals para medir o desempenho do modelo.

Cache de prompts#

Muitas vezes, ao criar aplicações de IA, especialmente chatbots, o mesmo contexto (as informações de referência ou o histórico de conversas anterior necessários para entender a solicitação atual) é usado repetidamente em várias chamadas de API. O cache de prompts permite que os desenvolvedores reutilizem tokens de entrada usados recentemente (segmentos de texto que o modelo processa para entender o prompt e gerar uma resposta), ajudando a reduzir custos e latência.

A partir de 1º de outubro, a OpenAI passou a aplicar automaticamente o Prompt Caching aos seus modelos, como GPT-4o, GPT-4o mini, o1-preview e o1-mini. Isso significa que, quando os desenvolvedores usam a API para interagir com um modelo com um prompt longo (com mais de 1.024 tokens), o sistema salva as partes que já processou.

Assim, se os mesmos prompts ou prompts semelhantes forem usados novamente, o sistema pode pular o recálculo dessas partes. O sistema armazena automaticamente em cache a parte mais longa do prompt que já encontrou, começando com 1.024 tokens e adicionando blocos de 128 tokens à medida que o prompt aumenta.

API Realtime#

Criar um assistente de voz geralmente exige transcrever áudio para texto, processar o texto e depois convertê-lo novamente em áudio para reproduzir a resposta. A API Realtime da OpenAI busca realizar todo esse processo com uma única solicitação de API. Ao simplificar o processo, a API viabiliza conversas em tempo real com a IA.

Por exemplo, um assistente de voz integrado à API Realtime pode executar ações específicas, como fazer um pedido ou encontrar informações, com base nas solicitações dos usuários. A API torna o assistente de voz mais responsivo e capaz de se adaptar rapidamente às necessidades dos usuários. A API Realtime ficou disponível em beta público em 1º de outubro, com seis vozes. Em 30 de outubro, foram adicionadas mais cinco vozes, totalizando onze vozes disponíveis.

Fig. 4. Exemplo de uso da API Realtime para praticar conversas em um novo idioma.

Ajuste fino do ChatGPT para tarefas de visão#

Originalmente, só era possível ajustar e personalizar o modelo de linguagem e visão GPT-4o usando conjuntos de dados exclusivamente textuais. Agora, com o lançamento da API de ajuste fino de visão, os desenvolvedores podem treinar e personalizar o GPT-4o usando conjuntos de dados de imagens. Desde o lançamento, o ajuste fino de visão se tornou um tema de grande interesse entre desenvolvedores e engenheiros de visão computacional.

Para ajustar os recursos de visão do GPT-4o, os desenvolvedores podem usar conjuntos de dados de imagens que vão de apenas 100 a até 50.000 imagens. Depois de garantir que o conjunto de dados corresponda ao formato exigido pela OpenAI, é possível carregá-lo na plataforma da OpenAI e ajustar o modelo para aplicações específicas.

Por exemplo, a Automat, uma empresa de automação, usou um conjunto de dados de capturas de tela para treinar o GPT-4o a identificar elementos de interface do usuário com base em uma descrição. Isso ajuda a simplificar a Automação Robótica de Processos (RPA), facilitando a interação de bots com interfaces de usuário. Em vez de depender de coordenadas fixas ou regras complexas de seletores, o modelo pode identificar elementos da interface com base em descrições simples, tornando as configurações de automação mais adaptáveis e fáceis de manter quando as interfaces mudam. Modelos OpenAI mais recentes, como GPT-6.1 Sol, podem detectar objetos sem ajuste fino, e os resultados do benchmark VLM mostram como eles se comparam a outros modelos de linguagem visual em conjuntos de dados do mundo real.

Fig. 5. Uso de uma versão ajustada do modelo GPT-4o para detectar elementos da UI.

Detecção de imparcialidade e vieses no ChatGPT#

As preocupações éticas em torno das aplicações de IA são um tema de destaque à medida que a IA se torna cada vez mais avançada. Como as respostas do ChatGPT se baseiam em prompts fornecidos pelos usuários e em dados disponíveis na Internet, pode ser difícil ajustar sua linguagem para que seja responsável o tempo todo. Relatos afirmam que as respostas do ChatGPT são tendenciosas em relação a nomes, gênero e raça. Para abordar essa questão, a equipe interna da OpenAI realizou um teste de imparcialidade em primeira pessoa.

Os nomes muitas vezes contêm indícios sutis sobre cultura e fatores geográficos. Na maioria dos casos, o ChatGPT ignora esses indícios sutis nos nomes. No entanto, em alguns casos, nomes que refletem raça ou cultura levam a respostas diferentes do ChatGPT, e cerca de 1% dessas respostas incluem linguagem prejudicial. Eliminar vieses e linguagem prejudicial é uma tarefa difícil para um modelo de linguagem. No entanto, ao compartilhar publicamente essas descobertas e reconhecer as limitações do modelo, a OpenAI ajuda os usuários a aprimorar seus prompts para obter respostas mais neutras e imparciais.

Fig. 6. Exemplo de respostas diferentes devido ao nome do usuário.

Entendendo a busca do ChatGPT#

Quando o ChatGPT foi lançado, houve discussões na comunidade de IA sobre a possibilidade de ele substituir a navegação tradicional na Web. Agora, muitos usuários estão usando o ChatGPT em vez da Pesquisa Google.

A nova atualização da OpenAI, o recurso Search, vai um passo além. Com o Search, o ChatGPT gera respostas atualizadas e inclui links para fontes relevantes. Em 31 de outubro, o recurso Search está disponível para todos os usuários do ChatGPT Plus e Team, fazendo com que o ChatGPT funcione mais como um mecanismo de busca com tecnologia de IA.

Fig. 7. Exemplo de uso do novo recurso Search do ChatGPT.

O caminho à frente#

As atualizações recentes do ChatGPT se concentram em tornar a IA mais útil, flexível e imparcial. O novo recurso Canvas ajuda os usuários a trabalhar com mais eficiência, enquanto o ajuste fino para visão permite que os desenvolvedores personalizem modelos para lidar melhor com tarefas visuais. Abordar a imparcialidade e reduzir vieses também são prioridades fundamentais, para garantir que a IA funcione bem para todos, independentemente de quem sejam. Seja você um desenvolvedor ajustando modelos ou alguém que simplesmente usa os recursos mais recentes, o ChatGPT está evoluindo para atender a uma ampla variedade de necessidades. Com recursos em tempo real, integração visual e foco no uso responsável, essas atualizações estão criando uma experiência de IA mais confiável e segura para todos.

Explore mais sobre IA visitando nosso repositório do GitHub e participando da nossa comunidade. Saiba mais sobre aplicações de IA em veículos autônomos e na área da saúde.