As últimas atualizações da OpenAI: Canvas, Ajuste Fino de Visão e mais

Depois que analisamos pela última vez os OpenAI's o1 models em setembro (que foram projetados para melhorar o raciocínio), muitas novidades e recursos empolgantes foram adicionados ao ChatGPT. Alguns desses lançamentos são voltados para desenvolvedores, enquanto outros foram desenhados para aprimorar a experiência do usuário. No geral, cada atualização ajuda a tornar as interações com o ChatGPT mais intuitivas e eficazes.

Atualizações como o Canvas, concebido para writing and coding colaborativos, e o fine-tuning para vision capabilities que melhora a forma como o ChatGPT lida com images, geraram muito interesse, encorajando os usuários a explorar novas possibilidades criativas. Enquanto isso, melhorias técnicas, como novas APIs e relatórios de testes de justiça, abordam aspectos como integration de modelos e práticas de ethical AI. Vamos mergulhar no assunto e entender melhor as funcionalidades mais recentes do ChatGPT da OpenAI!

Uma visão geral da funcionalidade Canvas da OpenAI#

O Canvas é a primeira grande atualização da interface de usuário (UI) do ChatGPT desde o seu lançamento. É uma nova interface com um layout de duas telas, prompts na barra lateral esquerda e respostas na janela do lado direito. A nova UI elimina a estrutura usual de tela única semelhante a um chat e muda para um layout de duas telas que atende a propósitos de multitarefa para aumentar a produtividade.

Fig 1. O Canvas traz atualizações de interface para o ChatGPT.

Antes de o Canvas ser introduzido, trabalhar com documents longos no ChatGPT significava ter que rolar a página para cima e para baixo com bastante frequência. No novo layout, os prompts aparecem na barra lateral esquerda, enquanto o documento de texto ou trecho de code ocupa a maior parte da tela. Se precisar, você pode até personalizar o tamanho da barra lateral esquerda e da tela de saída. Além disso, você pode selecionar uma parte do texto ou uma seção de código e editar esse trecho específico sem alterar o documento inteiro.

Fig 2. Edite seções específicas de texto usando o Canvas.

Se você usar o Canvas, vai notar que não há um botão ou atalho específico para abri-lo na interface do ChatGPT. Em vez disso, ao trabalhar com o modelo GPT-4o, o Canvas abre automaticamente se detectar que você está editing, writing ou coding. Para prompts mais simples, ele permanece inativo. Se quiser abri-lo manualmente, você pode usar comandos como "Open the Canvas" ou "Get me the Canvas layout."

Atualmente, o Canvas está em versão beta e disponível apenas com o GPT-4o. No entanto, a OpenAI mencionou que o Canvas estará disponível para todos os usuários gratuitos quando sair da fase beta.

Atualizações da API do ChatGPT#

A OpenAI lançou três novas atualizações da API do ChatGPT visando melhorar a eficiência, a escalabilidade e a versatilidade. Vamos dar uma olhada mais de perto em cada uma dessas atualizações.

Destilação de modelo#

Usando o recurso de Model Distillation por meio das APIs da OpenAI, os desenvolvedores podem aproveitar as saídas de advanced models como o GPT-4o ou o o1-preview para aprimorar o performance de modelos menores e mais econômicos, como o GPT-4o mini. A destilação de modelos é um processo que envolve o training de modelos menores para imitarem o comportamento de modelos mais avançados, tornando-os mais eficientes para specific tasks.

Antes de esse recurso ser lançado, os desenvolvedores precisavam coordenar manualmente várias tarefas usando diferentes ferramentas. Essas tarefas incluíam a geração de datasets, a medição de model performance e o fine-tuning de modelos, o que muitas vezes tornava o processo complexo e propenso a erros. A atualização de Model Distillation permite que os desenvolvedores utilizem Stored Completions, uma ferramenta que possibilita generate datasets automaticamente ao capturar e armazenar os pares de entrada e saída gerados por modelos avançados através da API.

Outro recurso do Model Distillation, o Evals (atualmente em beta), ajuda a medir o desempenho de um model performs em tarefas específicas, sem a necessidade de criar scripts de evaluation personalizados ou usar ferramentas separadas. Usando datasets generated com o Stored Completions e evaluating performance com o Evals, os desenvolvedores podem fazer o fine-tuning de seus próprios modelos GPT personalizados.

Fig 3. Você pode usar o Evals para medir o desempenho do modelo.

Cache de prompt#

Muitas vezes, ao criar AI applications, especialmente chatbots, o mesmo context (as informações de fundo ou o histórico de conversas anterior necessário para entender a solicitação atual) será usado repetidamente em várias chamadas de API. O Prompt Caching torna possível para os desenvolvedores reutilizarem input tokens recentes (segmentos de texto que o modelo processa para entender o prompt e gerar uma resposta), ajudando a reduzir custos e latência.

A partir de 1º de outubro, a OpenAI passou a aplicar automaticamente o Prompt Caching em seus modelos como GPT-4o, GPT-4o mini, o1-preview e o1-mini. Isso significa que, quando os desenvolvedores usam a API para interagir com um modelo utilizando um prompt longo (com mais de 1.024 tokens), o sistema salva as partes que já foram processadas.

Dessa forma, se os mesmos prompts ou semelhantes forem usados novamente, ele pode pular o recálculo dessas partes. O sistema armazena automaticamente em cache a maior parte do prompt que encontrou anteriormente, começando com 1.024 tokens e adicionando em blocos de 128 tokens à medida que o prompt aumenta.

API em tempo real#

Criar um voice assistant geralmente envolve a necessidade de transcrever audio to text, processar o texto e, em seguida, convertê-lo novamente em audio to play a resposta. A Realtime API da OpenAI tem como objetivo lidar com todo esse processo por meio de uma única solicitação de API. Ao simplificar o processo, a API viabiliza conversas em tempo real com IA.

Por exemplo, um assistente de voz integrado à Realtime API pode realizar ações específicas, como placing an order ou finding information, com base nas solicitações do usuário. A API torna o assistente de voz mais responsivo e capaz de se adaptar rapidamente às necessidades dos usuários. A Realtime API ficou disponível em beta público no dia 1º de outubro, com seis vozes. Em 30 de outubro, mais cinco vozes foram adicionadas, totalizando onze vozes disponíveis.

Fig 4. Um exemplo de uso da Realtime API para praticar conversas em um novo idioma.

Ajuste fino do ChatGPT para tarefas de visão#

Originalmente, o modelo de linguagem de visão GPT-4o só podia ser ajustado e personalizado usando datasets apenas de texto. Agora, com o lançamento da API de ajuste fino de visão, os desenvolvedores podem treinar e personalizar o GPT-4o usando datasets de imagem. Desde o seu lançamento, o ajuste fino de visão tornou-se um importante tópico de interesse entre desenvolvedores e engenheiros de visão computacional.

Para fazer o ajuste fino das capacidades de visão do GPT-4o, os desenvolvedores podem usar datasets de imagem que variam de apenas 100 imagens até 50.000 imagens. Após garantir que o dataset corresponda ao formato exigido pela OpenAI, ele pode ser carregado na plataforma OpenAI e o modelo pode ser ajustado para aplicações específicas.

Por exemplo, a Automat, uma empresa de automação, utilizou um conjunto de capturas de tela para train GPT-4o de modo que ele pudesse identificar elementos de interface em uma tela com base em uma descrição. Isso ajuda a otimizar a Automação de Processos Robóticos (RPA), facilitando a interação de bots com interfaces de usuário. Em vez de depender de coordenadas fixas ou regras de seleção complexas, o modelo consegue identificar elementos da interface com base em descrições simples, tornando as configurações de automação mais adaptáveis e fáceis de manter quando ocorrem mudanças nas interfaces.

Fig 5. Usando uma versão ajustada do modelo GPT-4o para detectar elementos de interface.

Imparcialidade e detecção de viés no ChatGPT#

Ethical concerns relacionadas a AI applications são um tema recorrente de debate à medida que a IA se torna cada vez mais avançada. Como as respostas do ChatGPT são baseadas em prompts fornecidos pelos usuários e em dados disponíveis na internet, pode ser desafiou ajustar sua linguagem para que seja sempre responsável. Relatórios indicam que ChatGPT’s answers are biased em relação a nome, gênero e raça. Para resolver esse problema, a equipe interna da OpenAI conduziu um teste de imparcialidade em primeira pessoa.

Nomes frequentemente carregam sutilezas sobre our culture e fatores geográficos. Na maioria dos casos, o ChatGPT ignorará essas dicas sutis nos nomes. No entanto, em algumas situações, nomes que refletem raça ou cultura geram respostas diferentes por parte do ChatGPT, sendo que cerca de 1% delas refletem harmful language. Eliminar vieses e linguagem prejudicial é uma tarefa complexa para um language model. Contudo, ao compartilhar essas descobertas publicamente e reconhecer as limitações do modelo, a OpenAI ajuda os usuários a refinarem seus prompts para obterem respostas mais neutras e imparciais.

Fig 6. Um exemplo de respostas diferentes devido ao nome do usuário.

Entendendo a pesquisa do ChatGPT#

Quando o ChatGPT foi lançado pela primeira vez, houve discussões na comunidade de IA sobre se ele poderia substituir a navegação tradicional na web. Agora, muitos usuários estão usando o ChatGPT em vez da Pesquisa Google.

A nova atualização da OpenAI, o recurso de Pesquisa, leva isso um passo adiante. Com a Pesquisa, o ChatGPT gera respostas atualizadas e inclui links para fontes relevantes. Desde 31 de outubro, o recurso de Pesquisa está disponível para todos os usuários do ChatGPT Plus e Team, fazendo com que o ChatGPT funcione mais como um motor de busca impulsionado por IA.

Fig 7. Um exemplo de uso do novo recurso de Pesquisa do ChatGPT.

O caminho a seguir#

As atualizações recentes do ChatGPT concentram-se em tornar a IA mais útil, flexível e justa. O novo recurso Canvas ajuda os usuários a trabalharem com mais eficiência, enquanto o ajuste fino de visão permite que os desenvolvedores personalizem modelos para lidar melhor com tarefas visuais. Abordar a imparcialidade e reduzir o viés também são prioridades fundamentais, garantindo que a IA funcione bem para todos, independentemente de quem sejam. Esteja você como desenvolvedor fazendo o ajuste fino de modelos ou apenas usando os recursos mais recentes, o ChatGPT está evoluindo para atender a uma ampla gama de necessidades. Com capacidades em tempo real, integração visual e um foco no uso responsável, essas atualizações estão construindo uma experiência de IA mais confiável e segura para todos.

Explore mais sobre IA visitando nosso GitHub repository e participando da nossa community. Saiba mais sobre aplicações de IA em self-driving e healthcare.