GPT-4o da OpenAI mostra o potencial da IA

Na segunda-feira, 13 de maio de 2024, a OpenAI anunciou o lançamento do seu novo modelo de referência, o GPT-4o, em que «o» significa «omni». O GPT-4o é um modelo avançado de IA multimodal para interações em tempo real com texto, áudio e visão, oferecendo processamento mais rápido, suporte multilingue e segurança reforçada.

Ele traz novos recursos de IA generativa. Aproveitando os pontos fortes de conversação do ChatGPT, os recursos do GPT-4o representam um grande avanço na forma como as pessoas percebem a IA. Agora podemos conversar com o GPT-4o como se fosse uma pessoa de verdade. Vamos ver o que o GPT-4o é capaz de fazer!

Conhecer o GPT-4o#

Na atualização de primavera da OpenAI, foi revelado que, embora o GPT-4o seja tão inteligente quanto o GPT-4, ele processa dados mais rapidamente e está mais bem preparado para lidar com texto, visão e áudio. Ao contrário dos lançamentos anteriores, que se concentravam em tornar os modelos mais inteligentes, este lançamento foi desenvolvido tendo em mente a necessidade de facilitar o uso da IA pelo público em geral.

Fig. 1. Atualização de primavera da OpenAI

O modo de voz do ChatGPT, lançado no final do ano passado, combinava três modelos diferentes para transcrever entradas de voz, compreender e gerar respostas escritas e converter texto em fala para que o utilizador pudesse ouvir uma resposta. Este modo tinha problemas de latência e não parecia muito natural. O GPT-4o consegue processar nativamente texto, visão e áudio de uma só vez, dando ao utilizador a impressão de estar a participar numa conversa natural.

Além disso, ao contrário do modo de voz, agora você pode interromper o GPT-4o enquanto ele fala, e ele reage tal como uma pessoa. Faz uma pausa, ouve e depois responde em tempo real com base no que você disse. Também consegue expressar emoções com a voz e compreender o seu tom.

Funcionalidades interessantes do GPT-4o#

A avaliação do modelo GPT-4o mostra o quão avançado é. Um dos resultados mais interessantes revelou que o GPT-4o melhora significativamente o reconhecimento de fala em comparação com o Whisper-v3 em todos os idiomas, sobretudo nos menos usados.

O desempenho do reconhecimento automático de fala (ASR) em áudio mede a precisão com que um modelo transcreve a linguagem falada em texto. O desempenho do GPT-4o é avaliado pela taxa de erro de palavras (WER), que indica a percentagem de palavras transcritas incorretamente (uma WER mais baixa significa melhor qualidade). O gráfico abaixo mostra a WER mais baixa do GPT-4o em várias regiões, demonstrando a sua eficácia na melhoria do reconhecimento de fala em idiomas com poucos recursos.

Fig. 2. O GPT-4o tem um reconhecimento de fala superior em vários idiomas.

Veja algumas outras funcionalidades únicas do GPT-4o:

• Mais rápido — É duas vezes mais rápido do que o GPT-4 Turbo. Consegue responder a entradas de áudio em apenas 232 milissegundos, um tempo de resposta semelhante ao de uma conversa humana.
• Económico — A versão de API do GPT-4o é 50% mais barata do que o GPT-4 Turbo.
• Memória — O GPT-4o consegue manter a continuidade entre diferentes conversas. Lembra-se do que você está a dizer em diferentes chats.
• Multilingue — O GPT-4o foi treinado para oferecer maior velocidade e qualidade em 50 idiomas diferentes.

Exemplos do que o GPT-4o consegue fazer#

Agora você pode abrir o GPT-4o no telemóvel, ligar a câmara e pedir-lhe, como faria a um amigo, que adivinhe o seu estado de espírito com base na sua expressão facial. O GPT-4o consegue ver você através da câmara e responder.

Fig. 3. O GPT-4o a interpretar o estado de espírito de uma pessoa através de vídeo.

Você pode até usá-lo para resolver problemas de matemática, mostrando ao GPT-4o através de vídeo o que está a escrever. Em alternativa, pode partilhar o ecrã, e ele pode tornar-se um tutor útil na Khan Academy, pedindo-lhe que identifique diferentes partes de um triângulo em geometria, como mostrado abaixo.

Fig. 4. O GPT-4o a atuar como tutor na Khan Academy.

Além de ajudar crianças com matemática, os desenvolvedores podem conversar com o GPT-4o para depurar seu código. Isso é possível graças ao lançamento do ChatGPT como aplicativo para computador. Se você selecionar e copiar seu código usando Ctrl+C enquanto conversa com o aplicativo de voz do GPT-4o para computador, ele poderá ler seu código. Ou você pode usá-lo para traduzir conversas entre desenvolvedores que falam idiomas diferentes.

A variedade de usos possíveis é ampla. Uma das demonstrações mais interessantes da OpenAI usou dois celulares para mostrar o GPT-4o conversando com diferentes instâncias de si mesmo e cantando em conjunto.

Fig. 5. IA a falar e a cantar com IA.

Aplicações do GPT-4o#

Como demonstrado numa apresentação, o GPT-4o pode tornar o mundo mais acessível para pessoas com deficiência visual. Pode ajudá-las a interagir e a deslocar-se com mais segurança e autonomia. Por exemplo, os utilizadores podem ligar o vídeo e mostrar ao GPT-4o uma vista da rua. Em seguida, o GPT-4o pode descrever o ambiente em tempo real, por exemplo, identificando obstáculos, lendo sinais de trânsito ou orientando os utilizadores até um local específico. Pode até ajudar a chamar um táxi, avisando quando um táxi se aproxima.

Fig. 6. O GPT-4o a avisar da aproximação de um táxi.

O GPT-4o também pode ser aplicado em diversos setores. No varejo, ele pode melhorar o atendimento ao cliente oferecendo assistência em tempo real, respondendo a perguntas e ajudando os clientes a encontrar produtos tanto online quanto na loja. Imagine que você está diante de uma prateleira de produtos e não consegue encontrar o que procura; o GPT-4o pode ajudar.

Na área da saúde, o GPT-4o pode ajudar no diagnóstico através da análise de dados de pacientes, sugerir possíveis condições com base nos sintomas e fornecer orientações sobre opções de tratamento. Também pode apoiar os profissionais de saúde ao resumir registos de pacientes, dar acesso rápido a literatura médica e até oferecer tradução de idiomas em tempo real para comunicar com pacientes que falam idiomas diferentes. Estes são apenas alguns exemplos. As aplicações do GPT-4o facilitam o dia a dia ao oferecer assistência personalizada e sensível ao contexto, além de eliminarem barreiras ao acesso à informação e à comunicação.

GPT-4o e segurança do modelo#

Tal como as versões anteriores do GPT, que tiveram impacto na vida de centenas de milhões de pessoas, é provável que o GPT-4o interaja com áudio e vídeo em tempo real a nível global, tornando a segurança um elemento crucial destas aplicações. A OpenAI teve muito cuidado ao criar o GPT-4o, com foco na mitigação de possíveis riscos.

Para garantir a segurança e a fiabilidade, a OpenAI implementou medidas de segurança rigorosas. Estas incluem a filtragem dos dados de treino, o aperfeiçoamento do comportamento do modelo após o treino e a integração de novos sistemas de segurança para gerir as saídas de voz. Além disso, mais de 70 especialistas externos em áreas como psicologia social, enviesamento e equidade e desinformação testaram extensivamente o GPT-4o. Os testes externos garantem que quaisquer riscos introduzidos ou amplificados pelas novas funcionalidades são identificados e resolvidos.

Para manter elevados padrões de segurança, a OpenAI está a disponibilizar gradualmente as funcionalidades do GPT-4o ao longo das próximas semanas. Um lançamento faseado permite à OpenAI monitorizar o desempenho, resolver problemas e recolher opiniões dos utilizadores. Uma abordagem cuidadosa garante que o GPT-4o oferece capacidades avançadas, mantendo os mais elevados padrões de segurança e utilização ética.

Experimente o GPT-4o#

O GPT-4o está disponível gratuitamente. Para experimentar os recursos de conversação em tempo real mencionados acima, você pode transferir a aplicação ChatGPT da Google Play Store ou da Apple App Store diretamente para o telemóvel.

Depois de iniciar sessão, você poderá selecionar o GPT-4o na lista apresentada ao tocar nos três pontos no canto superior direito do ecrã. Depois de abrir um chat com o GPT-4o ativado, toque no sinal de mais no canto inferior esquerdo do ecrã para ver várias opções de entrada. No canto inferior direito do ecrã, verá um ícone de auscultadores. Ao selecionar esse ícone, será perguntado se quer experimentar uma versão do GPT-4o com as mãos livres. Depois de aceitar, poderá experimentar o GPT-4o, como mostrado abaixo.

Fig. 7. A experimentar o GPT-4o na aplicação móvel ChatGPT.

Se quiser integrar as capacidades avançadas do GPT-4o nos seus próprios projetos, ele está disponível como API para programadores. A API permite incorporar nas suas aplicações o poderoso reconhecimento de fala, o suporte multilingue e os recursos de conversação em tempo real do GPT-4o. Ao usar a API, você pode melhorar a experiência dos utilizadores, criar aplicações mais inteligentes e levar tecnologia de IA de ponta a diferentes setores.

GPT-4o: ainda não é bem humano#

Embora o GPT-4o seja muito mais avançado do que os modelos de IA anteriores, é importante lembrar que ele tem suas próprias limitações. A OpenAI mencionou que, às vezes, ele pode mudar de idioma aleatoriamente durante uma conversa, passando do inglês para o francês. Também observaram que o GPT-4o pode traduzir incorretamente entre idiomas. À medida que mais pessoas experimentarem o modelo, entenderemos em que o GPT-4o se destaca e onde precisa melhorar. Para tarefas de visão, como detecção de objetos, modelos mais recentes da OpenAI, como GPT-6.1 Sol e GPT-6 Astra, são comparados a outros modelos de visão e linguagem no VLM Leaderboard.

Em resumo#

O GPT-4o da OpenAI abre novas possibilidades para a IA com seu processamento avançado de texto, visão e áudio, oferecendo interações naturais e semelhantes às humanas. Ele se destaca em velocidade, custo-benefício e suporte multilíngue. O GPT-4o é uma ferramenta versátil para educação, acessibilidade e assistência em tempo real. À medida que os usuários exploram os recursos do GPT-4o, o feedback impulsionará sua evolução. O GPT-4o mostra como a IA está se tornando parte do nosso dia a dia.

Explore o nosso repositório do GitHub e junte-se à nossa comunidade para aprofundar os seus conhecimentos sobre IA. Visite as nossas páginas de soluções para ver como a IA está a transformar setores como a indústria e a agricultura.