Las últimas novedades de OpenAI: Canvas, ajuste fino de visión y más

Desde que analizamos por última vez los modelos o1 de OpenAI en septiembre, diseñados para mejorar el razonamiento, se han añadido muchas funciones nuevas e interesantes a ChatGPT. Algunas de estas novedades están dirigidas a desarrolladores y otras se han diseñado para perfeccionar la experiencia de usuario. En conjunto, cada actualización ayuda a que las interacciones con ChatGPT sean más intuitivas y eficaces.

Las actualizaciones como Canvas, diseñada para la escritura y la programación colaborativas, y el ajuste fino de las capacidades de visión para mejorar el trabajo de ChatGPT con imágenes han despertado mucho interés y animado a los usuarios a explorar posibilidades más creativas. Por su parte, las mejoras técnicas, como las nuevas API e informes sobre pruebas de equidad, abordan aspectos como la integración de modelos y las prácticas de IA ética. Veamos más de cerca las últimas funciones de ChatGPT de OpenAI.

Descripción general de la función Canvas de OpenAI#

Canvas es la primera gran actualización de la interfaz de usuario (UI) de ChatGPT desde su lanzamiento. Se trata de una nueva interfaz con un diseño de dos pantallas, instrucciones en la barra lateral izquierda y respuestas en la ventana de la derecha. La nueva UI elimina el flujo de trabajo habitual de una estructura de chat en una sola pantalla y adopta un diseño de dos pantallas pensado para la multitarea y para aumentar la productividad.

Fig. 1. Canvas incorpora mejoras en la UI de ChatGPT.

Antes de que se presentara Canvas, trabajar con documentos largos en ChatGPT implicaba desplazarse bastante hacia arriba y hacia abajo. En el nuevo diseño, las indicaciones aparecen en la barra lateral izquierda y el documento de texto o el fragmento de código ocupa la mayor parte de la pantalla. Si lo necesitas, puedes incluso personalizar el tamaño de la barra lateral izquierda y de la pantalla de resultados. Además, puedes seleccionar una parte del texto o una sección de código y editar esa sección concreta sin modificar todo el documento.

Fig. 2. Edita secciones concretas de texto con Canvas.

Si usas Canvas, verás que no hay ningún botón o interruptor específico para abrirlo en la interfaz de ChatGPT. En su lugar, cuando trabajas con el modelo GPT-4o, Canvas se abre automáticamente si detecta que estás editando, escribiendo o programando. Para las indicaciones más sencillas, permanece inactivo. Si quieres abrirlo manualmente, puedes usar indicaciones como «Abre Canvas» o «Muéstrame el diseño de Canvas».

Actualmente, Canvas está en fase beta y solo está disponible con GPT-4o. Sin embargo, OpenAI ha indicado que Canvas estará disponible para todos los usuarios gratuitos cuando salga de la fase beta.

Actualizaciones de la API de ChatGPT#

OpenAI ha publicado tres nuevas actualizaciones de la API de ChatGPT para mejorar la eficiencia, la escalabilidad y la versatilidad. Veamos cada una con más detalle.

Destilación de modelos#

Con la función de destilación de modelos de las API de OpenAI, los desarrolladores pueden usar las salidas de modelos avanzados como GPT-4o u o1-preview para mejorar el rendimiento de modelos más pequeños y rentables como GPT-4o mini. La destilación de modelos consiste en entrenar modelos más pequeños para que imiten el comportamiento de otros más avanzados, lo que los hace más eficientes para tareas específicas.

Antes de que se presentara esta función, los desarrolladores tenían que coordinar manualmente diversas tareas con distintas herramientas. Estas tareas incluían generar conjuntos de datos, medir el rendimiento de los modelos y ajustar los modelos, lo que a menudo complicaba el proceso y aumentaba la posibilidad de errores. La actualización de destilación de modelos permite a los desarrolladores usar Stored Completions, una herramienta que genera automáticamente conjuntos de datos al capturar y almacenar los pares de entrada y salida que producen los modelos avanzados a través de la API.

Otra función de la destilación de modelos, Evals (actualmente en fase beta), ayuda a medir el rendimiento de un modelo en tareas específicas sin necesidad de crear scripts de evaluación personalizados ni usar herramientas independientes. Al utilizar conjuntos de datos generados con Stored Completions y evaluar el rendimiento con Evals, los desarrolladores pueden ajustar sus propios modelos GPT personalizados.

Fig. 3. Puedes usar Evals para medir el rendimiento de los modelos.

Almacenamiento en caché de instrucciones#

A menudo, al crear aplicaciones de IA, en especial chatbots, se reutiliza el mismo contexto (la información de fondo o el historial previo de la conversación necesarios para entender la solicitud actual) en varias llamadas a la API. La caché de prompts permite a los desarrolladores reutilizar tokens de entrada usados recientemente (segmentos de texto que procesa el modelo para entender el prompt y generar una respuesta), lo que ayuda a reducir los costes y la latencia.

Desde el 1 de octubre, OpenAI aplica automáticamente el almacenamiento en caché de instrucciones a sus modelos, como GPT-4o, GPT-4o mini, o1-preview y o1-mini. Esto significa que, cuando los desarrolladores usan la API para interactuar con un modelo mediante una instrucción larga (de más de 1024 tokens), el sistema guarda las partes que ya ha procesado.

Así, si se vuelven a usar las mismas instrucciones o unas parecidas, el sistema puede omitir el recálculo de esas partes. El sistema almacena automáticamente en caché la parte más larga de la instrucción con la que se ha encontrado hasta ese momento, empezando por 1024 tokens y añadiendo bloques de 128 tokens a medida que la instrucción se alarga.

API en tiempo real#

Crear un asistente de voz suele implicar transcribir el audio a texto, procesar el texto y volver a convertirlo en audio para reproducir la respuesta. La API Realtime de OpenAI pretende gestionar todo este proceso con una sola solicitud a la API. Al simplificar el proceso, la API permite mantener conversaciones con IA en tiempo real.

Por ejemplo, un asistente de voz integrado con la API Realtime puede realizar acciones específicas, como hacer un pedido o buscar información, en función de las solicitudes de los usuarios. La API hace que el asistente de voz responda mejor y se adapte más rápidamente a las necesidades de los usuarios. La API Realtime pasó a estar disponible en beta pública el 1 de octubre con seis voces. El 30 de octubre se añadieron cinco voces más, hasta alcanzar un total de once.

Fig. 4. Ejemplo de uso de la API en tiempo real para practicar conversaciones en un idioma nuevo.

Ajuste fino de ChatGPT para tareas de visión#

Al principio, el modelo de lenguaje y visión GPT-4o solo se podía ajustar y personalizar con conjuntos de datos exclusivamente de texto. Ahora, con el lanzamiento de la API de ajuste fino de visión, los desarrolladores pueden entrenar y personalizar GPT-4o con conjuntos de datos de imágenes. Desde su lanzamiento, el ajuste fino de visión se ha convertido en un tema de gran interés para desarrolladores e ingenieros de visión artificial.

Para ajustar las capacidades de visión de GPT-4o, los desarrolladores pueden usar conjuntos de datos de imágenes de entre 100 y 50 000 imágenes. Tras comprobar que el conjunto de datos cumple el formato requerido por OpenAI, se puede cargar en la plataforma de OpenAI y ajustar el modelo para aplicaciones específicas.

Por ejemplo, la empresa de automatización Automat utilizó un conjunto de datos de capturas de pantalla para entrenar GPT-4o con el fin de identificar elementos de la interfaz de usuario a partir de una descripción. Esto agiliza la automatización robótica de procesos (RPA) y facilita que los bots interactúen con las interfaces de usuario. En lugar de depender de coordenadas fijas o reglas de selección complejas, el modelo puede identificar elementos de la interfaz a partir de descripciones sencillas, lo que hace que las configuraciones de automatización sean más adaptables y fáciles de mantener cuando cambian las interfaces. Los modelos más recientes de OpenAI, como GPT-6.1 Sol, pueden detectar objetos sin ajuste fino, y los resultados de las pruebas de referencia de VLM muestran cómo se comparan con otros modelos de lenguaje y visión en conjuntos de datos del mundo real.

Fig. 5. Uso de una versión ajustada del modelo GPT-4o para detectar elementos de la UI.

Equidad y detección de sesgos en ChatGPT#

Las preocupaciones éticas en torno a las aplicaciones de IA son un tema de debate destacado a medida que la IA se vuelve cada vez más avanzada. Como las respuestas de ChatGPT se basan en las indicaciones de los usuarios y en los datos disponibles en Internet, puede ser difícil ajustar su lenguaje para que sea siempre responsable. Según algunos informes, las respuestas de ChatGPT presentan sesgos relacionados con el nombre, el género y la raza. Para abordar este problema, el equipo interno de OpenAI realizó una prueba de equidad en primera persona.

Los nombres suelen contener indicios sutiles sobre la cultura y factores geográficos. En la mayoría de los casos, ChatGPT ignora esos indicios. Sin embargo, en algunos casos, los nombres que reflejan una raza o cultura dan lugar a respuestas distintas de ChatGPT, y alrededor del 1 % de ellas contiene lenguaje perjudicial. Eliminar los sesgos y el lenguaje perjudicial es una tarea difícil para un modelo de lenguaje. Sin embargo, al compartir públicamente estos hallazgos y reconocer las limitaciones del modelo, OpenAI ayuda a los usuarios a perfeccionar sus indicaciones para obtener respuestas más neutrales e imparciales.

Fig. 6. Ejemplo de respuestas distintas según el nombre del usuario.

Cómo funciona la búsqueda de ChatGPT#

Cuando se lanzó ChatGPT, en la comunidad de IA se debatió si podía sustituir a la navegación web tradicional. Ahora, muchos usuarios utilizan ChatGPT en lugar de Google Search.

La nueva actualización de OpenAI, la función de búsqueda, va un paso más allá. Con la búsqueda, ChatGPT genera respuestas actualizadas e incluye enlaces a fuentes pertinentes. A fecha de 31 de octubre, la función de búsqueda está disponible para todos los usuarios de ChatGPT Plus y Team, lo que convierte a ChatGPT en una herramienta más parecida a un motor de búsqueda basado en IA.

Fig. 7. Ejemplo de uso de la nueva función de búsqueda de ChatGPT.

El camino que tenemos por delante#

Las últimas actualizaciones de ChatGPT se centran en hacer que la IA sea más útil, flexible y equitativa. La nueva función Canvas ayuda a los usuarios a trabajar de forma más eficiente, mientras que el ajuste fino de visión permite a los desarrolladores personalizar los modelos para que gestionen mejor las tareas visuales. Abordar la equidad y reducir los sesgos también son prioridades clave para garantizar que la IA funcione bien para todos, independientemente de quiénes sean. Tanto si eres desarrollador y ajustas modelos como si simplemente usas las funciones más recientes, ChatGPT evoluciona para responder a un amplio abanico de necesidades. Con capacidades en tiempo real, integración visual y un enfoque centrado en el uso responsable, estas actualizaciones contribuyen a crear una experiencia de IA más fiable y digna de confianza para todos.

Descubre más sobre la IA en nuestro repositorio de GitHub y únete a nuestra comunidad. Obtén más información sobre las aplicaciones de IA en la conducción autónoma y la atención sanitaria.