Enriquecimento de prompts

Como funciona o Enriquecimento por Prompt

Normalmente, o processo de enriquecimento começa com a análise do pedido original do utilizador. Com base nesta análise, o sistema utiliza fontes de informação adicionais ou regras predefinidas para aumentar o pedido. Isto pode envolver o acesso ao histórico de interações do utilizador, a recuperação de documentos pertinentes de uma base de conhecimentos, a incorporação do contexto da conversa em curso ou a aplicação de instruções de formatação específicas exigidas pelo modelo. Por exemplo, um simples pedido como "Resume os últimos desenvolvimentos Ultralytics " pode ser enriquecido para especificar "Resume as principais caraterísticas e melhorias de desempenho do Ultralytics YOLOv11 em comparação com o YOLOv8centrando-se nas tarefas de deteção de objectos ". Técnicas como a Retrieval-Augmented Generation (RAG) são normalmente utilizadas, em que o sistema vai buscar fragmentos de dados relevantes (por exemplo, aosUltralytics Docs) e incorpora-os na janela de contexto do pedido antes de o enviar para o LLM. Desta forma, garante que o modelo tem os antecedentes necessários para gerar uma resposta abrangente e exacta.

Aplicações e exemplos

O enriquecimento de prompts é valioso em várias aplicações orientadas para a IA, melhorando a qualidade da interação e o desempenho das tarefas:

• Chatbots de apoio ao cliente: Um cliente que pergunte "Qual é o estado da minha encomenda?" pode ter o seu pedido enriquecido com o seu ID de utilizador ou número de encomenda recente recuperado de um sistema de Gestão de Relacionamento com o Cliente (CRM) através da integração da API. A pergunta enriquecida permite que o chatbot forneça imediatamente uma atualização específica, em vez de fazer perguntas de esclarecimento de seguimento.
• Assistentes virtuais para personalização: Quando um utilizador pede a um assistente virtual, como Google Assistant ou a Alexa, para "pôr música a tocar", o pedido pode ser enriquecido com base no histórico de audição do utilizador, nos géneros preferidos, na hora do dia ou mesmo na atividade atual detectada através de dispositivos ligados, o que leva a uma seleção de música mais personalizada.
• Ferramentas de criação de conteúdos: Um assistente de escrita criativa que utilize a geração de texto pode receber um pedido vago como "Escreve uma história". O enriquecimento da mensagem pode acrescentar detalhes com base em interações anteriores, como "Escreve uma pequena história de ficção científica num futuro distópico, com um protagonista rebelde", tornando o resultado mais alinhado com os interesses prováveis do utilizador.
• Sistemasde pesquisa semântica: Ao pesquisar documentos internos da empresa, uma consulta como "Encontrar relatórios sobre o desempenho da Q4" pode ser enriquecida com o departamento, a função e as permissões de acesso do utilizador para recuperar os documentos mais relevantes e permitidos de um vasto lago de dados.

Enriquecimento do prompt vs. Conceitos relacionados

Compreender as nuances entre enriquecimento imediato e termos semelhantes é crucial:

• Engenharia de prompts: Trata-se normalmente de um processo manual em que os humanos elaboram cuidadosamente as mensagens para obter as respostas desejadas de uma IA. O enriquecimento de prompts, por outro lado, visa automatizar ou semi-automatizar este processo de melhoramento, muitas vezes com base num prompt de utilizador inicial e menos refinado.
• Sintonização de prompts: Esta técnica envolve a aprendizagem de "soft prompt embeddings " através de descida gradiente para condicionar um modelo pré-treinado congelado para tarefas específicas. Modifica partes da representação de entrada do modelo em vez do próprio prompt textual. É uma forma de ajuste fino eficiente de parâmetros (PEFT).
• Afinação: Isto envolve a atualização dos pesos de um modelo pré-treinado num conjunto de dados mais pequeno e específico da tarefa. O enriquecimento do prompt não altera os parâmetros do modelo; apenas modifica o prompt de entrada fornecido ao modelo existente.
• Geração Aumentada por Recuperação (RAG): O RAG é um método específico frequentemente utilizado nos sistemas de enriquecimento de mensagens. Centra-se na recuperação de dados externos relevantes e adiciona-os ao contexto do estímulo para melhorar a fundamentação factual e reduzir as alucinações.

Relevância na visão computacional

Embora o enriquecimento de pedidos esteja mais frequentemente associado aos LLM e à compreensão da linguagem natural (NLU), os seus princípios estão a tornar-se relevantes na visão computacional (CV). Tarefas tradicionais de CV, como a deteção de objectos padrão utilizando modelos como Ultralytics YOLO baseia-se normalmente em entradas de imagem e não em pedidos de texto complexos. No entanto, os modelos multimodais mais recentes e os sistemas de visão que podem ser solicitados, como o CLIP, YOLO e o YOLOE, aceitam solicitações de texto ou de imagem para orientar tarefas como a deteção de zero disparos. Para estes modelos, o enriquecimento de um simples pedido de texto (por exemplo, "detetar veículos") com mais contexto (por exemplo, "detetar apenas veículos de emergência como ambulâncias e camiões de bombeiros neste feed de câmara de trânsito") poderia melhorar significativamente o desempenho e a especificidade. Plataformas como o Ultralytics HUB poderiam potencialmente integrar tais técnicas para simplificar a interação do utilizador ao definir tarefas de visão complexas ou ao analisar resultados, representando uma área de investigação e desenvolvimento de IA em curso destinada a melhorar a segurança e a usabilidade da IA em todos os domínios.