Arricchimento dei promemoria

Come funziona l'arricchimento dei prompt

Il processo di arricchimento inizia in genere con l'analisi della richiesta originale dell'utente. Sulla base di questa analisi, il sistema sfrutta fonti di informazione aggiuntive o regole predefinite per arricchire la richiesta. Ciò potrebbe comportare l'accesso alla cronologia delle interazioni dell'utente, il recupero di documenti pertinenti da una base di conoscenza, l'incorporazione del contesto della conversazione in corso o l'applicazione di istruzioni di formattazione specifiche richieste dal modello. Ad esempio, una semplice richiesta come "Riassumi gli ultimi sviluppi di Ultralytics " potrebbe essere arricchita per specificare "Riassumi le caratteristiche principali e i miglioramenti delle prestazioni di Ultralytics YOLOv11 rispetto a YOLOv8concentrandosi sulle attività di rilevamento degli oggetti ". Sono comunemente utilizzate tecniche come la Retrieval-Augmented Generation (RAG), in cui il sistema recupera frammenti di dati rilevanti (ad esempio, da Ultralytics Docs) e li incorpora nella finestra contestuale del prompt prima di inviarlo al LLM. In questo modo si assicura che il modello abbia il background necessario per generare una risposta completa e accurata.

Applicazioni ed esempi

L'arricchimento dei prompt è prezioso in numerose applicazioni basate sull'intelligenza artificiale, per migliorare la qualità dell'interazione e le prestazioni delle attività:

• Chatbot di assistenza clienti: Un cliente che chiede "Qual è lo stato del mio ordine?" può arricchire la richiesta con il suo ID utente o il numero d'ordine recente recuperato da un sistema di Customer Relationship Management (CRM) tramite l'integrazione API. La richiesta arricchita consente al chatbot di fornire immediatamente un aggiornamento specifico, invece di porre domande di chiarimento.
• Assistenti virtuali per la personalizzazione: Quando un utente chiede a un assistente virtuale come Google Assistant o Alexa di "ascoltare un po' di musica", la richiesta può essere arricchita in base alla cronologia di ascolto dell'utente, ai generi preferiti, all'ora del giorno o persino all'attività corrente rilevata tramite i dispositivi connessi, per ottenere una selezione musicale più personalizzata.
• Strumenti per la creazione di contenuti: Un assistente di scrittura creativa che utilizza la generazione di testo potrebbe ricevere un prompt vago come "Scrivi una storia". L'arricchimento del prompt potrebbe aggiungere dettagli basati sulle interazioni precedenti, come ad esempio "Scrivi una breve storia di fantascienza ambientata in un futuro distopico, con un protagonista ribelle", rendendo l'output più in linea con i probabili interessi dell'utente.
• Sistemi diricerca semantica: Quando si cercano documenti interni all'azienda, una query come "Trova i report sulle prestazioni del quarto trimestre" può essere arricchita con il reparto, il ruolo e i permessi di accesso dell'utente per recuperare i documenti più pertinenti e consentiti da un vasto lago di dati.

Arricchimento dei promemoria e concetti correlati

Capire le sfumature tra arricchimento immediato e termini simili è fondamentale:

• Ingegneria dei prompt: In genere si tratta di un processo manuale in cui l'uomo elabora attentamente i prompt per suscitare le risposte desiderate dall'IA. L'arricchimento dei prompt, invece, mira ad automatizzare o semi-automatizzare questo processo di miglioramento, spesso partendo da un prompt iniziale dell'utente meno raffinato.
• Sintonizzazione dei prompt: Questa tecnica prevede l'apprendimento di incorporazioni morbide di prompt attraverso la discesa del gradiente per condizionare un modello preaddestrato congelato per compiti specifici. Modifica parti della rappresentazione di input del modello piuttosto che il messaggio testuale stesso. È una forma di messa a punto efficiente dei parametri (PEFT).
• Messa a punto: Si tratta di aggiornare i pesi di un modello pre-addestrato su un set di dati più piccolo e specifico per l'attività. L'arricchimento dei prompt non cambia i parametri del modello, ma modifica solo il prompt in ingresso al modello esistente.
• Generazione Aumentata dal Recupero (RAG): Il RAG è un metodo specifico spesso utilizzato nei sistemi di arricchimento dei prompt. Si concentra sul recupero di dati esterni rilevanti e sulla loro aggiunta al contesto del prompt per migliorare la base fattuale e ridurre le allucinazioni.

Rilevanza nella visione artificiale

Sebbene l'arricchimento dei prompt sia comunemente associato ai LLM e alla comprensione del linguaggio naturale (NLU), i suoi principi stanno diventando rilevanti nella computer vision (CV). I compiti tradizionali di CV, come il rilevamento di oggetti standard, utilizzano modelli come Ultralytics YOLO si basano tipicamente su input di immagini piuttosto che su richieste di testo complesse. Tuttavia, i più recenti modelli multimodali e i sistemi di visione con prompt, come CLIP, YOLO e YOLOE, accettano prompt testuali o di immagine per guidare attività come il rilevamento di zero colpi. Per questi modelli, arricchire una semplice richiesta di testo (ad esempio, "rileva i veicoli") con un contesto più ampio (ad esempio, "rileva solo i veicoli di emergenza come le ambulanze e i camion dei pompieri in questo feed della telecamera del traffico") potrebbe migliorare significativamente le prestazioni e la specificità. Piattaforme come Ultralytics HUB potrebbero potenzialmente integrare tali tecniche per semplificare l'interazione con l'utente durante la definizione di compiti di visione complessi o l'analisi dei risultati, rappresentando un'area di ricerca e sviluppo dell 'IA in corso volta a migliorare la sicurezza e l'usabilità dell'IA in tutti i settori.