Ultralytics YOLO27:
Torna al glossario di Ultralytics

Agent Skills

Scopri come le Agent Skills raggruppano istruzioni, strumenti e script riutilizzabili per fornire competenze specialistiche agli agenti AI, semplificare i workflow e supportare le attività di visione artificiale.

Le competenze degli agenti sono pacchetti riutilizzabili di istruzioni, metadati, materiali di riferimento e script opzionali che forniscono a un agente AI competenze specialistiche per un'attività specifica. Invece di inserire ogni procedura in un lungo prompt di sistema, gli sviluppatori possono creare pacchetti per funzionalità mirate, come ispezionare prodotti, analizzare fogli di calcolo o seguire la checklist di distribuzione di un'organizzazione, e consentire all'agente di caricarle solo quando sono pertinenti.

Le competenze aiutano un agente AI generico a comportarsi più come uno specialista del settore, mantenendo al contempo le conoscenze modulari, manutenibili e portabili. Le “competenze Claude” sono un'implementazione di prodotto di questa idea più ampia; il termine competenze degli agenti può anche riferirsi al formato interoperabile descritto nella panoramica aperta sulle competenze degli agenti.

Come funzionano le competenze degli agenti#

Secondo la specifica delle competenze degli agenti, una competenza è in genere una directory contenente un file SKILL.md obbligatorio. Questo file inizia con metadati YAML, tra cui un nome e una descrizione che spiegano cosa fa la competenza e quando l'agente deve attivarla. Il corpo Markdown fornisce procedure, esempi, vincoli e indicazioni per i casi limite. Le directory opzionali possono contenere script eseguibili, documenti di riferimento, schemi o template.

Le competenze usano la divulgazione progressiva, il che significa che le informazioni entrano per fasi nella finestra di contesto dell'agente:

  1. Inizialmente, l'agente vede i nomi brevi e le descrizioni delle competenze disponibili.
  2. Quando una richiesta corrisponde a una descrizione, carica il relativo SKILL.md.
  3. Legge le risorse di supporto o esegue gli script inclusi solo quando necessario.

Questo riduce l'uso superfluo di token e consente a un agente di accedere a molte funzionalità specializzate senza caricare tutte le istruzioni all'avvio. La documentazione sulle competenze degli agenti Claude e la documentazione sulle competenze degli agenti Microsoft forniscono esempi di questo modello di caricamento nelle piattaforme per agenti.

Competenze degli agenti e concetti correlati#

Le competenze degli agenti organizzano conoscenze e procedure, ma non sostituiscono l'agente, i suoi strumenti o il sistema che coordina le sue azioni.

  • Strumenti e chiamate di funzione: uno strumento esegue una singola operazione, come interrogare un'API o eseguire l'inferenza. Una competenza spiega quando e come usare insieme uno o più strumenti, incluse le regole di convalida e il contesto del dominio.

  • Flussi di lavoro agentici: una competenza consente all'agente di interpretare le istruzioni in modo adattivo. Un flusso di lavoro definisce un percorso di esecuzione più esplicito, risultando preferibile per processi di lunga durata, checkpoint, approvazioni e azioni che devono verificarsi in un ordine fisso.

  • Model Context Protocol: MCP standardizza il modo in cui gli agenti individuano e invocano risorse e strumenti esterni. La specifica ufficiale degli strumenti MCP definisce le interfacce degli strumenti, mentre una competenza raccoglie competenze procedurali che possono indirizzare un agente nell'uso di tali interfacce.

Un prompt è generalmente scritto per una singola conversazione. Una competenza è pensata per essere riutilizzata, sottoposta a controllo versione, testata e condivisa tra ambienti compatibili.

Applicazioni nella computer vision#

Le competenze degli agenti sono particolarmente utili quando la percezione visiva deve essere combinata con regole aziendali e azioni successive.

Ispezione manifatturiera: una competenza per il controllo qualità può istruire un agente a catturare un'immagine, eseguire il rilevamento degli oggetti, confrontare i rilevamenti con i criteri di accettazione, salvare le prove e richiedere una revisione umana quando la confidenza è bassa. Il modello di visione fornisce le osservazioni, mentre la competenza fornisce la procedura di ispezione specifica della fabbrica. Questo supporta flussi di lavoro ripetibili per il rilevamento dei difetti senza incorporare ogni criterio nel prompt di base dell'agente.

Verifica dell'inventario nel commercio al dettaglio: una competenza per la verifica degli scaffali può guidare un agente nell'elaborazione delle immagini del negozio, nel conteggio dei prodotti specificati, nel confronto dei risultati con i registri dell'inventario e nella preparazione di una raccomandazione per il rifornimento. I team possono usare Ultralytics Platform per annotare i dati degli scaffali, addestrare un modello personalizzato, distribuirlo e monitorare lo strumento visivo chiamato dalla competenza.

In entrambi i casi, le competenze collegano la percezione alle conoscenze operative. Da sole non migliorano l'accuratezza visiva del modello sottostante; rendono più facile applicare i suoi output in modo coerente.

Script di visione di esempio per una competenza#

Una competenza può includere uno script deterministico per l'ispezione visiva. Il seguente flusso di lavoro documentato per la predizione con Ultralytics YOLO potrebbe essere archiviato nella directory scripts/ di una competenza:

from pathlib import Path

from ultralytics import YOLO

image_url = "https://ultralytics.com/images/bus.jpg"
output_path = Path("inspection_result.jpg")

# Run the skill's visual perception step
model = YOLO("yolo26n.pt")
results = model(image_url)

result = results[0]
result.save(filename=str(output_path))

print(output_path)

Qui, YOLO26 fornisce la funzionalità visiva, mentre SKILL.md spiegherebbe quando eseguire lo script, come interpretarne l'output e quale azione intraprendere successivamente.

Considerazioni di progettazione e sicurezza#

Le competenze efficaci dovrebbero avere responsabilità circoscritte, descrizioni di attivazione chiare, istruzioni concise, esempi realistici e dipendenze documentate. Le best practice ufficiali per la creazione delle competenze raccomandano di adattare il livello di dettaglio delle istruzioni al rischio dell'attività: indicazioni flessibili possono essere adatte all'analisi aperta, mentre le operazioni delicate richiedono script precisi e vincoli più stringenti.

Le competenze di terze parti dovrebbero essere trattate come software installato. Esamina ogni istruzione, script, dipendenza, chiamata di rete e operazione sui file prima di concedere l'accesso. Applica il sandboxing, autorizzazioni con il minimo privilegio, limiti alle risorse, logging e approvazione umana per le azioni con conseguenze rilevanti. Questi controlli aiutano ad affrontare i rischi descritti nelle indicazioni di OWASP sulla prompt injection e nelle indicazioni di OWASP sull'eccessiva autonomia. I team possono anche usare il Playbook del NIST per il Framework di gestione dei rischi dell'AI per integrare la valutazione, il monitoraggio e la governance delle competenze in una gestione più ampia dei rischi dell'AI.

Explore solutions

Visione artificiale per immagini aeree

Visione artificiale per immagini aeree

Traduci immagini di droni e aeree in informazioni in tempo reale per agricoltura, acquacoltura, monitoraggio ambientale, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Porta la visione artificiale al monitoraggio aereo con i modelli Ultralytics YOLO. Potenzia droni, flussi di lavoro aerospaziali, conservazione ambientale e industrie geospaziali con soluzioni di computer vision.
Scopri di più
Computer vision nella sicurezza

Computer vision nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. La visione artificiale alimenta il monitoraggio del perimetro, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Computer vision nella robotica

Computer vision nella robotica

Potenzia macchine più intelligenti con i modelli Ultralytics YOLO. La Vision AI nella robotica abilita la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Computer vision nella logistica

Computer vision nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. La Vision AI abilita l'ispezione dei pacchi, lo smistamento, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Computer vision nel commercio al dettaglio

Computer vision nel commercio al dettaglio

Reinventa il commercio al dettaglio con i modelli Ultralytics YOLO. La Vision AI potenzia il tracciamento dell'inventario, il monitoraggio degli scaffali, la gestione delle code e analisi più intelligenti dei clienti.
Scopri di più
Computer vision nel settore sanitario

Computer vision nel settore sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. La Vision AI nel settore sanitario abilita imaging medico più rapido, diagnosi più intelligenti e monitoraggio dei pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La Vision AI supporta il controllo qualità, il rilevamento dei difetti, la conformità ai DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La vision AI migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli per strade più intelligenti.
Scopri di più
Computer vision in agricoltura

Computer vision in agricoltura

Porta la vision AI nell'agricoltura intelligente con i modelli Ultralytics YOLO. Abilita il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per raccolti più abbondanti e intelligenti.
Scopri di più
Visione artificiale per immagini aeree

Visione artificiale per immagini aeree

Traduci immagini di droni e aeree in informazioni in tempo reale per agricoltura, acquacoltura, monitoraggio ambientale, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Porta la visione artificiale al monitoraggio aereo con i modelli Ultralytics YOLO. Potenzia droni, flussi di lavoro aerospaziali, conservazione ambientale e industrie geospaziali con soluzioni di computer vision.
Scopri di più
Computer vision nella sicurezza

Computer vision nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. La visione artificiale alimenta il monitoraggio del perimetro, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Computer vision nella robotica

Computer vision nella robotica

Potenzia macchine più intelligenti con i modelli Ultralytics YOLO. La Vision AI nella robotica abilita la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Computer vision nella logistica

Computer vision nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. La Vision AI abilita l'ispezione dei pacchi, lo smistamento, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Computer vision nel commercio al dettaglio

Computer vision nel commercio al dettaglio

Reinventa il commercio al dettaglio con i modelli Ultralytics YOLO. La Vision AI potenzia il tracciamento dell'inventario, il monitoraggio degli scaffali, la gestione delle code e analisi più intelligenti dei clienti.
Scopri di più
Computer vision nel settore sanitario

Computer vision nel settore sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. La Vision AI nel settore sanitario abilita imaging medico più rapido, diagnosi più intelligenti e monitoraggio dei pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La Vision AI supporta il controllo qualità, il rilevamento dei difetti, la conformità ai DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La vision AI migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli per strade più intelligenti.
Scopri di più
Computer vision in agricoltura

Computer vision in agricoltura

Porta la vision AI nell'agricoltura intelligente con i modelli Ultralytics YOLO. Abilita il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per raccolti più abbondanti e intelligenti.
Scopri di più
Visione artificiale per immagini aeree

Visione artificiale per immagini aeree

Traduci immagini di droni e aeree in informazioni in tempo reale per agricoltura, acquacoltura, monitoraggio ambientale, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Porta la visione artificiale al monitoraggio aereo con i modelli Ultralytics YOLO. Potenzia droni, flussi di lavoro aerospaziali, conservazione ambientale e industrie geospaziali con soluzioni di computer vision.
Scopri di più
Computer vision nella sicurezza

Computer vision nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. La visione artificiale alimenta il monitoraggio del perimetro, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Computer vision nella robotica

Computer vision nella robotica

Potenzia macchine più intelligenti con i modelli Ultralytics YOLO. La Vision AI nella robotica abilita la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Computer vision nella logistica

Computer vision nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. La Vision AI abilita l'ispezione dei pacchi, lo smistamento, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Computer vision nel commercio al dettaglio

Computer vision nel commercio al dettaglio

Reinventa il commercio al dettaglio con i modelli Ultralytics YOLO. La Vision AI potenzia il tracciamento dell'inventario, il monitoraggio degli scaffali, la gestione delle code e analisi più intelligenti dei clienti.
Scopri di più
Computer vision nel settore sanitario

Computer vision nel settore sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. La Vision AI nel settore sanitario abilita imaging medico più rapido, diagnosi più intelligenti e monitoraggio dei pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La Vision AI supporta il controllo qualità, il rilevamento dei difetti, la conformità ai DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La vision AI migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli per strade più intelligenti.
Scopri di più
Computer vision in agricoltura

Computer vision in agricoltura

Porta la vision AI nell'agricoltura intelligente con i modelli Ultralytics YOLO. Abilita il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'AI!

Inizia il tuo percorso verso il futuro del machine learning