Jagged Intelligence

L'intelligenza frastagliata descrive il profilo disomogeneo delle capacità dei moderni sistemi di AI: lo stesso modello può raggiungere un livello esperto in compiti difficili e fallire in compiti semplici che la maggior parte delle persone trova banali. Andrej Karpathy ha coniato il termine nel 2024 per descrivere i modelli linguistici di grandi dimensioni (LLM) in grado di risolvere difficili problemi di matematica, ma convinti che 9,11 sia maggiore di 9,9. Contare male la lettera «r» in «strawberry» è diventato un altro esempio famoso. Rappresentata graficamente su vari compiti, la competenza di un modello simile forma una linea frastagliata, con picchi acuti e profonde valli, la cui posizione è difficile da prevedere osservando i picchi.

Perché le capacità sono disomogenee#

Un modello è più forte laddove i suoi dati di addestramento sono densi e la sua rappresentazione interna si adatta al compito; entrambe le condizioni variano sensibilmente da un compito all'altro. La rappresentazione spiega molti dei famosi errori nel testo. La tokenizzazione suddivide il testo in token di sottoparole prima che il modello lo veda, come mostra il tokenizer di OpenAI per GPT-4o:

import tiktoken

# o200k_base è il tokenizer usato da GPT-4o di OpenAI
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

La parola « strawberry» arriva come un unico token, quindi il modello non vede mai le sue tre lettere r e deve recuperare l'ortografia dal testo di addestramento. I numeri arrivano come «9», «.», «11» e «9», «.», «9» e, in gran parte di quel testo, coppie simili sono numeri di versione, date o capitoli di libri, in cui 9.11 viene effettivamente dopo 9.9 e 11 è maggiore di 9. Il modello risponde sulla base di questi schemi anziché eseguire un confronto numerico.

La copertura dei dati spiega gran parte del resto. Le competenze che ricorrono continuamente nei dati di addestramento diventano affidabili, mentre i formati rari, le formulazioni insolite e i casi limite restano difficili, per quanto semplici possano sembrare a una persona. I modelli di visione mostrano lo stesso schema. Un modello di rilevamento degli oggetti può essere eccellente con oggetti comuni e grandi alla luce del giorno, ma molto meno efficace con oggetti piccoli, classi rare o punti di vista insoliti, anche quando una persona li troverebbe tutti ugualmente facili.

L'andamento frastagliato è diverso dal paradosso di Moravec, l'osservazione di Hans Moravec del 1988 secondo cui compiti difficili per le persone, come gli scacchi, sono facili per i computer, mentre abilità umane senza sforzo, come la percezione e il movimento, sono difficili. Le capacità frastagliate non seguono in alcuna direzione la difficoltà percepita dagli esseri umani, quindi l'intuizione su ciò che è «facile» è una guida poco affidabile per capire dove un modello fallirà.

La frontiera frastagliata in azione#

La stessa disomogeneità influenza il modo in cui le persone lavorano con l'AI. In un esperimento sul campo del 2023 con 758 consulenti del Boston Consulting Group, ricercatori della Harvard Business School e di altri istituti hanno descritto una frontiera tecnologica frastagliata. Nei 18 compiti all'interno della frontiera, i consulenti che usavano GPT-4 hanno completato il 12,2% di compiti in più, lavorato il 25,1% più velocemente e prodotto un lavoro valutato oltre il 40% più alto in termini di qualità. In un compito appena al di fuori della frontiera, i consulenti che usavano l'AI avevano una probabilità inferiore di 19 punti percentuali di raggiungere la risposta corretta rispetto a chi lavorava senza. L'intelligenza frastagliata indica il profilo disomogeneo delle capacità del modello, mentre la frontiera frastagliata indica il confine che ne risulta tra il lavoro agevolato dall'AI e quello che l'AI peggiora senza che ce ne accorgiamo.

L'andamento frastagliato complica anche le affermazioni sull'intelligenza artificiale generale (AGI). Un punteggio medio su un ampio dataset di benchmark può aumentare costantemente mentre specifiche lacune restano invariate, quindi una media di grande impatto dice poco sull'affidabilità di un modello in un singolo compito.

Misurare un profilo frastagliato#

Le capacità disomogenee diventano visibili quando la valutazione viene suddivisa in segmenti anziché essere riportata come un unico numero. Per un rilevatore, la prima suddivisione è per classe. La modalità Validation di Ultralytics YOLO26 riporta la precisione media media (mAP) complessiva e per ogni classe presente nelle etichette di convalida; ordinando le metriche per classe, le lacune compaiono per prime:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

Su un set di convalida completo come le 5.000 immagini di COCO, la stessa suddivisione indica le classi che necessitano di più dati o di un esame più attento delle loro etichette. Le classi sono solo il primo segmento. Illuminazione, angolazione della fotocamera, movimento e occlusione possono ciascuno nascondere una propria lacuna, che emerge con il test del modello su nuove immagini acquisite in tali condizioni:

Dopo la messa in produzione, il profilo continua a cambiare con il variare degli input e il monitoraggio della deriva dei dati mostra quando le immagini di produzione iniziano a ricadere in aree mai coperte dal set di convalida.