Statistical AI

L'IA statistica è l'approccio all'intelligenza artificiale che crea sistemi stimando modelli e probabilità dai dati, invece di codificare regole scritte manualmente. Un sistema statistico rappresenta esplicitamente l'incertezza, adatta i propri parametri agli esempi e viene valutato in base alle prestazioni su dati mai visti. Quasi tutta l'IA moderna funziona in questo modo, dai filtri antispam e dai sistemi di riconoscimento vocale ai rilevatori di oggetti e ai modelli linguistici di grandi dimensioni (LLM), che assegnano una probabilità a ogni possibile token successivo. Il termine viene usato soprattutto in contrapposizione all'IA simbolica, la tradizione basata su regole e logica che ha dominato i primi decenni del settore.

Dalle regole alle probabilità#

Dagli anni Cinquanta agli anni Ottanta, la maggior parte della ricerca sull'IA ha seguito metodi simbolici: logica, ricerca e sistemi esperti le cui conoscenze venivano codificate dagli ingegneri sotto forma di regole se-allora. Questi sistemi funzionavano in ambiti ristretti e ben definiti, ma fallivano con dati rumorosi o ambigui e richiedevano nuove regole per ogni nuova situazione. Negli anni Ottanta e Novanta, i metodi probabilistici si sono affermati in un settore dopo l'altro. I modelli di Markov nascosti sono diventati la base del riconoscimento vocale, il libro di Judea Pearl del 1988 sulle reti bayesiane ha reso pratico il ragionamento probabilistico, un lavoro poi premiato con il Turing Award 2011, i ricercatori IBM hanno pubblicato nel 1990 un approccio statistico alla traduzione automatica e nel 1995 sono arrivate le macchine a vettori di supporto. Dal 2012, l'apprendimento profondo ha esteso lo stesso approccio dalle caratteristiche progettate manualmente a pixel grezzi, audio e testo.

Concetti fondamentali#

• Modelli probabilistici: Le credenze sono distribuzioni di probabilità e il teorema di Bayes aggiorna una credenza a priori usando la verosimiglianza di nuove prove per ottenere una distribuzione a posteriori. Lo stesso aggiornamento è alla base dei filtri antispam, dei modelli diagnostici e dei sistemi di tracciamento degli oggetti.
• Apprendimento come stima: L'addestramento seleziona i parametri che rendono più probabili i dati osservati; per la maggior parte dei modelli, ciò equivale a minimizzare una funzione di perdita, solitamente con la discesa del gradiente.
• Generalizzazione: Un modello flessibile può adattarsi al rumore presente nel set di addestramento; le prestazioni vengono quindi misurate su dati non usati nell'addestramento. Il compromesso bias-varianza descrive l'equilibrio tra modelli troppo semplici e modelli troppo flessibili rispetto ai dati.
• Confidenza graduata: Le previsioni sono accompagnate da probabilità che i sistemi a valle possono usare come soglie, ordinare o combinare con altre prove.

Un filtro antispam Naive Bayes illustra questi concetti in poche righe. Stima la frequenza di ogni parola nello spam e nella posta normale, poi combina le stime con il teorema di Bayes per assegnare un punteggio a un nuovo messaggio:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Labeled examples replace hand-written rules: 1 = spam, 0 = not spam
messages = ["win a free prize now", "claim your free cash reward", "limited offer, click now to win"]
messages += ["meeting moved to monday", "can you review my draft today", "lunch with the team on friday"]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then estimate each word's probability under each class
vectorizer = CountVectorizer()
model = MultinomialNB()
model.fit(vectorizer.fit_transform(messages), labels)

for text in ["free prize inside", "draft for monday", "free lunch on friday"]:
    spam_probability = model.predict_proba(vectorizer.transform([text]))[0, 1]
    print(f"{text!r}: P(spam) = {spam_probability:.2f}")

"free prize inside" ottiene una probabilità di spam pari a 0.86 e "draft for monday" pari a 0.21, mentre "free lunch on friday", che mescola parole di entrambe le classi, si ferma a 0.29. Il modello ha appreso che "free" indica spam basandosi soltanto su sei messaggi etichettati.

Famiglie di metodi statistici#

L'IA statistica comprende modelli probabilistici semplici e reti profonde con miliardi di parametri; le varie famiglie scambiano la struttura incorporata con la quantità di dati. I modelli grafici codificano esplicitamente le dipendenze e funzionano con pochi dati, i metodi classici come i k vicini più prossimi e gli alberi con potenziamento del gradiente come XGBoost e LightGBM apprendono da tabelle di caratteristiche, mentre le reti profonde apprendono autonomamente le caratteristiche dagli input grezzi:

IA statistica e termini correlati#

• IA simbolica: Rappresenta le conoscenze con simboli e regole espliciti, come le istruzioni se-allora di un sistema esperto, e ricava conclusioni tramite inferenza logica. Il ragionamento è tracciabile passo dopo passo e non richiede dati di addestramento, ma il sistema fallisce con input non contemplati dalle regole.
• Apprendimento automatico: La pratica principale dell'IA statistica. I due termini si sovrappongono quasi completamente e "IA statistica" compare soprattutto quando si confrontano i metodi basati sui dati con quelli simbolici.
• IA neuro-simbolica: Combina modelli appresi con ragionamento simbolico, per esempio un LLM che chiama una calcolatrice, interroga un database o usa un dimostratore automatico di teoremi.
• Logica fuzzy: Assegna gradi di verità compresi tra 0 e 1 ad affermazioni vaghe come "la stanza è calda"; questa misura della vaghezza è distinta dalla probabilità di un evento.

Applicazioni nel mondo reale#

• Filtraggio antispam: Il saggio di Paul Graham del 2002 A Plan for Spam ha reso popolari i filtri bayesiani che apprendono le probabilità delle parole dalla posta di ogni utente; i filtri odierni applicano la stessa idea a molti più segnali.
• Traduzione automatica: Google Translate è stato lanciato nel 2006 usando la traduzione automatica statistica, che apprendeva le probabilità di traduzione delle frasi da testi paralleli, ed è passato alla traduzione automatica neurale nel 2016.
• Generazione di testo: Gli LLM producono testo estraendo a ogni passaggio un campione da una distribuzione di probabilità sul proprio vocabolario; prima di ogni campionamento, un'impostazione della temperatura rende la distribuzione più concentrata o più uniforme.
• Percezione visiva: I rilevatori di oggetti sono modelli statistici dall'inizio alla fine. Ultralytics YOLO26 apprende i propri pesi minimizzando una funzione di perdita su immagini etichettate, restituisce un punteggio di confidenza per ogni riquadro e, in modalità predict, scarta i riquadri al di sotto della soglia conf, pari a 0.25 per impostazione predefinita.