Softmax

Softmax è una funzione matematica fondamentale nel campo dell'intelligenza artificiale, che funge specificamente da passaggio finale in molti algoritmi di classificazione. Trasforma un vettore di numeri grezzi, spesso chiamati logit, in un vettore di probabilità. Questa trasformazione assicura che i valori di output siano tutti positivi e che la loro somma sia esattamente uno, creando di fatto una valida distribuzione di probabilità. Grazie a questa proprietà, Softmax è la funzione di attivazione standard utilizzata nel livello di output delle reti neurali progettate per la classificazione multi-classe, dove il sistema deve scegliere una singola categoria tra più di due opzioni a esclusione reciproca.

Link to this sectionIl meccanismo di Softmax#

In un tipico flusso di lavoro di deep learning (DL), i livelli di una rete eseguono complesse moltiplicazioni e addizioni di matrici. L'output del livello finale, prima dell'attivazione, consiste in punteggi grezzi noti come logit. Questi valori possono variare da meno infinito a più infinito, rendendo difficile interpretarli direttamente come livelli di confidenza.

Softmax risolve questo problema eseguendo due operazioni principali:

1. Esponenziazione: calcola l'esponenziale di ciascun numero di input. Questo passaggio assicura che tutti i valori siano non negativi (poiché $e^x$ è sempre positivo) e penalizza i valori significativamente inferiori al massimo, evidenziando al contempo i punteggi più grandi.

2. Normalizzazione: somma questi valori esponenziati e divide ogni singolo esponenziale per questa somma totale. Questo processo di normalizzazione scala i numeri in modo che rappresentino parti di un intero, consentendo agli sviluppatori di interpretarli come punteggi di confidenza percentuali.

Link to this sectionApplicazioni nel mondo reale#

La capacità di restituire probabilità chiare rende Softmax indispensabile in vari settori e per le attività di machine learning (ML).

• Classificazione delle immagini: nella visione artificiale, i modelli utilizzano Softmax per classificare le immagini. Ad esempio, quando il modello di classificazione Ultralytics YOLO26 analizza una foto, potrebbe generare punteggi per classi come "Golden Retriever", "Pastore Tedesco" e "Barboncino". Softmax converte questi punteggi in probabilità (ad esempio, 0,85, 0,10, 0,05), indicando un'alta confidenza che l'immagine contenga un Golden Retriever. Questo è cruciale per applicazioni che spaziano dall'organizzazione automatica delle foto alla diagnosi medica nell'IA in ambito sanitario.
• Elaborazione del linguaggio naturale (NLP): Softmax è il motore alla base della generazione di testo nei Large Language Model (LLM). Quando un modello come un Transformer genera una frase, prevede la parola (token) successiva calcolando un punteggio per ogni parola nel suo vocabolario. Softmax trasforma questi punteggi in probabilità, consentendo al modello di selezionare la parola successiva più probabile, facilitando la traduzione automatica fluida e l'IA conversazionale.
• Apprendimento per rinforzo: gli agenti nell'apprendimento per rinforzo usano spesso Softmax per selezionare le azioni. Invece di scegliere sempre l'azione con il valore più alto, un agente potrebbe usare le probabilità per esplorare strategie diverse, bilanciando esplorazione e sfruttamento in ambienti come il controllo robotico o il gioco.

Link to this sectionEsempio di codice Python#

Il seguente esempio mostra come caricare un modello di classificazione YOLO26 pre-addestrato e accedere ai punteggi di probabilità generati tramite Softmax.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on a sample image
results = model("https://ultralytics.com/images/bus.jpg")

# The model applies Softmax internally. Access the top prediction:
# The 'probs' attribute contains the probability distribution.
top_prob = results[0].probs.top1conf.item()
top_class = results[0].names[results[0].probs.top1]

print(f"Predicted Class: {top_class}")
print(f"Confidence (Softmax Output): {top_prob:.4f}")

Link to this sectionDistinguere Softmax da concetti correlati#

While Softmax is dominant in multi-class scenarios, it is important to distinguish it from other mathematical functions used in model training and architecture design:

• Sigmoid: anche la funzione Sigmoid scala i valori tra 0 e 1, ma tratta ogni output in modo indipendente. Ciò rende Sigmoid ideale per la classificazione binaria (sì/no) o la classificazione multi-etichetta dove le classi non sono a esclusione reciproca (ad esempio, un'immagine può contenere sia una "Persona" che uno "Zaino"). Softmax costringe le probabilità a sommare a uno, facendo competere le classi tra loro.
• ReLU (Rectified Linear Unit): ReLU viene utilizzata principalmente nei livelli nascosti di una rete per introdurre non linearità. A differenza di Softmax, ReLU non limita gli output a un intervallo specifico (restituisce semplicemente zero per input negativi e l'input stesso per quelli positivi) e non genera una distribuzione di probabilità.
• Argmax: mentre Softmax fornisce le probabilità per tutte le classi, la funzione Argmax viene spesso utilizzata insieme ad essa per selezionare il singolo indice con la probabilità più alta. Softmax fornisce la confidenza "morbida" (soft), mentre Argmax fornisce la decisione finale "rigida" (hard).

Link to this sectionIntegrazione avanzata#

Nelle pipeline ML moderne, Softmax viene spesso calcolata implicitamente all'interno delle funzioni di perdita. Ad esempio, la Cross-Entropy Loss combina Softmax e la verosimiglianza logaritmica negativa in un unico passaggio matematico per migliorare la stabilità numerica durante l'addestramento. Piattaforme come la piattaforma Ultralytics gestiscono queste complessità automaticamente, consentendoti di addestrare modelli robusti senza dover implementare manualmente queste operazioni matematiche.