Sigmoid

La funzione Sigmoide è un componente matematico fondamentale utilizzato ampiamente nei campi del machine learning (ML) e del deep learning (DL). Spesso definita "funzione di schiacciamento" (squashing function), prende in input qualsiasi numero reale e lo mappa su un valore compreso tra 0 e 1. Questa caratteristica curva a "S" la rende incredibilmente utile per convertire gli output grezzi del modello in probabilità interpretabili. Nel contesto di una rete neurale (NN), la funzione Sigmoide funge da funzione di attivazione, introducendo una non linearità che consente ai modelli di apprendere pattern complessi che vanno oltre le semplici relazioni lineari. Sebbene sia stata in gran parte sostituita da altre funzioni negli strati nascosti profondi, rimane una scelta standard per gli strati di output in attività di classificazione binaria.

Link to this sectionLa meccanica della Sigmoide nell'IA#

Fondamentalmente, la funzione Sigmoide trasforma i dati in input — spesso chiamati logit — in un intervallo normalizzato. Questa trasformazione è cruciale per le attività in cui l'obiettivo è prevedere la probabilità di un evento. Limitando l'output tra 0 e 1, la funzione fornisce un punteggio di probabilità chiaro.

• Regressione logistica: Nella modellazione statistica tradizionale, la Sigmoide è il motore dietro la regressione logistica. Consente ai data scientist di stimare la probabilità di un risultato binario, come ad esempio se un cliente abbandonerà il servizio o rimarrà.
• Classificazione binaria: Per le reti neurali progettate per distinguere tra due classi (ad es. "gatto" vs "cane"), lo strato finale impiega spesso un'attivazione Sigmoide. Se l'output è superiore a una soglia (solitamente 0,5), il modello prevede la classe positiva.
• Classificazione multi-etichetta: A differenza dei problemi multi-classe in cui le classi sono mutuamente esclusive, le attività multi-etichetta consentono a un'immagine o a un testo di appartenere contemporaneamente a più categorie. Qui, la Sigmoide viene applicata indipendentemente a ciascun nodo di output, consentendo al modello di rilevare un'"auto" e una "persona" nella stessa scena senza conflitti.

Link to this sectionDifferenze chiave rispetto ad altre funzioni di attivazione#

Sebbene la Sigmoide fosse un tempo l'impostazione predefinita per tutti gli strati, i ricercatori hanno scoperto limitazioni come il problema del gradiente evanescente, in cui i gradienti diventano troppo piccoli per aggiornare i pesi in modo efficace nelle reti profonde. Ciò ha portato all'adozione di alternative per gli strati nascosti.

• Sigmoide vs ReLU (Rectified Linear Unit): La ReLU è computazionalmente più veloce ed evita i gradienti evanescenti restituendo l'input direttamente se positivo, e zero altrimenti. È la scelta preferita per gli strati nascosti in architetture moderne come YOLO26, mentre la Sigmoide è riservata allo strato di output finale in attività specifiche.
• Sigmoide vs Softmax: Entrambe mappano gli output su un intervallo 0-1, ma servono a scopi diversi. La Sigmoide tratta ogni output in modo indipendente, rendendola ideale per attività binarie o multi-etichetta. La Softmax costringe tutti gli output a sommare 1, creando una distribuzione di probabilità utilizzata per la classificazione multi-classe dove è corretta solo una classe.

Link to this sectionApplicazioni nel mondo reale#

L'utilità della funzione Sigmoide si estende a vari settori in cui è richiesta la stima della probabilità.

1. Diagnosi medica: I modelli di IA utilizzati nell'analisi di immagini mediche utilizzano spesso output Sigmoide per prevedere la probabilità che una malattia sia presente in una radiografia o in una scansione MRI. Ad esempio, un modello potrebbe restituire 0,85, indicando una probabilità dell'85% di un tumore, aiutando i medici in una diagnosi precoce.

2. Rilevamento spam: I sistemi di filtraggio delle email utilizzano modelli di elaborazione del linguaggio naturale (NLP) con classificatori Sigmoide per determinare se un messaggio in arrivo è "spam" o "non spam". Il modello analizza le parole chiave e i metadati, fornendo un punteggio che determina se l'email finisce nella posta in arrivo o nella cartella della posta indesiderata.

Link to this sectionImplementazione pratica#

Puoi osservare come la Sigmoide trasforma i dati utilizzando PyTorch, una popolare libreria per la creazione di modelli di deep learning. Questo semplice esempio dimostra l'effetto di "schiacciamento" su una gamma di valori di input.

import torch
import torch.nn as nn

# Create a Sigmoid layer
sigmoid = nn.Sigmoid()

# Define input data (logits) ranging from negative to positive
input_data = torch.tensor([-5.0, -1.0, 0.0, 1.0, 5.0])

# Apply Sigmoid to squash values between 0 and 1
output = sigmoid(input_data)

print(f"Input: {input_data}")
print(f"Output: {output}")
# Output values near 0 for negative inputs, 0.5 for 0, and near 1 for positive inputs

Per chi desidera addestrare modelli che utilizzano questi concetti senza scrivere codice di basso livello, la piattaforma Ultralytics offre un'interfaccia intuitiva per gestire i dataset e addestrare modelli all'avanguardia come YOLO26. Gestendo automaticamente le complessità architettoniche, consente agli utenti di concentrarsi sulla raccolta di dati di addestramento di alta qualità per le loro specifiche applicazioni di computer vision.