ONNX (Open Neural Network Exchange)

ONNX (scambio aperto di reti neurali) è un formato di file standard aperto per i modelli di apprendimento automatico. Un file .onnx memorizza un modello addestrato come grafo di calcolo composto da operatori standard, insieme ai suoi pesi; in questo modo, un modello addestrato con un framework, come PyTorch, può essere eseguito con altri runtime e su molti tipi di hardware. Facebook e Microsoft hanno lanciato ONNX nel settembre 2017; dal novembre 2019 è un progetto ufficiale di LF AI & Data, la fondazione per l'IA della Linux Foundation. ONNX è il consueto punto di passaggio tra il training e la distribuzione del modello: un unico file esportato può essere usato da ONNX Runtime, TensorRT, OpenVINO e dai compilatori di molti acceleratori per IA edge.

Contenuto di un file ONNX#

Un modello ONNX viene serializzato con Protocol Buffers e contiene quattro parti:

• Grafo: nodi che richiamano operatori come Conv, MatMul e Relu, collegati da tensori con nome. Gli input e gli output del grafo includono tipi di dati e forme; ogni dimensione può essere fissa o simbolica, come nel caso di una dimensione del batch variabile.
• Inizializzatori: i pesi appresi. Protocol Buffers limita a 2 GB le dimensioni di un singolo file, quindi i modelli più grandi memorizzano i pesi in file di dati esterni accanto al file .onnx.
• Versione dell'opset: gli operatori sono organizzati in opset versionati e un runtime deve supportare l'opset con cui è stato esportato il modello. I nuovi opset aggiungono operatori senza modificare quelli precedenti, come l'operatore Attention, aggiunto nell'opset 23.
• Metadati: nome del produttore, versione del modello e coppie chiave-valore personalizzate, come i nomi delle classi.

Un secondo dominio di operatori, ONNX-ML, copre i modelli classici, come gli ensemble di alberi e i classificatori lineari; convertitori come skl2onnx e onnxmltools esportano quindi i modelli scikit-learn, LightGBM e XGBoost nello stesso formato. I visualizzatori, come Netron, mostrano il grafo nodo per nodo. In pratica, ONNX si colloca tra molti framework di training e numerosi runtime:

Esecuzione dei modelli ONNX#

ONNX Runtime, il motore di inferenza open source di Microsoft, esegue file ONNX su server, computer desktop, telefoni e browser. Quando carica un modello, ottimizza il grafo, per esempio ripiegando le costanti e fondendo una convoluzione con la normalizzazione batch che la segue; quindi assegna ogni parte del grafo a un provider di esecuzione adatto all'hardware disponibile: CUDA o TensorRT sulle GPU NVIDIA, OpenVINO sull'hardware Intel, DirectML sulle GPU Windows, Core ML sui dispositivi Apple, QNN sulle NPU Qualcomm e WebGPU nei browser. Windows ML, il framework di inferenza locale di Microsoft, si basa su ONNX Runtime; altri motori, come TensorRT e OpenVINO, importano file ONNX e li compilano nei propri formati.

Ultralytics YOLO26 esporta in ONNX con model.export(format="onnx"), e l'esportazione TensorRT di Ultralytics crea il proprio engine a partire dallo stesso file ONNX. Il file esportato viene eseguito in ONNX Runtime senza PyTorch:

import onnxruntime as ort
from ultralytics import YOLO

# Esporta YOLO26n in ONNX con dimensioni simboliche per batch, altezza e larghezza
model = YOLO("yolo26n.pt")
onnx_path = model.export(format="onnx", dynamic=True)

# Carica il grafo in ONNX Runtime, che non richiede né PyTorch né Ultralytics
session = ort.InferenceSession(onnx_path, providers=["CPUExecutionProvider"])
for tensor in session.get_inputs() + session.get_outputs():
    print(tensor.name, tensor.shape)

Stampa l'input del grafo, images, con dimensioni simboliche per batch, altezza e larghezza, e il relativo output di predizione grezzo, output0, che costituisce la firma usata da qualsiasi runtime ONNX per fornire i dati al modello e leggerne i risultati.

ONNX a confronto con formati e strumenti correlati#

• ONNX Runtime: il motore di inferenza che esegue i file ONNX; è un progetto distinto, guidato da Microsoft, che spesso viene abbreviato in "ONNX".
• TensorRT: il compilatore di NVIDIA, che converte un file ONNX in un engine ottimizzato per un tipo specifico di GPU e una versione specifica di TensorRT. Per questo i team conservano il file ONNX come sorgente portabile e ricompilano gli engine per ogni destinazione.
• Formati PyTorch: i checkpoint .pt e i file safetensors memorizzano i pesi per codice che ricrea il modello, mentre TorchScript e torch.export acquisiscono grafi destinati ai runtime di PyTorch.
• Altri formati di distribuzione: IR di OpenVINO, file LiteRT .tflite, pacchetti Core ML e file GGUF per LLM quantizzati sono destinati ciascuno a runtime specifici. coremltools di Apple converte direttamente i modelli PyTorch e dalla versione 6 non supporta più l'input ONNX.

Applicazioni nel mondo reale#

• App multipiattaforma: un unico file ONNX può essere usato su server Linux, app Windows tramite Windows ML e app Android e iOS tramite ONNX Runtime Mobile.
• Inferenza nel browser: ONNX Runtime Web esegue i modelli sul dispositivo dell'utente con WebGPU o WebAssembly, così i fotogrammi della videocamera per funzionalità come la stima della posa non escono mai dal browser.
• Acceleratori edge: le toolchain NPU di fornitori come Hailo, Qualcomm e Rockchip accettano modelli ONNX come input e li compilano, spesso applicando la quantizzazione a INT8, per i loro chip.
• Modelli classici in produzione: gli alberi con boosting del gradiente e le pipeline scikit-learn convertiti in ONNX vengono eseguiti nei servizi C#, Java e C++ tramite ONNX Runtime, senza interprete Python nel percorso di serving.