Data Analytics

L'analisi dei dati è la pratica di esaminare i dati per rispondere a domande e supportare le decisioni. Comprende la raccolta e la pulizia dei dati, la loro analisi con statistiche e apprendimento automatico e la comunicazione dei risultati tramite report, dashboard e visualizzazione dei dati. Un rivenditore che chiede quali negozi hanno perso vendite nell'ultimo trimestre, un ospedale che stima i ricoveri della prossima settimana e una città che conta le auto a un incrocio tramite i flussi delle telecamere stanno tutti facendo analisi dei dati.

I quattro tipi di analisi#

L'analisi viene comunemente suddivisa in base alla domanda a cui risponde e ogni tipo si basa sul precedente:

• Analisi descrittiva: Che cosa è successo? Totali, medie, distribuzioni e tendenze riassumono i dati passati, elementi fondamentali dei report aziendali.
• Analisi diagnostica: Perché è successo? Analisi di dettaglio, correlazioni e confronti tra segmenti cercano le cause.
• Analisi predittiva: Che cosa succederà? Modelli statistici e di apprendimento automatico prevedono risultati come domanda, abbandono dei clienti o guasti delle apparecchiature.
• Analisi prescrittiva: Che cosa si dovrebbe fare? L'ottimizzazione e la simulazione trasformano le previsioni in azioni consigliate, ad esempio quanti sportelli di cassa aprire.

I primi tre tipi si realizzano in poche righe di pandas e scikit-learn sul dataset del diabete incluso in scikit-learn, che registra 10 misurazioni di base per 442 pazienti e un punteggio di progressione della malattia rilevato un anno dopo:

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 442 diabetes patients: 10 baseline measurements and a disease progression score one year later
data = load_diabetes(as_frame=True).frame

# Descriptive: how far did the disease progress?
print(f"progression: mean {data['target'].mean():.0f}, range {data['target'].min():.0f}-{data['target'].max():.0f}")

# Diagnostic: which measurements move with progression?
print(data.corr()["target"].drop("target").nlargest(3).round(2).to_dict())

# Predictive: how well do the measurements forecast progression for new patients?
X_train, X_test, y_train, y_test = train_test_split(data.drop(columns="target"), data["target"], random_state=0)
model = LinearRegression().fit(X_train, y_train)
print(f"R^2 on held-out patients: {model.score(X_test, y_test):.2f}")

La fase descrittiva riporta un punteggio medio di progressione pari a 152, su un intervallo da 25 a 346. La fase diagnostica rileva che l'indice di massa corporea è quello più fortemente correlato alla progressione (0,59), seguito dalla misura dei trigliceridi sierici s5 (0,57) e dalla pressione sanguigna (0,44). La fase predittiva spiega il 36% della varianza nella progressione dei pazienti mai visti dal modello, con un R² pari a 0,36.

Il processo di analisi#

Un progetto inizia con una domanda precisa e una metrica che vi risponde, quindi raccoglie i dati pertinenti da database, log, sensori o telecamere. La pulizia dei dati e la preelaborazione dei dati correggono valori mancanti, duplicati e unità incoerenti; prima di qualsiasi modellazione, l'analisi esplorativa rappresenta graficamente distribuzioni e relazioni. Gli analisti applicano poi metodi statistici, algoritmi di analisi delle serie temporali o di data mining e riportano i risultati insieme alla loro incertezza. Gli strumenti più comuni sono SQL e fogli di calcolo per domande semplici, pandas e notebook per l'analisi, motori distribuiti come Apache Spark per i big data e strumenti di business intelligence come Tableau e Power BI per le dashboard.

I progetti di apprendimento automatico eseguono la stessa analisi sui propri dati e modelli. Prima dell'addestramento, il conteggio delle classi e le statistiche delle etichette rivelano squilibri e bias del dataset; dopo l'addestramento, una matrice di confusione e le metriche per classe mostrano quali classi, condizioni di illuminazione o dimensioni degli oggetti il modello rileva in modo errato.

Analisi video#

La visione artificiale trasforma le telecamere in fonti di dati per l'analisi. Il rilevamento degli oggetti e il tracciamento degli oggetti convertono ogni fotogramma in conteggi, posizioni e traiettorie, che si aggregano in passaggi di persone all'ora e metriche di gestione delle code, come tempi di attesa, veicoli per corsia o tassi di difetti per turno di produzione. Sia il conteggio delle persone e l'analisi dell'occupazione in negozi e uffici sia la gestione del traffico agli incroci si basano su questa conversione dei pixel in tabelle.

La soluzione di analisi di Ultralytics YOLO esegue la conversione in un solo passaggio: esegue un modello YOLO26 con tracking su ogni fotogramma di un video e visualizza i risultati come grafico in tempo reale, sotto forma di grafico a linee del totale dei rilevamenti per fotogramma oppure di grafico a barre, grafico a torta o grafico ad area dei conteggi per classe, che si può scrivere in un video di output.

Analisi dei dati e termini correlati#

• Data science: un campo più ampio che comprende l'analisi e sviluppa anche modelli e prodotti basati sui dati, come i motori di raccomandazione, che vengono eseguiti in produzione.
• Business intelligence (BI): report e dashboard basati sui dati aziendali selezionati e organizzati, in gran parte dedicati all'analisi descrittiva e diagnostica.
• Data mining: la fase di individuazione dei pattern nell'analisi, che usa algoritmi per trovare automaticamente associazioni, cluster e anomalie in grandi dataset.