Data Cleaning

La pulizia dei dati è il processo fondamentale di rilevamento e correzione (o rimozione) di record corrotti, imprecisi o irrilevanti da un set di record, una tabella o un database. Nel campo dell'artificial intelligence (AI) e del machine learning (ML), questo passaggio è spesso considerato la parte del flusso di lavoro più dispendiosa in termini di tempo ma essenziale. Prima che un modello come YOLO26 possa imparare efficacemente a riconoscere gli oggetti, i training data devono essere ripuliti dagli errori per prevenire il fenomeno "Garbage In, Garbage Out", in cui un input di scarsa qualità porta a un output inaffidabile.

L'importanza dell'integrità dei dati nell'AI#

I modelli di computer vision ad alte prestazioni dipendono fortemente dalla qualità dei dataset che utilizzano. Se un dataset contiene immagini con etichette errate, duplicati o file corrotti, il modello farà fatica a generalizzare i pattern, portando a overfitting o a una scarsa inference accuracy. Una pulizia efficace dei dati migliora la reliability of predictive models e assicura che l'algoritmo impari da segnali validi anziché dal rumore.

Tecniche comuni di pulizia dei dati#

I professionisti impiegano varie strategie per perfezionare i propri dataset utilizzando strumenti come Pandas per dati tabulari o strumenti di visione specializzati.

• Gestione dei valori mancanti: questo comporta la rimozione dei record con dati mancanti o l'uso di imputation techniques per colmare le lacune in base a medie statistiche o ai vicini più prossimi.
• Rimozione dei duplicati: le immagini duplicate in un set di addestramento possono influenzare inavvertitamente il modello. La loro rimozione assicura che il modello non memorizzi esempi specifici, aiutando a mitigare il dataset bias.
• Rilevamento dei valori anomali: identificare e gestire anomalies o outliers che si discostano significativamente dalla norma è fondamentale, poiché questi possono distorcere l'analisi statistica e i pesi del modello.
• Riparazione strutturale: include la correzione di errori di battitura nelle etichette di classe (ad esempio, correggendo "Car" rispetto a "car") per garantire la class consistency.

Applicazioni nel mondo reale#

La pulizia dei dati è fondamentale in vari settori in cui viene implementata l'AI.

• Analisi delle immagini mediche: nelle healthcare AI applications, i dataset contengono spesso scansioni con artefatti, metadati del paziente errati o rumore di fondo irrilevante. La pulizia di questi dati assicura che i modelli di medical image analysis si concentrino esclusivamente sui marker biologici rilevanti per la diagnosi.
• Gestione dell'inventario retail: per AI in retail, i dataset di prodotti potrebbero contenere articoli obsoleti o immagini con proporzioni errate. La pulizia di questi dataset garantisce che i modelli di object detection possano identificare accuratamente i livelli di inventario e ridurre i falsi positivi in un ambiente live.

Distinguere la pulizia dei dati dal preprocessing#

Sebbene siano spesso usati in modo intercambiabile, la pulizia dei dati è distinta dal data preprocessing. La pulizia dei dati si concentra sulla correzione degli errori e sulla rimozione dei dati "cattivi". Al contrario, il pre-elaborazione prevede la trasformazione di dati puliti in un formato adatto al modello, come image resizing, normalizzazione o l'applicazione di data augmentation per aumentare la varietà.

Automatizzazione dei controlli di qualità#

I flussi di lavoro moderni, come quelli disponibili sulla Ultralytics Platform, integrano controlli automatizzati per identificare immagini corrotte o incoerenze nelle etichette prima che inizi l'addestramento. Di seguito è riportato un semplice esempio in Python che mostra come verificare e identificare file di immagine corrotti utilizzando la libreria standard Pillow library, un passaggio comune prima di inserire i dati in un modello come YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")