Data Cleaning

La pulizia dei dati è il processo critico di rilevamento e correzione (o rimozione) di record corrotti, inaccurati o irrilevanti da un set di record, una tabella o un database. Nel campo dell'intelligenza artificiale (AI) e del machine learning (ML), questo passaggio è spesso considerato la parte più dispendiosa in termini di tempo ma essenziale del flusso di lavoro. Prima che un modello come YOLO26 possa imparare efficacemente a riconoscere gli oggetti, i dati di addestramento devono essere ripuliti dagli errori per evitare il fenomeno "Garbage In, Garbage Out", in cui input di scarsa qualità portano a output inaffidabili.

Link to this sectionL'importanza dell'integrità dei dati nell'AI#

I modelli di computer vision ad alte prestazioni dipendono fortemente dalla qualità dei dataset che consumano. Se un dataset contiene immagini con etichette errate, duplicati o file corrotti, il modello avrà difficoltà a generalizzare i pattern, portando a overfitting o a una scarsa accuratezza di inferenza. Una pulizia efficace dei dati migliora l'affidabilità dei modelli predittivi e garantisce che l'algoritmo impari da segnali validi anziché dal rumore.

Link to this sectionTecniche comuni di pulizia dei dati#

I professionisti impiegano diverse strategie per perfezionare i propri dataset utilizzando strumenti come Pandas per i dati tabulari o strumenti di visione specializzati.

• Gestione dei valori mancanti: questo comporta la rimozione dei record con dati mancanti o l'utilizzo di tecniche di imputazione per colmare le lacune in base a medie statistiche o ai vicini più prossimi.
• Rimozione dei duplicati: le immagini duplicate in un set di addestramento possono inavvertitamente influenzare il modello. Rimuoverle garantisce che il modello non memorizzi esempi specifici, aiutando a mitigare il bias del dataset.
• Rilevamento di outlier: identificare e gestire anomalie o outlier che deviano significativamente dalla norma è fondamentale, poiché possono distorcere l'analisi statistica e i pesi del modello.
• Riparazione strutturale: ciò include la correzione di errori di battitura nelle etichette delle classi (ad esempio, correggere "Car" rispetto a "car") per garantire la coerenza delle classi.

Link to this sectionApplicazioni nel mondo reale#

La pulizia dei dati è fondamentale in vari settori in cui viene implementata l'AI.

• Analisi di immagini mediche: nelle applicazioni AI in ambito sanitario, i dataset contengono spesso scansioni con artefatti, metadati dei pazienti errati o rumore di fondo irrilevante. La pulizia di questi dati assicura che i modelli di analisi di immagini mediche si concentrino esclusivamente sui marcatori biologici rilevanti per la diagnosi.
• Gestione dell'inventario al dettaglio: per l'AI nel settore retail, i dataset dei prodotti potrebbero contenere articoli obsoleti o immagini con proporzioni errate. La pulizia di questi dataset garantisce che i modelli di object detection possano identificare accuratamente i livelli delle scorte e ridurre i falsi positivi in un ambiente reale.

Link to this sectionDistinguere la pulizia dei dati dal preprocessing#

Sebbene spesso usati in modo intercambiabile, la pulizia dei dati è distinta dal data preprocessing. La pulizia dei dati si concentra sulla correzione degli errori e sulla rimozione dei dati "cattivi". Al contrario, il preprocessing comporta la trasformazione di dati puliti in un formato adatto al modello, come il ridimensionamento delle immagini, la normalizzazione o l'applicazione di data augmentation per aumentarne la varietà.

Link to this sectionAutomatizzazione dei controlli di qualità#

I moderni flussi di lavoro, come quelli disponibili sulla Ultralytics Platform, integrano controlli automatizzati per identificare immagini corrotte o incongruenze nelle etichette prima che inizi l'addestramento. Di seguito è riportato un semplice esempio in Python che dimostra come controllare e identificare i file immagine corrotti utilizzando la libreria Pillow standard, un passaggio comune prima di inserire i dati in un modello come YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")