Data Cleaning

A limpeza de dados é o processo crítico de detetar e corrigir (ou remover) registos corrompidos, imprecisos ou irrelevantes de um conjunto de registos, tabela ou base de dados. No domínio da inteligência artificial (AI) e da aprendizagem automática (ML), esta etapa é frequentemente considerada a parte mais demorada, mas essencial, do fluxo de trabalho. Antes de um modelo como o YOLO26 poder aprender eficazmente a reconhecer objetos, os dados de treino têm de ser limpos de erros para evitar o fenómeno "Garbage In, Garbage Out", em que dados de entrada de baixa qualidade produzem resultados pouco fiáveis.

A Importância da Integridade dos Dados na AI#

Os modelos de visão computacional de alto desempenho dependem fortemente da qualidade dos conjuntos de dados que utilizam. Se um conjunto de dados contiver imagens com etiquetas incorretas, duplicados ou ficheiros corrompidos, o modelo terá dificuldade em generalizar padrões, resultando em sobreajuste ou numa precisão de inferência baixa. Uma limpeza de dados eficaz melhora a fiabilidade dos modelos preditivos e garante que o algoritmo aprende com sinais válidos, em vez de ruído.

Técnicas Comuns de Limpeza de Dados#

Os profissionais utilizam várias estratégias para aperfeiçoar os seus conjuntos de dados, recorrendo a ferramentas como pandas para dados tabulares ou a ferramentas especializadas de visão.

• Gestão de Valores em Falta: Isto envolve remover registos com dados em falta ou utilizar técnicas de imputação para preencher lacunas com base em médias estatísticas ou nos vizinhos mais próximos.
• Remoção de Duplicados: Imagens duplicadas num conjunto de treino podem enviesar inadvertidamente o modelo. Removê-las garante que o modelo não memoriza exemplos específicos, ajudando a mitigar o enviesamento do conjunto de dados.
• Deteção de Valores Atípicos: identificar e lidar com anomalias ou valores atípicos que se desviam significativamente da norma é crucial, uma vez que estes podem distorcer a análise estatística e os pesos do modelo.
• Reparação Estrutural: Isto inclui corrigir erros ortográficos nas etiquetas das classes (por exemplo, corrigir "Car" vs. "car") para garantir a consistência das classes.

Aplicações no mundo real#

A limpeza de dados é fundamental em vários setores onde a AI é implementada.

• Análise de Imagens Médicas: Em aplicações de AI na área da saúde, os conjuntos de dados contêm frequentemente exames com artefactos, metadados incorretos dos pacientes ou ruído de fundo irrelevante. A limpeza destes dados garante que os modelos de análise de imagens médicas se concentram exclusivamente nos marcadores biológicos relevantes para o diagnóstico.
• Gestão de Inventário no Retalho: Para a AI no retalho, os conjuntos de dados de produtos podem conter artigos obsoletos ou imagens com proporções incorretas. A limpeza destes conjuntos de dados garante que os modelos de deteção de objetos conseguem identificar com precisão os níveis de stock e reduzir os falsos positivos num ambiente real.

Distinguir a Limpeza de Dados do Pré-processamento#

Embora sejam frequentemente utilizados como sinónimos, a limpeza de dados é distinta do pré-processamento de dados. A limpeza de dados centra-se na correção de erros e na remoção de dados "maus". Em contrapartida, o pré-processamento envolve transformar dados limpos num formato adequado ao modelo, como o redimensionamento de imagens, a normalização ou a aplicação de aumento de dados para aumentar a variedade.

Automatização das Verificações de Qualidade#

Os fluxos de trabalho modernos, como os disponíveis na Plataforma Ultralytics, integram verificações automatizadas para identificar imagens corrompidas ou inconsistências nas etiquetas antes do início do treino. Segue-se um exemplo simples em Python que demonstra como verificar e identificar ficheiros de imagem corrompidos utilizando a biblioteca Pillow padrão, uma etapa comum antes de introduzir dados num modelo como o YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")