Data Lake

Um lago de dados é um repositório de armazenamento centralizado que contém uma grande quantidade de dados brutos no seu formato nativo até serem necessários. Ao contrário dos sistemas de armazenamento tradicionais, que exigem que os dados sejam estruturados antes da entrada, um lago de dados aceita os dados "tal como estão", incluindo dados estruturados (linhas e colunas), dados semiestruturados (CSV, registos, XML, JSON), dados não estruturados (e-mails, documentos, PDFs) e dados binários (imagens, áudio, vídeo). Esta flexibilidade arquitetural torna os lagos de dados uma base essencial das estratégias modernas de Big Data, particularmente para organizações que utilizam Inteligência Artificial (AI) e Aprendizagem Automática (ML). Ao dissociar a captura de dados da sua utilização, as organizações podem armazenar grandes volumes de informação a um custo relativamente baixo e determinar posteriormente as questões específicas a analisar.

O papel dos lagos de dados na Inteligência Artificial e na Aprendizagem Automática#

No contexto do desenvolvimento de AI, o principal valor de um lago de dados reside na sua capacidade de suportar fluxos de trabalho de Aprendizagem Profunda (DL). As redes neuronais avançadas necessitam de dados de treino diversificados e em grande volume para alcançar uma elevada precisão. Um lago de dados funciona como a área de preparação onde os recursos brutos — como milhões de imagens de alta resolução para Visão Computacional (CV) ou milhares de horas de áudio para Reconhecimento de fala — permanecem antes de serem processados.

Os cientistas de dados utilizam metodologias de "esquema na leitura" nos lagos de dados. Isto significa que a estrutura só é aplicada aos dados quando estes são lidos para processamento, e não quando são gravados no armazenamento. Isto permite uma enorme agilidade: o mesmo conjunto de dados brutos pode ser processado de várias formas para diferentes tarefas de modelação preditiva, sem alterar a fonte original. Além disso, os lagos de dados robustos integram-se frequentemente com serviços de computação em nuvem, como o Amazon S3 ou o Azure Blob Storage, permitindo o processamento paralelo e escalável necessário para treinar modelos exigentes, como o YOLO26.

Lago de dados vs. armazém de dados#

Embora sejam frequentemente confundidos, um lago de dados é diferente de um armazém de dados. Um armazém de dados armazena os dados em tabelas estruturadas e está otimizado para consultas SQL rápidas e relatórios de business intelligence. Utiliza o "esquema na escrita", o que significa que os dados têm de ser limpos e transformados através de um processo de Extração, Transformação e Carregamento (ETL) antes de entrarem no sistema.

Por outro lado, um lago de dados está otimizado para o volume e a variedade de armazenamento. Suporta aprendizagem não supervisionada e análise exploratória, nas quais o objetivo pode ainda não estar definido. Por exemplo, um armazém de dados pode dizer-te quantos produtos foram vendidos no mês passado, enquanto um lago de dados contém os registos brutos de sentimento dos clientes e os dados de imagem que ajudam um modelo de AI a compreender por que motivo foram vendidos.

Aplicações no mundo real#

Os lagos de dados são fundamentais em vários setores que estão a expandir os limites da automação:

• Veículos autónomos: o desenvolvimento de tecnologia de condução autónoma exige o processamento de petabytes de dados de sensores. Os veículos autónomos geram fluxos contínuos de nuvens de pontos LiDAR, sinais de radar e vídeo de alta definição. Um lago de dados armazena esta telemetria bruta, permitindo aos engenheiros reproduzir cenários do mundo real para treinar modelos de Deteção de objetos capazes de identificar peões e obstáculos em diferentes condições meteorológicas.
• Diagnóstico na área da saúde: na moderna análise de imagens médicas, os hospitais consolidam o historial dos pacientes, dados genómicos e ficheiros de imagem (MRI, tomografias computadorizadas) num lago de dados seguro. Os investigadores podem então aceder a estes dados anonimizados e não estruturados para treinar modelos de deteção de tumores ou previsão de doenças, utilizando frequentemente técnicas de segmentação para isolar regiões de interesse nas imagens médicas.

Utilização de lagos de dados com a Ultralytics#

Ao trabalhar com a Ultralytics Platform, os utilizadores costumam extrair subconjuntos de dados brutos do lago de dados da sua organização para criar conjuntos de dados anotados para treino. Depois de as imagens brutas serem obtidas e etiquetadas, podem ser utilizadas para treinar modelos de última geração.

O exemplo seguinte demonstra como um programador pode carregar um conjunto de dados local (simulando uma obtenção a partir de um lago de dados) para treinar o modelo YOLO26 numa tarefa de deteção.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")