Data Lake

Un data lake es un repositorio de almacenamiento centralizado que contiene una enorme cantidad de datos en bruto en su formato nativo hasta que son necesarios. A diferencia de los sistemas de almacenamiento tradicionales que requieren que los datos estén estructurados antes de su entrada, un data lake acepta los datos "tal cual", incluyendo datos estructurados (filas y columnas), datos semiestructurados (CSV, logs, XML, JSON), datos no estructurados (correos electrónicos, documentos, PDFs) y datos binarios (imágenes, audio, vídeo). Esta flexibilidad arquitectónica convierte a los data lakes en una piedra angular de las estrategias modernas de Big Data, especialmente para organizaciones que aprovechan la Inteligencia Artificial (IA) y el Machine Learning (ML). Al desacoplar la captura de datos de su uso, las organizaciones pueden almacenar grandes conjuntos de información de forma relativamente económica y definir las preguntas de análisis específicas más adelante.

Link to this sectionEl papel de los data lakes en la IA y el Machine Learning#

En el contexto del desarrollo de IA, el valor principal de un data lake reside en su capacidad para soportar flujos de trabajo de Deep Learning (DL). Las redes neuronales avanzadas requieren datos de entrenamiento diversos y voluminosos para alcanzar una alta precisión. Un data lake actúa como el espacio de preparación donde residen los activos en bruto —como millones de imágenes de alta resolución para Computer Vision (CV) o miles de horas de audio para el Reconocimiento de voz— antes de ser procesados.

Los científicos de datos utilizan metodologías de "schema-on-read" dentro de los data lakes. Esto significa que la estructura se aplica a los datos solo cuando se leen para su procesamiento, en lugar de cuando se escriben en el almacenamiento. Esto permite una inmensa agilidad; el mismo conjunto de datos en bruto puede procesarse de múltiples maneras para diferentes tareas de modelado predictivo sin alterar la fuente original. Además, los data lakes robustos a menudo se integran con servicios de computación en la nube como Amazon S3 o Azure Blob Storage, lo que permite el procesamiento paralelo y escalable necesario para entrenar modelos pesados como YOLO26.

Link to this sectionData lake frente a Data warehouse#

Aunque a menudo se confunden, un data lake es distinto de un data warehouse. Un data warehouse almacena datos en tablas estructuradas y está optimizado para consultas SQL rápidas y reportes de inteligencia empresarial. Utiliza "schema-on-write", lo que significa que los datos deben limpiarse y transformarse mediante un proceso ETL (Extract, Transform, Load) antes de entrar en el sistema.

Por el contrario, un data lake está optimizado para el volumen y la variedad de almacenamiento. Admite aprendizaje no supervisado y análisis exploratorio donde el objetivo podría no estar definido todavía. Por ejemplo, un data warehouse podría decirte cuántos productos se vendieron el mes pasado, mientras que un data lake contiene los registros en bruto de sentimiento del cliente y los datos de imagen que ayudan a un modelo de IA a entender por qué se vendieron.

Link to this sectionAplicaciones en el mundo real#

Los data lakes son fundamentales en diversas industrias que superan los límites de la automatización:

• Vehículos autónomos: el desarrollo de tecnología de conducción autónoma requiere procesar petabytes de datos de sensores. Los vehículos autónomos generan flujos continuos de nubes de puntos LiDAR, señales de radar y vídeo de alta definición. Un data lake almacena esta telemetría en bruto, permitiendo a los ingenieros reproducir escenarios del mundo real para entrenar modelos de Object Detection con el fin de identificar peatones y obstáculos bajo diversas condiciones climáticas.
• Diagnóstico sanitario: En el moderno análisis de imágenes médicas, los hospitales consolidan el historial del paciente, los datos genómicos y los archivos de imagen (MRI, tomografías computarizadas) en un data lake seguro. Los investigadores pueden acceder entonces a estos datos anonimizados y no estructurados para entrenar modelos de detección de tumores o predicción de enfermedades, utilizando a menudo técnicas de segmentación para aislar regiones de interés dentro de las imágenes médicas.

Link to this sectionUso de data lakes con Ultralytics#

Al trabajar con la Ultralytics Platform, los usuarios suelen extraer subconjuntos de datos en bruto del data lake de su organización para crear conjuntos de datos anotados para el entrenamiento. Una vez que se recuperan y etiquetan las imágenes en bruto, se pueden utilizar para entrenar modelos de última generación.

El siguiente ejemplo demuestra cómo un desarrollador podría cargar un conjunto de datos local (imitando una extracción de un data lake) para entrenar el modelo YOLO26 para una tarea de detección.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")