Edge AI

La IA en el borde consiste en ejecutar modelos de inteligencia artificial (AI) en los dispositivos que generan los datos o cerca de ellos, como teléfonos, cámaras, vehículos, robots y pasarelas industriales, en lugar de enviar esos datos a un centro de datos remoto. Procesar un fotograma de cámara o un clip de audio allí donde se captura evita el viaje de ida y vuelta por la red, por lo que las decisiones se obtienen en milisegundos. El dispositivo sigue funcionando sin conexión, los datos sensibles permanecen en local por privacidad de los datos y no es necesario transmitir vídeo sin procesar a la nube, lo que ahorra ancho de banda. El inconveniente es que hay límites estrictos de memoria, capacidad de cálculo y energía, además del trabajo que supone actualizar modelos en toda una flota de dispositivos.

Cómo funciona la IA en el borde#

Los modelos suelen entrenarse en la nube con GPU y después se reducen y aceleran para adaptarlos al dispositivo de destino. La cuantización de modelos a FP16 o INT8, la poda de modelos y la destilación de conocimiento los reducen; la exportación los convierte al formato que ejecuta un motor de inferencia en el dispositivo, como TensorRT en hardware de NVIDIA, LiteRT en Android, Core ML en dispositivos Apple o NCNN en CPU ARM. Después, el dispositivo ejecuta la inferencia en local y solo envía lo importante, como una alerta, un recuento o un clip breve. Esos envíos también alimentan el ciclo de mejora: se etiquetan los casos difíciles recopilados en el entorno real, se vuelve a entrenar el modelo y la nueva versión se envía a los dispositivos de forma inalámbrica.

Hardware para IA en el borde#

• Unidades de procesamiento neuronal (NPUs): aceleradores específicos integrados en la mayoría de los chips actuales para teléfonos y portátiles, como Neural Engine de Apple y Hexagon NPU de Qualcomm, que ejecutan modelos cuantizados dentro del presupuesto de energía de un teléfono.
• NVIDIA Jetson: módulos integrados que combinan una CPU ARM con una GPU NVIDIA para robots, drones y cámaras inteligentes que necesitan un rendimiento propio de una GPU.
• Raspberry Pi: ordenadores de placa única y bajo coste que ejecutan modelos pequeños en su CPU ARM o en placas aceleradoras complementarias.
• Microcontroladores: la categoría más pequeña, en la que se ejecutan modelos de unos pocos cientos de kilobytes con un consumo de unos pocos milivatios.

Despliegue de un modelo en el borde#

Cada tipo de dispositivo se beneficia de un formato de exportación distinto. En Raspberry Pi, NCNN es el formato más rápido de los que Ultralytics evalúa para Ultralytics YOLO26; exportar una vez y cargar la carpeta exportada permite ejecutar el mismo detector con ese motor:

from ultralytics import YOLO

# Carga el modelo de detección YOLO26 más pequeño
model = YOLO("yolo26n.pt")

# Exporta a NCNN, un framework de inferencia optimizado para CPU ARM
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Ejecuta la inferencia con el modelo exportado, como en el dispositivo
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

La imagen guardada muestra las detecciones calculadas por el motor NCNN. Las aplicaciones del dispositivo suelen empaquetarse en contenedores Docker para que la misma imagen se ejecute en toda una flota de placas idénticas.

IA en el borde y términos relacionados#

• Computación en el borde: práctica general de procesar cualquier dato cerca de su origen, desde filtrar lecturas de sensores hasta almacenar contenido en caché. La IA en el borde es computación en el borde cuya carga de trabajo es un modelo de aprendizaje automático.
• TinyML: la categoría más pequeña de IA en el borde, ejecutada en microcontroladores con kilobytes de memoria.
• Aprendizaje federado: entrena un modelo compartido en muchos dispositivos enviando actualizaciones de pesos en lugar de datos sin procesar. La IA en el borde suele referirse a la inferencia, mientras que el aprendizaje federado lleva el entrenamiento a esos mismos dispositivos.

Aplicaciones de la IA en el borde#

• Vehículos autónomos: los coches y robots de reparto detectan a bordo peatones, vehículos y carriles, ya que una conexión lenta o interrumpida no puede retrasar la frenada.
• Cámaras inteligentes: las cámaras de comercios, tráfico y seguridad ejecutan la detección de objetos en local y envían recuentos o alertas en vez de vídeo continuo.
• Inspección industrial: las cámaras de las líneas de producción rechazan las piezas defectuosas en milisegundos, y los sensores de vibración de las máquinas detectan anomalías antes de que provoquen una parada.
• Teléfonos inteligentes: los teléfonos procesan fotos, transcriben voz y ejecutan modelos de lenguaje pequeños en el propio dispositivo, como el modelo de unos 3.000 millones de parámetros que Apple Intelligence ejecuta en dispositivos Apple y al que acceden las aplicaciones mediante el framework Foundation Models de Apple.