Liquid Neural Networks (LNNs)

Liquid Neural Networks (LNNs)은 C. elegans 벌과 같은 단순한 유기체의 신경계 구조에서 영감을 받은 연속 시간 Recurrent Neural Networks (RNNs)의 매우 역동적이고 유연한 하위 클래스입니다. 학습 후 가중치(또는 매개변수)가 고정되는 기존의 deep learning 모델과 달리, LNN은 새로운 입력 스트림을 처리할 때 실시간으로 매개변수를 지속적으로 조정할 수 있습니다. "액체(liquid)" 동작이라고도 불리는 이러한 적응성 덕분에 네트워크는 견고성을 유지하고 변화하는 조건에 즉각적으로 대응할 수 있으며, 이는 시계열 데이터 처리와 동적 시스템 제어에 매우 적합합니다.

LNN의 핵심 장점은 매개변수 효율성입니다. Transformers나 Large Language Models (LLMs)와 같은 대형 모델은 복잡한 작업을 수행하기 위해 수십억 개의 매개변수와 엄청난 컴퓨팅 자원이 필요하지만, LNN은 수십 개에서 수백 개의 뉴런만으로도 특정 순차 작업에서 대등하거나 더 뛰어난 성능을 발휘하는 경우가 많습니다. MIT의 Computer Science and Artificial Intelligence Laboratory (CSAIL)과 같은 기관의 연구에 따르면 이러한 소형 네트워크는 높은 해석 가능성과 효율성을 제공하여 학습 및 배포에 필요한 컴퓨팅 오버헤드를 줄여줍니다.

Link to this sectionLNN과 기존 네트워크의 차이점#

LNN과 표준 RNN은 모두 순차 데이터를 처리하지만, 시간을 다루는 개념은 다릅니다. 표준 RNN과 Long Short-Term Memory (LSTM) 네트워크는 이산적 시간 단계에서 작동하므로 데이터를 프레임 단위 또는 단계별로 처리합니다. 그러나 LNN은 물리적 현상을 모델링하는 미분 방정식과 유사하게 입력을 연속적으로 처리합니다. 이러한 연속 시간 동역학 덕분에 LNN은 고정된 샘플링 속도에 의존하지 않고도 불규칙하게 샘플링된 데이터를 원활하게 처리할 수 있습니다. 또한 기존 모델은 학습 후 학습된 매개변수를 고정하는 반면, LNN의 은닉 상태는 동적으로 적응하여 실시간 추론 중에 모델이 새롭고 보지 못한 anomalies에 대응할 수 있도록 합니다.

Link to this sectionLNN의 실제 적용 사례#

LNN은 탄력성, 해석 가능성, 적은 매개변수 수 덕분에 지속적인 데이터 스트림과 환경 변화가 수반되는 애플리케이션에 주로 사용됩니다. 두 가지 주목할 만한 예는 다음과 같습니다.

• Autonomous Vehicles 및 드론: LNN은 예측 불가능한 환경에서 자율 주행 드론을 제어하는 데 놀라운 성공을 거두었습니다. 연속적인 감각 피드백을 기반으로 의사 결정 과정을 조정하는 능력 덕분에 드론은 정적으로 학습된 모델보다 변화하는 바람 조건이나 동적 장애물을 훨씬 더 잘 탐색할 수 있습니다. 또한 낮은 컴퓨팅 발자국 덕분에 전력이 제한된 edge AI devices에서 드론 데이터를 직접 처리하는 데 이상적입니다.
• 의료 시계열 분석: healthcare diagnostics 분야에서 LNN은 ECG 또는 EEG 판독값과 같은 환자의 활력 징후를 지속적으로 모니터링하는 데 사용됩니다. 의료 데이터는 불규칙하게 샘플링되는 경우가 많으므로 LNN의 연속 시간 특성은 실시간으로 부정맥이나 발작과 같은 질환에 대한 predictive modeling을 제공하여 환자 상태의 급격한 변화를 감지하는 데 매우 유용합니다.

Link to this section생태계 속의 LNN#

LNN은 시간적, 순차적 의사 결정에 특화되어 있지만, 포괄적인 인식-행동 시스템을 위해 공간적 computer vision 모델과 효과적으로 결합할 수 있습니다. 예를 들어, Ultralytics YOLO26을 사용하여 실시간 object detection을 위해 비디오 프레임을 처리하고, 바운딩 박스 좌표와 분류 데이터를 하위 Liquid Neural Network에 입력할 수 있습니다. 그러면 LNN은 시간에 따른 이러한 연속 좌표 스트림을 해석하여 AI agent's 탐색 또는 로봇 제어 메커니즘을 구동하게 됩니다.

효율적이고 실시간으로 작동하는 AI 파이프라인 구축을 탐색하려면 Ultralytics Platform을 사용하여 비전 모델을 학습하고 배포하는 것부터 시작할 수 있으며, 이를 통해 모델을 경량화하고 엣지 배포에 적합하게 만들 수 있습니다.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 nano model for spatial perception
model = YOLO("yolo26n.pt")

# Perform inference on a video stream to feed data to a sequential model
results = model.predict(source="path/to/video.mp4", stream=True)

for result in results:
    # Extract object coordinates to be passed to an LNN for temporal processing
    boxes = result.boxes.xyxy
    # (Here, 'boxes' would stream into your Liquid Neural Network for control logic)

Liquid AI와 같은 그룹이 주도하는 LNN에 대한 지속적인 연구는 복잡하고 역동적인 현실 세계에 배포되었을 때 Artificial Intelligence (AI) 시스템이 얼마나 적응력 있고 효율적이며 해석 가능할 수 있는지 그 한계를 계속 넓혀가고 있습니다.