Liquid Neural Networks (LNNs)

Mạng nơ-ron chất lỏng (LNN) là một họ mạng nơ-ron hồi quy (RNN) thời gian liên tục, trong đó trạng thái của mỗi neuron tuân theo một phương trình vi phân có hằng số thời gian phụ thuộc vào đầu vào hiện tại; do đó, tốc độ phản hồi của neuron thay đổi theo từng thời điểm. Ramin Hasani, Mathias Lechner và các đồng nghiệp tại MIT, IST Austria và TU Wien giới thiệu model cốt lõi, mạng hằng số thời gian chất lỏng (LTC), tại AAAI 2021, dựa trên các model hệ thần kinh của loài giun tròn C. elegans, vốn có 302 neuron. LNN thường nhỏ, chỉ gồm vài chục neuron, và chủ yếu được dùng cho phân tích chuỗi thời gian, cũng như điều khiển phương tiện và drone, nơi kích thước gọn giúp dễ kiểm tra hành vi đã học. Việc huấn luyện cố định trọng số của chúng như ở mọi mạng khác; phần “chất lỏng” nằm ở động lực học, được đầu vào định hình lại ở mỗi bước.

Cách mạng hằng số thời gian chất lỏng hoạt động#

RNN thời gian liên tục mô tả trạng thái ẩn x(t) bằng phương trình vi phân thường, giống như neural ODE, thay vì cập nhật rời rạc. Mạng LTC sử dụng dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A, trong đó I(t) là đầu vào, τ là hằng số thời gian cơ sở của mỗi neuron, A là vector độ chệch được học, còn f là một mạng nơ-ron nhỏ có đầu ra bị chặn, tương tự sigmoid. Vì f xuất hiện trong tốc độ suy giảm, hằng số thời gian hiệu dụng của mỗi neuron là τ_sys = τ / (1 + τ f); giá trị này giảm khi f lớn, khiến neuron phản ứng nhanh, và tiến gần τ khi f gần bằng không. Bài báo chứng minh cả τ_sys lẫn trạng thái đều nằm trong các giới hạn cố định, nhờ đó mạng duy trì ổn định ngay cả khi đầu vào rất lớn.

Quá trình huấn luyện khai triển một bộ giải ODE số và lan truyền ngược qua bộ giải đó. Bộ giải hợp nhất của các tác giả thực hiện một bước bán tường minh, x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)]; đoạn mã PyTorch dưới đây triển khai bước này cho bốn neuron và đưa vào ba đầu vào khác nhau:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Kết quả in ra các hằng số thời gian hiệu dụng [1.02, 0.99, 0.92, 1.1] với đầu vào bằng không, [1.35, 1.5, 1.06, 1.26] với đầu vào (5, −5) và [0.8, 0.74, 0.82, 0.97] với đầu vào (−5, 5). Với cùng trọng số, hằng số thời gian của neuron thứ hai dao động từ 0.74 đến 1.5, tức gấp đôi, chỉ tùy thuộc vào những gì mạng tiếp nhận. Vì trạng thái tiến hóa theo thời gian liên tục, Δt cũng có thể được đặt theo khoảng cách thực tế giữa các mẫu, giúp LNN đọc dữ liệu lấy mẫu không đều như hồ sơ y tế hoặc cảm biến hướng sự kiện mà không cần lấy mẫu lại theo tần suất cố định.

Neural Circuit Policy và mạng CfC#

Hai công trình liên quan của cùng nhóm đã đưa neuron LTC vào lĩnh vực điều khiển và loại bỏ chi phí của bộ giải ODE:

• Neural circuit policy (NCP): Trong Nature Machine Intelligence năm 2020, Lechner, Hasani và các đồng nghiệp kết nối neuron LTC thành một mạch phân lớp thưa, mô phỏng theo C. elegans, gồm neuron cảm giác, trung gian, điều khiển và vận động. Phía sau một bộ trích xuất đặc trưng tích chập, một policy gồm 19 neuron điều khiển và 253 khớp thần kinh đã học cách lái xe giữ đúng làn đường từ ảnh camera; bài báo cho biết policy tổng quát hóa tốt và chống chịu nhiễu tốt hơn các bộ điều khiển hộp đen lớn hơn nhiều bậc độ lớn.
• Mạng thời gian liên tục dạng đóng (CfC): Hasani và các đồng nghiệp chứng minh năm 2022 rằng xấp xỉ dạng đóng của nghiệm LTC loại bỏ bộ giải số, giúp huấn luyện và suy luận nhanh hơn từ một đến năm bậc độ lớn so với các phương pháp tương ứng dựa trên ODE, đồng thời vẫn giữ hành vi thời gian liên tục.

Thư viện ncps của các tác giả triển khai các cell LTC và CfC cùng cấu trúc kết nối NCP cho PyTorch và Keras.

Ứng dụng#

• Điều hướng drone: Trong một nghiên cứu trên Science Robotics năm 2023, drone được điều khiển bằng mạng chất lỏng đã học cách bay đến mục tiêu từ các bản ghi thao tác do con người điều khiển trong một khu rừng mùa hè; sau đó, drone hoàn thành tác vụ trong khu rừng mùa đông, môi trường đô thị và điều kiện có thêm nhiễu, xoay và che khuất, vượt qua nhiều phương án hiện đại nhất.
• Chuỗi thời gian y tế và cảm biến: Model thời gian liên tục phù hợp với các luồng dữ liệu không đều như số đo chăm sóc tích cực, trong đó kết quả được ghi nhận mỗi khi thực hiện xét nghiệm.
• Pipeline từ nhận thức đến điều khiển: Bộ điều khiển chất lỏng cần các đặc trưng gọn cho từng khung hình; YOLO26 có thể cung cấp các đặc trưng đó: chế độ predict với stream=True tạo ra từng kết quả cho mỗi khung hình video dưới dạng generator, nhờ vậy tọa độ bounding box hoặc keypoint pose được chuyển đến bộ điều khiển khi xử lý từng khung hình.

LNN và các model liên quan#

• LSTM và GRU: Các cell thời gian rời rạc, cập nhật một lần cho mỗi bước đầu vào và không xét khoảng thời gian giữa các bước. Neuron LTC tiến hóa liên tục, còn bộ điều khiển được xây dựng từ các neuron này thường dùng ít neuron hơn nhiều.
• Neural ODE: Mạng LTC là neural ODE có dạng bị chặn cụ thể, đảm bảo động lực học ổn định.
• Mạng nơ-ron xung: Cũng lấy cảm hứng từ não bộ, nhưng neuron giao tiếp bằng các xung rời rạc. Neuron LTC có trạng thái liên tục, được mô phỏng theo các neuron không phát xung của C. elegans.
• Model không gian trạng thái: Cũng là phép hồi quy thời gian liên tục, được rời rạc hóa để tính toán. Mamba tính bước thời gian từ từng đầu vào, nhờ đó mỗi kênh có hằng số thời gian phụ thuộc vào đầu vào; nhóm của Hasani đã kết hợp model không gian trạng thái S4 với động lực học LTC trong Liquid-S4 tại ICLR 2023.
• Model Liquid AI: Hasani, Lechner, Alexander Amini và Daniela Rus thành lập Liquid AI năm 2023 dưới dạng công ty spin-off từ MIT CSAIL. Các model ngôn ngữ LFM2 của công ty, ra mắt tháng 7 năm 2025, kết hợp tích chập ngắn có cổng với một số ít layer attention truy vấn theo nhóm; đây là kiến trúc tách biệt với mạng LTC dù cùng có tên “liquid”.