Spiking Neural Network

Spiking Neural Network (SNN) là một phân lớp chuyên biệt của artificial neural networks được thiết kế để mô phỏng hành vi sinh học của não bộ sát hơn so với các mô hình deep learning tiêu chuẩn. Trong khi các mạng truyền thống xử lý thông tin liên tục bằng số dấu phẩy động, SNN hoạt động bằng cách sử dụng các sự kiện rời rạc gọi là "spikes" (xung). Các xung này chỉ xảy ra khi điện áp bên trong của neuron đạt đến một ngưỡng cụ thể, một cơ chế thường được mô tả là "integrate-and-fire" (tích hợp và kích hoạt). Bản chất hướng sự kiện này cho phép SNN xử lý dữ liệu theo thời gian với hiệu suất năng lượng vượt trội, khiến chúng rất phù hợp cho các ứng dụng tiêu thụ điện năng thấp như edge AI và robot tự hành. Bằng cách tận dụng thời điểm xuất hiện của tín hiệu thay vì chỉ độ lớn của chúng, SNN đưa chiều thời gian vào quy trình học tập, cung cấp một phương án thay thế mạnh mẽ cho các tác vụ liên quan đến dữ liệu cảm biến động trong thế giới thực.

Link to this sectionCảm hứng Sinh học và Cơ chế#

Kiến trúc cốt lõi của một SNN được lấy cảm hứng từ các tương tác synap quan sát thấy trong hệ thần kinh sinh học. Trong một Convolutional Neural Network (CNN) hoặc Recurrent Neural Network (RNN) tiêu chuẩn, các neuron thường hoạt động trong mỗi chu kỳ lan truyền, tiêu tốn tài nguyên tính toán liên tục. Ngược lại, các neuron trong SNN vẫn ở trạng thái nghỉ cho đến khi đủ đầu vào để kích hoạt một xung. Đặc tính này, được gọi là sparsity (độ thưa), giúp giảm đáng kể mức tiêu thụ điện năng vì năng lượng chỉ được sử dụng khi các sự kiện quan trọng xảy ra.

Các khác biệt cơ học chính bao gồm:

• Mã hóa Thông tin: Các mạng tiêu chuẩn sử dụng rate coding (độ lớn của kích hoạt), trong khi SNN thường sử dụng pulse coding hoặc temporal coding, nơi thời điểm chính xác của các xung mang thông tin.
• Quy tắc Học tập: backpropagation truyền thống gặp nhiều thách thức trong SNN do các sự kiện xung không thể vi phân. Thay vào đó, SNN thường sử dụng các quy tắc hợp lý về mặt sinh học như Spike-Timing-Dependent Plasticity (STDP) hoặc các phương pháp surrogate gradient để điều chỉnh trọng số synap.
• Khả năng Tương thích Phần cứng: SNN đặc biệt phù hợp với neuromorphic computing hardware, như Loihi của Intel hoặc TrueNorth của IBM, được thiết kế để xử lý bất đồng bộ, song song, khác biệt so với các GPUs tiêu chuẩn.

Link to this sectionSo sánh với các ANN truyền thống#

Điều quan trọng là phải phân biệt SNN với các Artificial Neural Networks (ANNs) phổ biến hơn được sử dụng trong thị giác máy tính chính thống.

• Artificial Neural Networks (ANNs): Các mô hình này, bao gồm các kiến trúc như ResNet hoặc YOLO26, dựa trên các hàm kích hoạt liên tục như ReLU hoặc Sigmoid. Chúng rất xuất sắc cho nhận diện hình ảnh tĩnh và đạt được độ chính xác hàng đầu trên các bộ benchmark như COCO nhưng có thể kém hiệu quả hơn trong việc xử lý các luồng dữ liệu thưa, theo thời gian.
• Spiking Neural Networks (SNNs): SNN vượt trội trong các tình huống mà độ trễ và hiệu suất năng lượng là tối quan trọng. Chúng xử lý bản chất các động lực theo thời gian, khiến chúng trở nên ưu việt hơn trong việc xử lý đầu vào từ các event-based cameras, vốn ghi lại các thay đổi trong cảnh quay một cách bất đồng bộ thay vì theo khung hình với tốc độ cố định.

Link to this sectionCác ứng dụng trong thực tế#

Các đặc tính độc đáo của SNN đã dẫn đến việc chúng được áp dụng trong các lĩnh vực chuyên biệt nơi các mô hình deep learning truyền thống có thể tiêu tốn quá nhiều năng lượng hoặc phản ứng quá chậm.

1. Thị giác Neuromorphic cho Drone: Các drone tốc độ cao sử dụng SNN kết hợp với camera sự kiện để object detection và tránh va chạm. Vì camera sự kiện chỉ báo cáo những thay đổi về pixel, SNN xử lý dữ liệu thưa trong micro giây, cho phép drone né tránh các chướng ngại vật di chuyển nhanh mà một camera dựa trên khung hình tiêu chuẩn có thể bỏ lỡ do nhòe chuyển động hoặc tốc độ khung hình thấp.

2. Chân tay giả và Xử lý Tín hiệu Sinh học: Trong công nghệ y tế, SNN giải mã các tín hiệu điện cơ (EMG) để điều khiển các chi robot. Khả năng của mạng trong việc xử lý các tín hiệu sinh học nhiễu, biến thiên theo thời gian trong thời gian thực cho phép điều khiển mượt mà và tự nhiên hơn cho các prosthetic devices, thu hẹp khoảng cách giữa các dây thần kinh sinh học và thiết bị truyền động kỹ thuật số.

Link to this sectionTriển khai các Khái niệm Spiking Cơ bản#

Mặc dù các mô hình phát hiện hiện đại như YOLO26 được xây dựng trên kiến trúc CNN hiệu quả, các nhà nghiên cứu thường mô phỏng hành vi spiking bằng cách sử dụng các tensor tiêu chuẩn để hiểu các động lực học. Ví dụ Python sau đây minh họa một mô phỏng neuron "Leaky Integrate-and-Fire" (LIF) đơn giản bằng cách sử dụng PyTorch, cho thấy cách một neuron tích lũy điện áp và thiết lập lại sau khi kích hoạt xung.

import torch


def lif_neuron(inputs, threshold=1.0, decay=0.8):
    """Simulates a Leaky Integrate-and-Fire neuron."""
    potential = 0.0
    spikes = []

    for x in inputs:
        potential = potential * decay + x  # Integrate input with decay
        if potential >= threshold:
            spikes.append(1)  # Fire spike
            potential = 0.0  # Reset potential
        else:
            spikes.append(0)  # No spike

    return torch.tensor(spikes)


# Simulate neuron response to a sequence of inputs
input_stream = [0.5, 0.5, 0.8, 0.2, 0.9]
output_spikes = lif_neuron(input_stream)
print(f"Input: {input_stream}\nSpikes: {output_spikes.tolist()}")

Link to this sectionTriển vọng tương lai#

Lĩnh vực computer vision đang ngày càng khám phá các kiến trúc lai kết hợp độ chính xác của deep learning với hiệu suất của các mạng spiking. Khi các nhà nghiên cứu giải quyết các thách thức trong việc huấn luyện SNN, chúng ta có thể thấy các phiên bản tương lai của các mô hình như YOLO kết hợp các lớp spiking cho việc triển khai edge với công suất cực thấp. Hiện tại, việc huấn luyện và triển khai các mô hình tiêu chuẩn một cách hiệu quả vẫn là trọng tâm chính của hầu hết các nhà phát triển, sử dụng các công cụ như Ultralytics Platform để quản lý tập dữ liệu và tối ưu hóa các mô hình cho các mục tiêu phần cứng đa dạng. Người dùng quan tâm đến khả năng phát hiện hiệu suất cao tức thì nên khám phá YOLO26, cung cấp sự cân bằng giữa tốc độ và độ chính xác cho các ứng dụng thời gian thực.