Hopfield Networks

Mạng Hopfield là mạng nơ-ron hồi quy lưu trữ các mẫu và khôi phục chúng từ đầu vào không đầy đủ hoặc bị hỏng. Chúng hoạt động như bộ nhớ liên kết: một phần của mẫu đóng vai trò tín hiệu gợi ý để truy xuất toàn bộ mẫu. Một ký ức được lưu trữ hoạt động như một thung lũng trong cảnh quan năng lượng, và trạng thái thay đổi của mạng sẽ ổn định tại một thung lũng gần đó.

John J. Hopfield giới thiệu mô hình này vào năm 1982 thông qua công trình về tính toán tập thể trong mạng nơ-ron. "Mạng Hopfield," "Hopfield net" và "mô hình Hopfield" là những tên gọi đồng nghĩa phổ biến. Kiến trúc này thuộc họ mạng nơ-ron hồi quy vì các kết nối phản hồi liên tục cập nhật trạng thái bên trong của mạng.

Cách mạng Hopfield lưu trữ và truy xuất mẫu#

Mạng Hopfield cổ điển gồm các nơ-ron liên kết với nhau, có trạng thái thường được biểu diễn bằng −1 hoặc +1. Trọng số mô hình có tính đối xứng: kết nối từ nơ-ron A đến nơ-ron B bằng kết nối từ B đến A. Cấu hình tiêu chuẩn đặt các kết nối tự thân bằng 0. Học Hebb lưu trữ các mẫu bằng cách tăng cường kết nối giữa những nơ-ron có trạng thái tương đồng trong các ví dụ được lưu trữ. Về mặt tính toán, phương pháp này cộng tích ngoài của từng mẫu—một ma trận gồm các tích từng cặp—vào ma trận trọng số.

Trong quá trình truy xuất, mỗi nơ-ron tính tổng các đầu vào có trọng số rồi áp dụng một hàm kích hoạt có ngưỡng. Cập nhật bất đồng bộ thay đổi trạng thái từng nơ-ron một. Với trọng số đối xứng, kết nối tự thân bằng 0 và trạng thái không đổi khi giá trị đầu vào đúng bằng ngưỡng, mỗi lần thay đổi trạng thái đều làm giảm hàm năng lượng cho đến khi mạng đạt cấu hình ổn định. Cấu hình này là một điểm hút; các trạng thái khởi đầu hội tụ về điểm đó tạo thành miền hút của nó. Việc cập nhật đồng thời tất cả nơ-ron có thể gây ra dao động giữa các cấu hình.

Lưu trữ và truy xuất là hai thao tác riêng biệt. Lưu trữ thay đổi các kết nối; truy xuất thay đổi trạng thái nơ-ron trong khi giữ nguyên các kết nối đó. Vì vậy, truy xuất là một dạng tối ưu hóa trạng thái, chứ không phải một vòng lan truyền ngược khác.

Khôi phục mẫu bằng Python#

Ví dụ PyTorch sau đây lưu trữ một mẫu nhị phân bằng quy tắc Hebb, đảo hai phần tử rồi truy xuất ký ức thông qua các lần cập nhật bất đồng bộ.

import torch

memory = torch.tensor([1.0, -1.0, 1.0, -1.0, 1.0, -1.0, 1.0, -1.0])
weights = torch.outer(memory, memory) / memory.numel()
weights.fill_diagonal_(0)

state = memory.clone()
state[[1, 6]] *= -1
initial_errors = int((state != memory).sum())

while True:
    previous = state.clone()
    for i in range(state.numel()):
        field = weights[i] @ state
        # Preserve the current state when the weighted input is zero.
        if field != 0:
            state[i] = field.sign()
    if torch.equal(state, previous):
        break

print(f"Bit errors: {initial_errors} -> {int((state != memory).sum())}")

Đầu ra là Bit errors: 2 -> 0: các lần cập nhật hồi quy tái tạo mẫu đã lưu từ tín hiệu gợi ý bị hỏng bằng động lực học bộ nhớ liên kết tiêu chuẩn.

Mạng liên tục, attention và ứng dụng#

Mạng Hopfield liên tục sử dụng đầu ra nơ-ron có mức độ, chẳng hạn như sigmoid, và tiến hóa đến trạng thái cân bằng. Hopfield thiết lập công thức này vào năm 1984. Mạng Hopfield hiện đại mở rộng bộ nhớ liên kết bằng các hàm năng lượng khác nhau và dung lượng lưu trữ cao hơn; các biến thể có trạng thái liên tục hoạt động trên vector giá trị thực.

Năm 2020, Hubert Ramsauer và các cộng sự đã kết nối cơ chế truy xuất của Hopfield hiện đại với các cơ chế attention. Một truy vấn được so sánh với các vector đã lưu trữ, softmax chuyển đổi điểm tương đồng thành trọng số, và tổ hợp có trọng số truy xuất thông tin liên quan. Điều này cung cấp cách diễn giải dưới góc độ bộ nhớ liên kết cho phép toán attention được sử dụng trong Transformer.

Đối với các biểu diễn hình ảnh, Ultralytics YOLO26 cung cấp khả năng trích xuất đặc trưng thông qua model.embed(), trả về các embedding hình ảnh. Những vector này cung cấp biểu diễn giá trị thực được sử dụng bởi các lớp bộ nhớ liên kết hiện đại.

Các ứng dụng đã được thiết lập gồm khôi phục mẫu hình ảnh đã lưu trữ, tổng hợp các tập hợp đặc trưng lớn và tối ưu hóa có ràng buộc. Năm 1985, Hopfield và David Tank áp dụng mạng tương tự vào bài toán người bán hàng du lịch, mã hóa chất lượng tuyến đường và các ràng buộc vào cảnh quan năng lượng. Phương pháp tổng hợp Hopfield hiện đại cũng hỗ trợ phân loại hệ miễn dịch, tổng hợp thông tin từ hàng trăm nghìn chuỗi sinh học thông qua học đa thể hiện.

Các khái niệm liên quan và giới hạn lưu trữ#

Autoencoder học ánh xạ bộ mã hóa–giải mã để tái tạo đầu vào; mạng Hopfield cổ điển tái tạo mẫu bằng cách ổn định tại các điểm hút. Ngân hàng bộ nhớ lưu trữ các biểu diễn để truy cập sau này, trong khi động lực học Hopfield xác định cách tín hiệu gợi ý truy xuất trạng thái liên kết.

Mạng cổ điển phát sinh lỗi truy xuất khi các ký ức gây nhiễu lẫn nhau. Các mẫu tương quan tạo ra nhiễu xuyên âm, còn những điểm hút giả có thể trả về các tổ hợp của những ký ức đã lưu trữ. Với các mạng Hebb cổ điển quy mô lớn lưu trữ những mẫu nhị phân ngẫu nhiên, gần như không tương quan, ước tính dung lượng quen thuộc là khoảng 0,14 lần số nơ-ron khi chấp nhận một tỷ lệ nhỏ lỗi truy xuất—tương đương khoảng 140 mẫu với 1.000 nơ-ron.