Neural Network (NN)

Mạng nơ-ron (NN), còn gọi là mạng nơ-ron nhân tạo (ANN), là model học máy (ML) gồm các layer của những đơn vị đơn giản được kết nối với nhau, gọi là neuron. Mỗi neuron nhân đầu vào với trọng số, cộng thêm bias rồi đưa tổng qua một hàm kích hoạt phi tuyến. Mạng học bằng cách điều chỉnh các trọng số và bias đó cho đến khi đầu ra khớp với các ví dụ trong dữ liệu huấn luyện, nhờ vậy hành vi của mạng được học từ dữ liệu. Thiết kế này lấy cảm hứng khái quát từ neuron sinh học, nhưng mạng hiện đại được hiểu chính xác hơn là các hàm toán học lớn có thể huấn luyện. Mạng có nhiều layer là đối tượng nghiên cứu của học sâu (DL), đồng thời cung cấp nền tảng cho thị giác máy tính, nhận dạng tiếng nói và mô hình ngôn ngữ lớn (LLM).

Cách mạng nơ-ron tính toán#

Neuron được tổ chức thành các layer. Layer đầu vào nhận dữ liệu, chẳng hạn giá trị pixel hoặc số đo cảm biến; một hay nhiều layer ẩn biến đổi dữ liệu; layer đầu ra tạo dự đoán, chẳng hạn điểm số lớp hoặc một giá trị dự đoán. Trong layer kết nối đầy đủ, mỗi neuron nhận mọi đầu ra của layer trước, vì vậy toàn bộ layer tương đương phép nhân ma trận theo sau bởi activation trên từng phần tử. Đưa dữ liệu lần lượt qua tất cả layer được gọi là lượt lan truyền xuôi. Activation giúp độ sâu trở nên hữu ích: nếu không có activation, các layer xếp chồng sẽ gộp thành một hàm tuyến tính. Khi có activation, mạng chỉ cần một layer ẩn đủ rộng đã có thể xấp xỉ mọi hàm liên tục với độ chính xác tùy ý — kết quả được gọi là định lý xấp xỉ phổ quát.

Đoạn mã PyTorch dưới đây tự tính một neuron rồi tính đồng thời toàn bộ layer gồm bốn neuron:

import torch
from torch import nn

torch.manual_seed(1)
x = torch.tensor([0.5, -1.0, 2.0])  # one example with three input features

# A layer of four neurons: each has three weights and one bias
layer = nn.Linear(in_features=3, out_features=4)

# Neuron 0 by hand: weighted sum of inputs plus bias, then a ReLU activation
z = (layer.weight[0] * x).sum() + layer.bias[0]
print(f"Neuron 0 by hand: {torch.relu(z).item():.4f}")

# The layer computes all four neurons at once as one matrix multiplication
outputs = torch.relu(layer(x))
print(f"All four neurons: {[round(v, 4) for v in outputs.tolist()]}")

Đoạn mã in ra Neuron 0 by hand: 0.3906 và All four neurons: [0.3906, 1.1465, 0.0, 0.0]. Phép tính thủ công khớp với neuron đầu tiên của layer; activation ReLU đặt hai neuron có tổng trọng số âm về 0. Layer lưu 16 giá trị có thể học — 12 trọng số và 4 bias — còn mạng thực tế xếp chồng các layer như vậy thành hàng triệu hoặc hàng tỷ tham số.

Mạng nơ-ron học như thế nào#

Quá trình huấn luyện bắt đầu từ các trọng số ngẫu nhiên và lặp lại một vòng lặp đơn giản. Một batch gồm các mẫu đã gán nhãn truyền xuôi qua mạng; hàm loss đo mức chênh lệch giữa dự đoán và nhãn; lan truyền ngược áp dụng quy tắc dây chuyền để tính mức độ đóng góp của từng trọng số vào lỗi đó; rồi optimizer như stochastic gradient descent (SGD) hoặc Adam điều chỉnh nhẹ từng trọng số theo hướng làm giảm loss. Một lượt duyệt toàn bộ tập huấn luyện là một epoch; quá trình huấn luyện thường dừng khi loss trên dữ liệu validation được giữ riêng không còn cải thiện, vì nếu tiếp tục khớp quá sát tập huấn luyện, mạng sẽ bắt đầu overfitting.

Huấn luyện từ đầu thường đòi hỏi dataset gán nhãn lớn, còn học chuyển giao giảm yêu cầu này bằng cách bắt đầu từ các trọng số đã pretrained trên dataset lớn. Hàng triệu trọng số đã học của mạng cũng khó diễn giải, thúc đẩy nghiên cứu về AI có thể giải thích (XAI).

Các loại mạng nơ-ron chính#

Cách kết nối neuron, gọi là kiến trúc, quyết định loại dữ liệu mà mạng xử lý hiệu quả:

• Mạng truyền thẳng: Các lớp kết nối đầy đủ truyền dữ liệu theo một hướng, còn được gọi là perceptron đa lớp (MLPs). Chúng phù hợp với dữ liệu dạng bảng và xuất hiện như các khối cấu thành bên trong những model lớn hơn.
• Mạng nơ-ron tích chập (CNNs): Trượt các bộ lọc nhỏ dùng chung trên ảnh bằng phép tích chập, đây là thiết kế tiêu chuẩn cho thị giác máy tính. Kết nối dư cho phép chúng mở rộng lên hàng trăm lớp.
• Mạng nơ-ron hồi quy (RNNs): Xử lý tuần tự từng bước đồng thời duy trì trạng thái ẩn, với các phiên bản có cổng như LSTM và GRU để ghi nhớ lâu hơn.
• Transformer: Dùng self-attention để liên hệ song song từng phần tử trong một chuỗi với mọi phần tử khác. Chúng là nền tảng của LLM và vision transformer.
• Mạng nơ-ron dạng xung (SNNs): Giao tiếp bằng các xung rời rạc theo thời gian, gần với neuron sinh học hơn, và chạy hiệu quả trên chip neuromorphic.

Hầu hết các model hiện nay kết hợp những thiết kế này. YOLO26 là một mạng tích chập có các khối self-attention trên các bản đồ đặc trưng có độ phân giải thấp nhất, và model phát hiện nano của YOLO26 sử dụng khoảng 2,4 triệu tham số để định vị và phân loại đối tượng trong ảnh 640×640 chỉ bằng một lượt truyền xuôi.

Mạng nơ-ron và các thuật ngữ liên quan#

• Deep learning: Mạng nơ-ron có một hoặc hai lớp ẩn là mạng nông; deep learning là phương pháp huấn luyện mạng có nhiều lớp, để mạng tự học hệ phân cấp đặc trưng từ dữ liệu thô. Mọi model deep learning đều là mạng nơ-ron.
• Machine learning: Mạng nơ-ron là một nhóm model machine learning, bên cạnh cây quyết định, máy vector hỗ trợ và cây tăng cường gradient, những phương pháp vẫn có tính cạnh tranh cao trên dữ liệu dạng bảng.
• Mạng nơ-ron sinh học: Neuron thực giao tiếp bằng các xung điện được định thời và thích nghi thông qua các quá trình hóa học mà neuron nhân tạo không mô phỏng. Mạng nơ-ron dạng xung tái tạo hành vi đó nhiều hơn so với mạng tiêu chuẩn.

Lược sử#

Warren McCulloch và Walter Pitts mô tả một model toán học của neuron vào năm 1943: một đơn vị phát xung khi tổng các đầu vào nhị phân vượt ngưỡng. Perceptron của Frank Rosenblatt năm 1958 học trọng số của những đơn vị này từ các ví dụ, nhưng đến năm 1969, Marvin Minsky và Seymour Papert chỉ ra rằng perceptron một lớp thậm chí không thể tính hàm XOR, khiến sự quan tâm suy giảm. Mạng đa lớp giải được XOR; năm 1986, David Rumelhart, Geoffrey Hinton và Ronald Williams cho thấy backpropagation huấn luyện các lớp ẩn để học những biểu diễn nội tại hữu ích. Mạng sâu chiếm lĩnh thị giác máy tính vào năm 2012, khi AlexNet, được huấn luyện trên hai GPU, chiến thắng thử thách ImageNet với tỷ lệ lỗi top-5 là 15,3%, so với 26,2% của bài dự thi tốt thứ hai.