Deep Learning (DL)

Học sâu (DL) là một nhánh của học máy (ML), trong đó mạng neural có nhiều layer xếp chồng được huấn luyện để học trực tiếp từ dữ liệu thô như pixel, dạng sóng âm thanh và văn bản. "Sâu" chỉ độ sâu đó: mỗi layer biến đổi đầu ra của layer trước, nhờ vậy mạng tự xây dựng phân cấp đặc trưng, từ cạnh đến kết cấu rồi đến toàn bộ đối tượng trong ảnh, mà không cần kỹ sư thiết kế thủ công các đặc trưng. Học sâu là nền tảng của thị giác máy tính, nhận dạng giọng nói, model ngôn ngữ lớn (LLM) và AI tạo sinh hiện đại.

Deep Learning hoạt động như thế nào#

Mạng neural là một chuỗi các layer. Mỗi layer nhân đầu vào với ma trận trọng số đã học, cộng thêm bias rồi đưa kết quả qua hàm kích hoạt phi tuyến như ReLU. Tính phi tuyến khiến độ sâu trở nên hữu ích: nếu không có nó, mọi chuỗi layer đều có thể rút gọn thành một phép biến đổi tuyến tính duy nhất.

Quá trình huấn luyện điều chỉnh trọng số để đầu ra của mạng khớp với nhãn huấn luyện. Trong mỗi bước, một batch dữ liệu truyền xuôi qua mạng, hàm loss chấm điểm sai số, lan truyền ngược tính mức đóng góp của từng trọng số vào sai số đó, rồi một optimizer như hạ gradient ngẫu nhiên (SGD) hoặc Adam điều chỉnh từng trọng số theo hướng làm giảm sai số. Lặp lại quá trình này qua nhiều epoch biến các trọng số ngẫu nhiên thành những đặc trưng hữu ích. Ví dụ PyTorch bên dưới huấn luyện một layer tuyến tính đơn và một mạng ba layer trên các điểm được gán nhãn theo việc chúng nằm bên trong hay bên ngoài một đường tròn:

import torch
from torch import nn

torch.manual_seed(0)

# Points inside a circle are class 1: no straight line separates the classes
x = torch.rand(1000, 2) * 2 - 1
y = (x.pow(2).sum(dim=1) < 0.5).float().unsqueeze(1)

# A single linear layer versus stacked layers with nonlinear activations
models = {
    "linear": nn.Linear(2, 1),
    "deep": nn.Sequential(nn.Linear(2, 16), nn.ReLU(), nn.Linear(16, 16), nn.ReLU(), nn.Linear(16, 1)),
}
for name, model in models.items():
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    for step in range(500):
        loss = nn.functional.binary_cross_entropy_with_logits(model(x), y)
        optimizer.zero_grad()
        loss.backward()  # backpropagation computes gradients for every layer
        optimizer.step()
    accuracy = ((model(x) > 0) == y).float().mean()
    print(f"{name}: {accuracy:.1%} accuracy")

Model tuyến tính đạt 60.8%, xấp xỉ tỷ lệ điểm nằm ngoài đường tròn, vì một đường biên thẳng không thể bao quanh một vùng. Model sâu đạt 99.9%: các layer ẩn của model làm cong đường biên quyết định thành một đường cong được học từ dữ liệu. Ultralytics YOLO26 được huấn luyện bằng cùng vòng lặp ở quy mô lớn hơn nhiều, còn model.train() thực hiện các lượt truyền xuôi, tính loss và lan truyền ngược trên ảnh đã gán nhãn bằng GPU khi có sẵn.

Học sâu và học máy#

Học sâu là một tập con của học máy; điểm khác biệt chính giữa hai lĩnh vực là nguồn gốc của đặc trưng. Các thuật toán cổ điển như cây quyết định, máy vector hỗ trợ và cây tăng cường gradient học từ các đặc trưng do con người xác định, chẳng hạn giá trị giao dịch hoặc số lần một từ xuất hiện. Mạng sâu tự học các đặc trưng, nhờ vậy chiếm ưu thế với dữ liệu phi cấu trúc như ảnh, âm thanh và văn bản. Năng lực này đòi hỏi nhiều tài nguyên hơn: model sâu thường cần nhiều dữ liệu đã gán nhãn hơn đáng kể, được huấn luyện trên GPU hoặc bộ tăng tốc khác, đồng thời giải thích quá trình suy luận kém rõ ràng hơn. Với dữ liệu dạng bảng, cây tăng cường gradient như XGBoost vẫn là đối thủ mạnh; transfer learning thu hẹp khoảng cách về dữ liệu cho model sâu bằng cách khởi đầu từ mạng đã được huấn luyện trước trên dataset lớn.

Các kiến trúc chính#

• Mạng neural tích chập (CNN): Trượt các bộ lọc nhỏ đã học qua ảnh để nhận dạng cùng một mẫu ở mọi vị trí trong khung hình. CNN là nền tảng của phát hiện đối tượng và phân đoạn ảnh thời gian thực.
• Mạng neural hồi tiếp (RNN): Xử lý từng bước một trong chuỗi đồng thời duy trì trạng thái ẩn. Các biến thể như LSTM từng chiếm ưu thế trong nhận dạng giọng nói và dịch máy trước khi Transformer xuất hiện.
• Transformer: Dùng self-attention để liên kết mọi phần tử trong một chuỗi với tất cả phần tử khác một cách song song. Được giới thiệu vào năm 2017, Transformer là nền tảng của LLM và Vision Transformer (ViT).
• Model khuếch tán: Học cách loại bỏ nhiễu từng bước, nhờ đó có thể tạo ảnh, video và âm thanh từ nhiễu ngẫu nhiên.

Lược sử#

Những ý tưởng nền tảng của deep learning đã có từ nhiều thập kỷ trước. Lan truyền ngược trở nên phổ biến nhờ bài báo năm 1986 của David Rumelhart, Geoffrey Hinton và Ronald Williams, nhưng các mạng vẫn còn nông cho đến khi ba yếu tố xuất hiện cùng lúc: các tập dữ liệu lớn có nhãn như ImageNet, GPU đủ nhanh để huấn luyện trên chúng và các kỹ thuật như hàm kích hoạt ReLU và dropout. Năm 2012, AlexNet giảm tỷ lệ lỗi top-5 trên ImageNet xuống còn 15.3%, so với 26.2% của mô hình đứng thứ hai, và gần như chỉ sau một đêm, lĩnh vực này chuyển sang các mạng sâu. Hinton, Yann LeCun và Yoshua Bengio nhận Giải thưởng Turing năm 2018 cho công trình này; Giải Nobel Vật lý năm 2024 được trao cho Hinton và John Hopfield vì những khám phá tạo điều kiện cho machine learning bằng mạng nơ-ron nhân tạo. Độ sâu của mạng tiếp tục tăng: kết nối phần dư giúp ResNet huấn luyện các mạng 152 lớp, và một tổ hợp các mạng này đã giành chiến thắng trong thử thách phân loại ImageNet năm 2015 với tỷ lệ lỗi top-5 là 3.57%.