Deformable Attention

Deformable Attention là một cơ chế chú ý tiên tiến được thiết kế để tối ưu hóa cách các mạng thần kinh xử lý dữ liệu không gian, đặc biệt là trong các tác vụ thị giác máy tính (CV). Các mô-đun chú ý truyền thống đánh giá tương tác giữa tất cả các điểm có thể có trong một hình ảnh, dẫn đến chi phí tính toán khổng lồ khi xử lý các đầu vào có độ phân giải cao. Deformable Attention giải quyết vấn đề này bằng cách chỉ tập trung vào một tập hợp nhỏ, linh hoạt các điểm lấy mẫu chính xung quanh một pixel tham chiếu. Bằng cách cho phép mạng học chính xác nơi cần nhìn thay vì quét toàn bộ lưới, nó giúp giảm đáng kể mức sử dụng bộ nhớ và tăng tốc quá trình đào tạo trong khi vẫn duy trì các khả năng deep learning mạnh mẽ.

Link to this sectionPhân biệt các phương thức Attention#

Việc hiểu cách kỹ thuật này phù hợp với các kiến trúc hiện đại đòi hỏi phải phân biệt nó với các khái niệm liên quan. Trong khi cơ chế chú ý tiêu chuẩn tính toán một bản đồ dày đặc, toàn cầu của tất cả các pixel, Deformable Attention dựa vào cơ chế chú ý thưa để lấy mẫu có chọn lọc các vùng quan tâm. Hơn nữa, nó khác với Flash Attention. Flash Attention là một tối ưu hóa cấp phần cứng giúp tăng tốc cơ chế chú ý chính xác tiêu chuẩn bằng cách giảm thiểu việc đọc/ghi bộ nhớ GPU. Ngược lại, Deformable Attention thay đổi cơ bản phép toán bằng cách thay đổi các đặc trưng thị giác mà mô hình tập trung vào.

Các khái niệm này đang được khám phá tích cực trong các nghiên cứu tiên tiến của Google DeepMind và các phát triển về thị giác của OpenAI, cũng như được triển khai nguyên bản trong hệ sinh thái PyTorch và các kiến trúc TensorFlow. Tuy nhiên, các mô hình thuần túy dựa trên cơ chế chú ý đôi khi có thể gặp khó khăn về độ phức tạp khi triển khai. Đối với các dự án yêu cầu suy luận tốc độ cao mà không phải chịu gánh nặng từ các lớp Transformer phức tạp, Ultralytics YOLO26 vẫn là tiêu chuẩn được khuyến nghị cho phát hiện đối tượng ưu tiên biên (edge-first).

Link to this sectionCác ứng dụng trong thực tế#

Bản chất thưa thớt và hiệu quả của khái niệm này đã tạo ra những đột phá đáng kể trong các ngành công nghiệp đòi hỏi phân tích thời gian thực các hình ảnh dày đặc.

• Phương tiện tự hành và hệ thống lái xe: Xe tự lái dựa vào các camera độ nét cao để điều hướng trong môi trường phức tạp. Deformable attention cho phép các hệ thống trên xe nhanh chóng cô lập các đặc trưng quan trọng—như người đi bộ ở xa hoặc biển báo giao thông bị che khuất một phần—mà không lãng phí tài nguyên tính toán để phân tích vùng trời trống rỗng. Thông tin chi tiết về các hệ thống này thường được công bố trên các nghiên cứu về thị giác máy tính của IEEE và thư viện kỹ thuật số ACM.
• Phân tích và chẩn đoán hình ảnh y tế: Các bác sĩ bệnh học sử dụng hình ảnh chẩn đoán độ phân giải cao để phát hiện các bất thường về tế bào. Bằng cách sử dụng lấy mẫu không gian thông minh, các mô hình thị giác có thể xác định các bất thường hiển vi trong các bản quét gigapixel mà không cần giảm độ phân giải hình ảnh và làm mất dữ liệu chẩn đoán quan trọng. Các phương pháp luận dựa trên sự chú ý tương tự thường được phản ánh trong cách tiếp cận về an toàn và độ chính xác AI của Anthropic.
• Hệ thống giám sát thông minh: Các camera an ninh hiện đại xử lý các luồng video nhiều megapixel. Các cơ chế chú ý giúp nhanh chóng cô lập các đối tượng di chuyển hoặc hành lý bị bỏ quên trong các cảnh quay đông người, giảm tỷ lệ dương tính giả trong khi vẫn hoạt động trên các thiết bị biên bị hạn chế.

Link to this sectionVí dụ về mã#

Bạn có thể thử nghiệm một cách liền mạch với các mô hình sử dụng các cơ chế chú ý này, chẳng hạn như RT-DETR (Real-Time DEtection TRansformer), bằng cách sử dụng gói ultralytics. Ví dụ sau đây minh họa cách tải một mô hình và thực hiện suy luận trên một hình ảnh có độ phân giải cao.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which utilizes specialized attention mechanisms
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect and locate objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the bounding box coordinates for the detected objects
for box in results[0].boxes:
    print(f"Object found at coordinates: {box.xyxy[0].tolist()}")

Để hợp lý hóa các quy trình machine learning của bạn, Ultralytics Platform cung cấp các công cụ trực quan cho đào tạo và triển khai dựa trên đám mây. Nó đơn giản hóa toàn bộ đường ống—từ chú thích tập dữ liệu đến xuất các mô hình được tối ưu hóa cao—đảm bảo các nhà phát triển có thể tập trung vào việc xây dựng các giải pháp thay vì quản lý cơ sở hạ tầng phức tạp.