QLoRA

QLoRA (Điều chỉnh hạng thấp được lượng tử hóa) là một kỹ thuật tối ưu hóa nâng cao được sử dụng trong học sâu, nhằm giúp quá trình tinh chỉnh các mô hình ngôn ngữ lớn (LLMs) trở nên hiệu quả cao. Được giới thiệu lần đầu trong một bài nghiên cứu trên arXiv được trích dẫn rộng rãi, QLoRA giảm đáng kể yêu cầu về bộ nhớ GPU cần thiết để cập nhật các model chứa hàng tỷ tham số.

Bằng cách tận dụng lượng tử hóa model mạnh xuống độ chính xác 4-bit, các developer giờ đây có thể tối ưu hóa những foundation model mạnh vốn được tạo ra bởi các tổ chức như OpenAI hoặc Anthropic bằng GPU cấp độ người dùng phổ thông. Đột phá này dân chủ hóa quyền truy cập vào AI tạo sinh tiên tiến nhất mà không đòi hỏi các cụm server cấp doanh nghiệp đắt đỏ.

Cách QLoRA hoạt động#

Đổi mới cốt lõi của QLoRA nằm ở các kỹ thuật tiết kiệm bộ nhớ, chủ yếu được xây dựng trên những khái niệm nền tảng trong các phương pháp lượng tử hóa của PyTorch. Kỹ thuật này giới thiệu một kiểu dữ liệu mới gọi là Số thực chuẩn 4-bit (NF4), được tối ưu hóa về mặt toán học để xử lý các trọng số model phân phối chuẩn mà không làm suy giảm đáng kể khả năng dự đoán của mạng.

Ngoài ra, QLoRA sử dụng một chiến lược gọi là Lượng tử hóa kép, một kỹ thuật được công nhận trong nghiên cứu machine learning nói chung, trong đó chính các hằng số lượng tử hóa cũng được lượng tử hóa, tiếp tục loại bỏ phần bộ nhớ sử dụng không cần thiết. Trong khi base model khổng lồ đã được pre-train vẫn bị đóng băng ở trạng thái nén 4-bit, các adapter nhỏ có thể train được sẽ được chèn vào các layer của mạng. Khi lan truyền ngược diễn ra trong quá trình train mạng neural, gradient được truyền qua các trọng số 4-bit bị đóng băng để chỉ cập nhật những adapter nhỏ và có hiệu suất cao này.

QLoRA và LoRA: Tìm hiểu điểm khác biệt#

Khi tìm hiểu về tinh chỉnh hiệu quả tham số (PEFT), người dùng thường thắc mắc QLoRA khác với LoRA (Điều chỉnh hạng thấp) truyền thống như thế nào. LoRA tiêu chuẩn đóng băng các trọng số model gốc và train các ma trận hạng thấp để điều chỉnh model theo dữ liệu mới. Tuy nhiên, phương pháp này thường giữ base model ở độ chính xác 16-bit hoặc 32-bit. QLoRA tiến thêm một bước quan trọng bằng cách nén base model xuống độ chính xác 4-bit trước khi áp dụng các adapter LoRA. Điều này làm giảm mạnh memory footprint, cho phép một model có 65 tỷ tham số chạy vừa trên một GPU 48GB duy nhất—một điều bất khả thi về mặt toán học với LoRA tiêu chuẩn.

Các ứng dụng trong thực tế#

• Chatbot và trợ lý doanh nghiệp: Các công ty thường sử dụng QLoRA để tinh chỉnh các model mã nguồn mở như Llama 3 của Meta trên dữ liệu nghiệp vụ độc quyền. Điều này cho phép các tổ chức xây dựng những trợ lý AI có độ chính xác cao, chuyên biệt theo lĩnh vực, hoạt động trên hạ tầng điện toán đám mây cục bộ và bảo mật mà không phải chịu chi phí phần cứng quá cao.
• Triển khai AI biên: Khi các model dựa trên văn bản mở rộng sang các lĩnh vực hình ảnh thông qua model thị giác-ngôn ngữ (VLMs), QLoRA cho phép developer điều chỉnh các kiến trúc đa phương thức khổng lồ cho những môi trường có giới hạn về phần cứng. Các tối ưu hóa nhẹ này được các nhóm nghiên cứu tại Google AI sử dụng rộng rãi để đưa các khả năng suy luận nâng cao lên điện thoại di động và cảm biến từ xa.

Train hiệu quả trong thị giác máy tính#

Triết lý nền tảng của QLoRA—tối đa hóa độ chính xác toán học đồng thời giảm thiểu yêu cầu phần cứng—được chia sẻ trong các quy trình thị giác máy tính (CV) hiện đại. Chẳng hạn, Ultralytics YOLO26 được thiết kế ngay từ đầu để học hiệu quả và triển khai tức thì trên các thiết bị edge công suất thấp. Developer làm việc với những dataset thị giác phức tạp có thể tận dụng Ultralytics Platform để train trên cloud liền mạch, trong đó việc tối ưu hóa bộ nhớ và xác định kích thước batch được xử lý tự động.

Dưới đây là một ví dụ thực tế về cách bạn có thể train một vision model hiệu quả bằng Mixed Precision Tự động (AMP), một khái niệm có liên quan chặt chẽ đến các mục tiêu tiết kiệm bộ nhớ của QLoRA:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

Bằng cách dựa vào các thuật toán tự động scale gradient và cơ chế xử lý dữ liệu mạnh mẽ, model train nhanh hơn và dễ dàng chạy vừa trên các GPU tiêu chuẩn, đẩy nhanh quá trình triển khai các model thị giác máy tính thành công trong môi trường production doanh nghiệp.