QLoRA

QLoRA (Quantized Low-Rank Adaptation) là một kỹ thuật tối ưu hóa tiên tiến được sử dụng trong deep learning, được thiết kế để giúp việc fine-tuning các large language models (LLMs) khổng lồ trở nên hiệu quả cao. Được giới thiệu lần đầu trong một bài báo nghiên cứu được trích dẫn rộng rãi trên arXiv, QLoRA giảm đáng kể yêu cầu bộ nhớ GPU cần thiết để cập nhật các model chứa hàng tỷ tham số.

Bằng cách tận dụng model quantization mạnh mẽ xuống độ chính xác 4-bit, các nhà phát triển hiện có thể tối ưu hóa các model nền tảng mạnh mẽ vốn được tạo ra bởi các tổ chức như OpenAI hoặc Anthropic bằng cách sử dụng các consumer-grade GPUs tiêu chuẩn. Đột phá này giúp phổ cập quyền truy cập vào generative AI hiện đại mà không cần đến các cụm máy chủ cấp doanh nghiệp đắt tiền.

Link to this sectionQLoRA hoạt động như thế nào#

Đổi mới cốt lõi của QLoRA nằm ở các kỹ thuật tiết kiệm bộ nhớ, chủ yếu được xây dựng trên các khái niệm nền tảng trong phương pháp lượng tử hóa PyTorch. Nó giới thiệu một loại dữ liệu mới gọi là 4-bit NormalFloat (NF4), được tối ưu hóa về mặt toán học để xử lý các trọng số model phân phối chuẩn mà không làm suy giảm đáng kể khả năng dự đoán của mạng lưới.

Ngoài ra, QLoRA còn áp dụng một chiến lược được gọi là Double Quantization, một kỹ thuật được công nhận trong nghiên cứu machine learning rộng hơn, giúp lượng tử hóa chính các hằng số lượng tử hóa, từ đó cắt giảm hơn nữa việc sử dụng bộ nhớ không cần thiết. Trong khi base model được huấn luyện trước khổng lồ vẫn được giữ cố định ở trạng thái nén 4-bit, các bộ điều hợp (adapter) nhỏ có thể huấn luyện được chèn vào các lớp mạng lưới. Khi backpropagation xảy ra trong quá trình neural network training, các gradient được truyền qua các trọng số 4-bit cố định để chỉ cập nhật những bộ điều hợp nhỏ, hiệu quả cao này.

Link to this sectionQLoRA so với LoRA: Hiểu về những khác biệt#

Khi tìm hiểu về parameter-efficient fine-tuning (PEFT), người dùng thường tự hỏi QLoRA khác biệt như thế nào so với LoRA (Low-Rank Adaptation) truyền thống. LoRA tiêu chuẩn đóng băng các trọng số model gốc và huấn luyện các ma trận rank thấp để thích ứng model với dữ liệu mới. Tuy nhiên, nó thường giữ lại base model ở độ chính xác 16-bit hoặc 32-bit. QLoRA tiến thêm một bước quan trọng bằng cách nén base model xuống độ chính xác 4-bit trước khi áp dụng các bộ điều hợp LoRA. Điều này thu nhỏ đáng kể dung lượng bộ nhớ, cho phép một model 65 tỷ tham số vừa vặn trên một GPU 48GB duy nhất—một kỳ tích không thể đạt được về mặt toán học với LoRA tiêu chuẩn.

Link to this sectionCác ứng dụng trong thực tế#

• Enterprise Chatbots and Assistants: Các công ty thường xuyên sử dụng QLoRA để fine-tune các model mã nguồn mở như Meta's Llama 3 trên dữ liệu kinh doanh độc quyền. Điều này cho phép các tổ chức xây dựng các AI assistant chuyên biệt, có độ chính xác cao, vận hành trên cơ sở hạ tầng cloud computing bảo mật, cục bộ mà không tốn chi phí phần cứng đắt đỏ.
• Edge AI Deployments: Khi các model dựa trên văn bản mở rộng sang các lĩnh vực hình ảnh thông qua vision-language models (VLMs), QLoRA cho phép các nhà phát triển tùy chỉnh các kiến trúc đa phương thức khổng lồ cho các môi trường hạn chế về phần cứng. Những tối ưu hóa gọn nhẹ này được các nhóm nghiên cứu tại Google AI sử dụng rộng rãi để mang lại khả năng suy luận tiên tiến cho điện thoại di động và cảm biến từ xa.

Link to this sectionHuấn luyện hiệu quả trong Computer Vision#

Triết lý cơ bản của QLoRA—tối đa hóa độ chính xác toán học trong khi tối thiểu hóa yêu cầu phần cứng—được chia sẻ trên các quy trình làm việc computer vision (CV) hiện đại. Ví dụ, Ultralytics YOLO26 được thiết kế nguyên bản để học tập hiệu quả và triển khai tức thì trên các thiết bị edge năng lượng thấp. Các nhà phát triển làm việc với các tập dữ liệu hình ảnh phức tạp có thể tận dụng Ultralytics Platform để cloud training liền mạch, vốn xử lý việc tối ưu hóa bộ nhớ và kích thước batch một cách tự nhiên.

Dưới đây là một ví dụ thực tế về cách bạn có thể huấn luyện một vision model hiệu quả bằng cách sử dụng Automatic Mixed Precision (AMP), một khái niệm liên quan chặt chẽ đến các mục tiêu tiết kiệm bộ nhớ của QLoRA:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

Bằng cách dựa vào khả năng xử lý dữ liệu mạnh mẽ và các thuật toán tự động điều chỉnh gradient, các model được huấn luyện nhanh hơn và dễ dàng vừa vặn trên các GPU tiêu chuẩn, đẩy nhanh lộ trình triển khai các computer vision model thành công trong môi trường sản xuất doanh nghiệp.