Task Arithmetic

Task arithmetic là một kỹ thuật machine learning nâng cao, bao gồm việc sửa đổi hành vi của các mạng neural được huấn luyện trước bằng cách cộng hoặc trừ các bản cập nhật trọng số cụ thể. Thay vì huấn luyện lại toàn bộ một model từ đầu, các kỹ sư có thể cô lập sự khác biệt đã học được giữa một base model và một fine-tuned model. Những khác biệt này về cơ bản là các bản cập nhật có định hướng gói gọn một khả năng hoặc hành vi cụ thể. Bằng cách áp dụng các phép toán cơ bản như cộng và trừ vào các bản cập nhật này, các nhà phát triển có thể chỉnh sửa động các hệ thống deep learning. Mô hình này đã thu hút được sự quan tâm đáng kể trong các nghiên cứu arXiv gần đây về task arithmetic, cung cấp một phương pháp nhẹ, hiệu quả về tính toán để thích ứng các model quy mô lớn với các yêu cầu mới.

Khái niệm này hoạt động như thế nào#

Nền tảng của kỹ thuật này dựa trên việc tính toán sự khác biệt về model weights giữa một base pre-trained model và một phiên bản đã trải qua quá trình fine-tuning trên một tập dữ liệu cụ thể. Sự khác biệt được cô lập này trở thành một biểu diễn cục bộ của kỹ năng mới. Bằng cách trực tiếp thao tác với state dictionary trong PyTorch hoặc sử dụng các phương pháp huấn luyện TensorFlow, các kỹ sư có thể mở rộng và kết hợp những khác biệt về trọng số này. Ví dụ, việc trừ đi một bản cập nhật trọng số cụ thể có thể buộc model "quên" một hành vi đã học, một khái niệm được nghiên cứu kỹ lưỡng trong nghiên cứu của Anthropic về độ an toàn của model.

Các ứng dụng trong thực tế#

Task arithmetic mở ra một số workflow cực kỳ hiệu quả trong các pipeline computer vision và xử lý ngôn ngữ tự nhiên hiện đại:

• Hợp nhất khả năng đa tác vụ: Các kỹ sư có thể huấn luyện một base model Ultralytics YOLO26 trên hai tập dữ liệu riêng biệt một cách độc lập—một cho object detection chuyên biệt và một cho image classification. Bằng cách tính toán sự khác biệt về trọng số cho cả hai tác vụ và cộng chúng trở lại base model, mạng kết quả có thể thực hiện cả hai tác vụ đồng thời mà không gặp phải tình trạng quên thảm họa (catastrophic forgetting).
• Unlearning có mục tiêu cho an toàn AI: Nếu một vision model vô tình học các đặc trưng có thiên vị từ dữ liệu huấn luyện của nó, các nhà nghiên cứu có thể fine-tune một bản sao trên dữ liệu có thiên vị đó, trích xuất sự khác biệt trọng số cụ thể và trừ chúng khỏi model ban đầu. Như đã lưu ý trong các khám phá của Google DeepMind, điều này loại bỏ hiệu quả hành vi không mong muốn trong khi vẫn bảo toàn các khả năng trí tuệ nhân tạo chung của model.

Phân biệt các khái niệm liên quan#

Khi duyệt qua kho lưu trữ IEEE Xplore hoặc thư viện số ACM, rất dễ nhầm lẫn task arithmetic với các phương pháp liên quan:

• Task Vectors: Đây là các tensor toán học thực tế (sự khác biệt trọng số được tính toán) được sử dụng trong suốt quá trình tính toán. Task arithmetic là framework tổng thể của việc cộng hoặc trừ các vector này.
• Model Merging: Đây là một thuật ngữ rộng hơn để kết hợp nhiều model. Mặc dù toán học là một cách để hợp nhất các model, việc hợp nhất cũng có thể bao gồm các mạng định tuyến phức tạp hoặc phương pháp ensemble.
• Transfer Learning: Theo các khái niệm transfer learning trên Wikipedia, điều này liên quan đến việc sử dụng kiến thức từ một tác vụ làm điểm khởi đầu cho tác vụ khác, thường đòi hỏi các vòng huấn luyện tiếp theo. Task arithmetic sửa đổi hành vi hoàn toàn thông qua các tính toán trọng số trực tiếp mà không cần thêm các vòng huấn luyện.

Triển khai các phép toán số học#

Việc áp dụng các chiến lược tối ưu hóa model này trong thực tế đòi hỏi phải quản lý cẩn thận trạng thái nội bộ của model. Dưới đây là ví dụ về việc tính toán và áp dụng bản cập nhật bằng PyTorch, một kỹ thuật thường được thảo luận trong các bài báo về computer vision gần đây.

import torch

# Load the state dictionaries of the pre-trained base and fine-tuned models
base_weights = torch.load("yolo26_base.pt")
tuned_weights = torch.load("yolo26_tuned.pt")

# Calculate the task vector and add it back to the base model with a scaling factor
scaling_factor = 0.5
for key in base_weights.keys():
    task_vector = tuned_weights[key] - base_weights[key]
    base_weights[key] += scaling_factor * task_vector

Đối với các team quản lý các pipeline data annotation phức tạp và nhiều phiên bản model được fine-tune, Ultralytics Platform cung cấp một môi trường hợp lý để giám sát quá trình huấn luyện trên cloud và triển khai liền mạch, giúp việc quản lý các cải tiến model lặp đi lặp lại trở nên hiệu quả hơn rất nhiều.