Task Arithmetic

Task arithmetic is an advanced machine learning technique that involves modifying the behavior of pre-trained neural networks by adding or subtracting specific weight updates. Instead of fully retraining a model from scratch, practitioners can isolate the learned differences between a base model and a fine-tuned model. These differences are essentially directional updates that encapsulate a specific capability or behavior. By applying basic mathematical operations like addition and subtraction to these updates, developers can dynamically edit deep learning systems. This paradigm has gained significant traction in recent arXiv research on task arithmetic, offering a lightweight, compute-efficient method to adapt large-scale models to new requirements.

Link to this sectionKhái niệm này hoạt động như thế nào#

Nền tảng của kỹ thuật này dựa trên việc tính toán sự khác biệt về model weights giữa một model cơ sở đã được huấn luyện trước và một phiên bản đã trải qua quá trình fine-tuning trên một bộ dữ liệu cụ thể. Sự khác biệt được tách biệt này trở thành một biểu diễn cục bộ của kỹ năng mới. Bằng cách trực tiếp thao tác với PyTorch state dictionary hoặc sử dụng phương pháp huấn luyện TensorFlow, các kỹ sư có thể mở rộng và kết hợp các khác biệt trọng số này. Ví dụ, việc trừ đi một bản cập nhật trọng số cụ thể có thể buộc model "quên" một hành vi đã học, một khái niệm được khám phá mạnh mẽ trong nghiên cứu của Anthropic về an toàn model.

Link to this sectionCác ứng dụng trong thực tế#

Task arithmetic mở ra một số quy trình làm việc hiệu quả cao trong các pipeline computer vision và xử lý ngôn ngữ tự nhiên hiện đại:

• Multi-Task Capability Merging: Engineers can train an Ultralytics YOLO26 base model on two separate datasets independently—one for specialized object detection and another for image classification. By calculating the weight differences for both tasks and adding them back to the base model, the resulting network can perform both tasks simultaneously without suffering from catastrophic forgetting.
• Loại bỏ hành vi có mục tiêu cho AI an toàn: Nếu một model thị giác vô tình học các đặc trưng thiên kiến từ dữ liệu huấn luyện, các nhà nghiên cứu có thể fine-tune một bản sao trên dữ liệu có thiên kiến, trích xuất các khác biệt trọng số cụ thể và trừ chúng khỏi model gốc. Như đã lưu ý trong nhiều khám phá của Google DeepMind, điều này xóa bỏ hiệu quả hành vi không mong muốn trong khi vẫn bảo toàn các khả năng trí tuệ nhân tạo chung của model.

Link to this sectionPhân biệt các khái niệm liên quan#

Trong khi tra cứu kho lưu trữ IEEE Xplore hoặc thư viện kỹ thuật số ACM, rất dễ nhầm lẫn task arithmetic với các phương pháp liên quan:

• Task Vectors: Đây là các tensor toán học thực tế (các khác biệt trọng số đã tính toán) được sử dụng trong quá trình số học. Task arithmetic là khung tổng thể của việc cộng hoặc trừ các vectơ này.
• Model Merging: Đây là một thuật ngữ rộng hơn để chỉ việc kết hợp nhiều model. Mặc dù số học là một cách để hợp nhất các model, việc hợp nhất cũng có thể liên quan đến các mạng định tuyến phức tạp hoặc ensembling.
• Transfer Learning: Theo các khái niệm về transfer learning của Wikipedia, điều này liên quan đến việc sử dụng kiến thức từ một tác vụ làm điểm khởi đầu cho một tác vụ khác, thường đòi hỏi các vòng lặp huấn luyện bổ sung. Task arithmetic sửa đổi hành vi thuần túy thông qua các phép tính trọng số trực tiếp mà không cần các vòng lặp huấn luyện bổ sung.

Link to this sectionTriển khai các phép toán số học#

Việc áp dụng các chiến lược tối ưu hóa model này trong thực tế đòi hỏi phải quản lý cẩn thận trạng thái bên trong của model. Dưới đây là ví dụ về việc tính toán và áp dụng bản cập nhật bằng PyTorch, một kỹ thuật thường được thảo luận trong các bài báo về computer vision gần đây.

import torch

# Load the state dictionaries of the pre-trained base and fine-tuned models
base_weights = torch.load("yolo26_base.pt")
tuned_weights = torch.load("yolo26_tuned.pt")

# Calculate the task vector and add it back to the base model with a scaling factor
scaling_factor = 0.5
for key in base_weights.keys():
    task_vector = tuned_weights[key] - base_weights[key]
    base_weights[key] += scaling_factor * task_vector

Đối với các nhóm quản lý các pipeline data annotation phức tạp và nhiều phiên bản model đã fine-tuned, Ultralytics Platform cung cấp một môi trường hợp lý hóa để giám sát việc huấn luyện trên đám mây và triển khai liền mạch, giúp cho việc quản lý các cải tiến model lặp đi lặp lại trở nên hiệu quả hơn nhiều.