Task Arithmetic

حساب المهام طريقة لتعديل نموذج مدرّب مسبقًا بإضافة متجهات المهام وطرحها، وهي تغييرات الأوزان الناتجة عن الضبط الدقيق لكل مهمة. ويؤدي جمع متجهات مهام متعددة إلى أوزان النموذج المدرّب مسبقًا إلى إنشاء نموذج واحد يتعامل معها كلها، بينما يجعل طرح متجه مهمة أداء النموذج فيها أسوأ مع إبقاء أداءه في المهام الأخرى سليمًا إلى حد بعيد، كما ينقل الجمع بين المتجهات وفق علاقة مماثلة مهارةً إلى إعداد لا تتوفر له بيانات موسومة. وكل تعديل هو جمع عنصر بعنصر للأوزان، لذا لا يتطلب بيانات تدريب أو خطوات تدرج إضافية تتجاوز عمليات الضبط الدقيق الأصلية. وقد قدّم غابرييل إيلهاركو وزملاؤه في جامعة واشنطن وMicrosoft Research وAllen Institute for AI هذا النهج في Editing Models with Task Arithmetic، المنشورة في ICLR 2023.

العمليات الثلاث#

تنتج العمليات الثلاث كلها أوزانًا جديدة وفق المعادلة θ_new = θ_pretrained + λτ_new، حيث يُختار معامل القياس λ باستخدام بيانات تحقق محتجزة. واختبر إيلهاركو وزملاؤه هذه العمليات على نماذج CLIP مضبوطة بدقة على ثماني مهام تصنيف الصور، مثل إشارات المرور وصور الأقمار الصناعية، وعلى نماذج اللغة GPT-2 وT5.

النفي يستخدم τ_new = −τ لجعل النموذج ينسى مهمة. وأدى نفي متجهات مهام CLIP الثمانية إلى خفض متوسط دقة نموذج ViT-L/14 في تلك المهام بمقدار 45.8 نقطة مئوية، مع الحفاظ على دقة ImageNet بنسبة 95% على الأقل. كما خفّض طرح متجه مضبوط بدقة على تعليقات سامة نسبة النصوص المولّدة السامة من 4.8% إلى 0.8% في GPT-2 Large، مع بقاء مقياس الحيرة في النصوص العادية ضمن 0.5 نقطة من النموذج الأصلي.

الجمع يستخدم τ_new = τ_1 + τ_2 + … لإنشاء نماذج متعددة المهام. وأدى جمع متجهي مهمتين من CLIP إلى نموذج واحد يحقق في المتوسط 98.9% من دقة النموذجين المتخصصين، بينما حقق جمع المتجهات الثمانية جميعها 91.2%.

العلاقات القياسية تنطبق عندما ترتبط المهام وفق العلاقة «A إلى B كما C إلى D»، باستخدام τ_D ≈ τ_C + (τ_B − τ_A). وأنشأ إيلهاركو وزملاؤه نموذجًا لـتحليل المشاعر في مراجعات Yelp دون بيانات Yelp موسومة، وذلك بإضافة متجه لمشاعر مراجعات Amazon إلى الفرق بين متجهي نمذجة اللغة المدربين على نصوص Yelp وAmazon.

تنجح هذه العمليات لأن متجهات المهام المختلفة تتجه نحو مسارات شبه متعامدة، وتكون أوجه تشابه جيب التمام قريبة من الصفر، لذا لا يؤدي جمع أحدها إلى تغيير ما يرمزه الآخر إلا قليلًا. ومع ذلك، يزداد التداخل مع زيادة عدد المهام، وتقلله أساليب دمج النماذج مثل TIES-Merging عبر تقليم أصغر التغييرات في كل متجه، وحسم التعارض بين إشارات المعلمات قبل الجمع.

إضافة المهارات ونفيها برمجيًا#

يدرّب مثال PyTorch هذا مصنّفًا صغيرًا مسبقًا لفترة وجيزة على أرقام مكتوبة بخط اليد بحجم 8x8، ثم يضبط طبقته الأولى بدقة لمهمتين: تصنّف المهمة A الأرقام 0-4، والمهمة B الأرقام 5-9، وتقرأ كل مهمة درجات الخرج الخمس الخاصة بها والمجمّدة، كما تستخدم كل مهمة CLIP رأس تصنيف خاصًا بها ومجمّدًا في الورقة. ثم يقيّم أوزان النموذج المدرّب مسبقًا، مضافًا إليها توليفات مختلفة من متجهي المهمتين:

import copy

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
tasks = {"A": (0, 5), "B": (5, 10)}  # task A classifies digits 0-4, task B digits 5-9, each with its own 5 logits
train, test = torch.arange(len(X)) < 1000, torch.arange(len(X)) >= 1000


def task_loss(model, task, rows):
    """Cross-entropy and accuracy of one task's 5-way classifier on the given rows."""
    lo, hi = tasks[task]
    keep = rows & (y >= lo) & (y < hi)
    logits, labels = model(X[keep])[:, lo:hi], y[keep] - lo
    return nn.functional.cross_entropy(logits, labels), (logits.argmax(1) == labels).float().mean().item()


def fit(model, params, steps, loss_fn):
    """Run full-batch SGD on the given parameters."""
    optimizer = torch.optim.SGD(params, lr=0.05, momentum=0.9)
    for _ in range(steps):
        optimizer.zero_grad()
        loss_fn().backward()
        optimizer.step()
    return model


# Pretrained model: a few steps on 200 images of all ten digits
base = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
fit(base, base.parameters(), 50, lambda: nn.functional.cross_entropy(base(X[:200]), y[:200]))

# Fine-tune the first layer for each task (heads stay frozen) and keep the task vectors
vectors = {}
for task in tasks:
    tuned = copy.deepcopy(base)
    fit(tuned, tuned[0].parameters(), 100, lambda: task_loss(tuned, task, train)[0])
    vectors[task] = {k: v - base.state_dict()[k] for k, v in tuned.state_dict().items()}

edits = {"Pretrained": {}, "+A": {"A": 1}, "+B": {"B": 1}, "+A +B": {"A": 1, "B": 1}, "-A": {"A": -1}}
for name, coefs in edits.items():
    # Pretrained weights plus a weighted sum of task vectors
    model = copy.deepcopy(base)
    weights = {k: v + sum(c * vectors[t][k] for t, c in coefs.items()) for k, v in base.state_dict().items()}
    model.load_state_dict(weights)
    with torch.no_grad():
        print(f"{name}: task A {task_loss(model, 'A', test)[1]:.3f}, task B {task_loss(model, 'B', test)[1]:.3f}")

على أرقام الاختبار البالغ عددها 797، يسجل النموذج المدرّب مسبقًا 0.802 في المهمة A و0.897 في المهمة B. وترفع إضافة متجه المهمة A وحده أداء المهمة A إلى 0.925، لكنها تخفض أداء المهمة B إلى 0.850، وهو النسيان الكارثي الناتج عن الضبط الدقيق العادي؛ بينما تؤدي إضافة متجه المهمة B وحده إلى العكس. ويؤدي جمع المتجهين إلى نموذج واحد يحقق 0.922 و0.940، مقتربًا من أداء كل نموذج متخصص في مهمته. أما طرح متجه المهمة A فيخفض أداء المهمة A إلى 0.616، بينما لا يتغير أداء المهمة B إلا من 0.897 إلى 0.887.

المتطلبات والقيود#

يتطلب حساب المهام أن تبدأ كل عملية ضبط دقيق من الأوزان المدرّبة مسبقًا نفسها وبالبنية نفسها. عندما يدرّب Ultralytics YOLO26 من yolo26n.pt على مجموعة بيانات جديدة، فإنه ينسخ كل موتر مدرّب مسبقًا يتوافق حجمه، ويطابق صفوف رأس التصنيف بحسب أسماء الفئات، ويسجل العدد بالصيغة «Transferred N/M items from pretrained weights». وتؤدي مجموعات البيانات ذات الأعداد المختلفة من الفئات إلى اختلاف أحجام طبقات الالتفاف النهائية للتصنيف، لذا لا يمكن جمع متجهات المهام الناتجة عن تلك العمليات إلا في الطبقات المشتركة بينها.

يفشل الحساب أيضًا عندما تتعارض المتجهات أو تُضرب في معاملات كبيرة جدًا، لأن قيم λ الكبيرة تدفع الأوزان خارج المنطقة التي تحقق فيها النماذج المضبوطة بدقة أداءً جيدًا. ويخفض النفي الأداء في أي شيء شملته بيانات الضبط الدقيق، ما يجعله شكلًا خفيفًا من إلغاء تعلم الآلة. وقد تتبّع بحث Task Arithmetic in the Tangent Space لغِييرمو أورتيز-خيمينيز وأليساندرو فافيرو وباسكال فروسا نجاح الحساب إلى فصل الأوزان، حيث تغيّر اتجاهات منفصلة في فضاء الأوزان مخرجات النموذج على مناطق منفصلة وغير متداخلة من فضاء الإدخال، وأظهر أن ضبط نسخة خطية من النموذج بدقة يعزز هذا الفصل.

حساب المهام ومفاهيم ذات صلة#

• متجهات المهام: فروق الأوزان التي يعمل عليها حساب المهام. وحساب المهام هو مجموعة العمليات: الجمع والنفي والعلاقات القياسية.
• مزج النماذج: يُحسب متوسط عدة عمليات ضبط دقيق للمهمة نفسها لتحسين أدائها. وتضيف حسابات المهام عمليات ضبط دقيق لمهام مختلفة، كما أن جمع متجهي مهمتين بمعامل λ = 0.5 يعادل حساب متوسط النموذجين المضبوطين دقيقًا.
• تحرير النماذج: يغيّر حقيقة واحدة أو سلوكًا محدودًا عبر تحديث موجّه للأوزان، وغالبًا ما يكون مغلق الصيغة. أما حسابات المهام فتحرر مهامًا كاملة دفعة واحدة.
• التدريب متعدد المهام: يدرّب نموذجًا واحدًا على بيانات جميع المهام معًا، ما يتجنب التداخل لكنه يتطلب توفر كل مجموعة بيانات في الوقت نفسه. تجمع حسابات المهام نماذج قد لا تعود بياناتها متاحة، كما تتجنب النسيان الناجم عن ضبط المهام بدقة واحدة تلو الأخرى.