Unsupervised Domain Adaptation (UDA)

يكيّف تكييف المجال غير الخاضع للإشراف (UDA) نموذجًا دُرّب على بيانات موسومة من إعداد معين، يُسمى مجال المصدر، بحيث يعمل في إعداد مختلف، يُسمى المجال الهدف، ولا تتوفر له إلا بيانات غير موسومة. يشترك المجالان في المهمة والفئات نفسها، لكن مدخلاتهما تبدو مختلفة: تصييرات اصطناعية مقارنة بصور حقيقية، أو ماسحات ضوئية في مستشفى مقارنة بأخرى في مستشفى مختلف، أو شوارع نهارية مقارنة بشوارع ليلية، أو طراز كاميرا مقارنة بطراز آخر. وغالبًا ما تفقد النماذج المدربة على المصدر وحده قدرًا كبيرًا من دقتها في المجال الهدف، ويستعيدها UDA دون كلفة تعليق البيانات في المجال الجديد. وهو فرع من التعلم بالنقل، وتشير كلمة «غير خاضع للإشراف» إلى غياب تسميات المجال الهدف فحسب.

لماذا يضرّ اختلاف المجال بالأداء#

قدّم شاي بن دافيد وزملاؤه الإطار النظري المعتمد للمشكلة عام 2010. ويُحدّ خطأ المصنّف في المجال الهدف بثلاثة حدود: خطؤه في مجال المصدر، ومقياس لمدى اختلاف المجالين في نظر عائلة المصنّفات، وخطأ أفضل مصنّف منفرد صالح للمجالين معًا. ويُخفَّض الحد الأول بالتدريب المعتاد على تسميات المصدر. وتستهدف معظم أساليب UDA الحد الثاني، فتتعلم سمات تجعل مدخلات المصدر والهدف متشابهة، بينما يذكّر الحد الثالث بأن التكيّف يفشل عندما تتغير علاقة التسميات نفسها بين المجالين.

الأساليب الرئيسية#

• مطابقة الإحصاءات: توائم الإحصاءات البسيطة لسمات المصدر والهدف. وتضيف طريقتا أقصى تباعد متوسط وCORAL، التي توائم التغايرات بين السمات، حدًا جزائيًا إلى خسارة التدريب؛ أما AdaBN، التي اقترحها يانغهاو لي وزملاؤه عام 2016، فتعيد ببساطة حساب المتوسط والتباين لكل طبقة تطبيع دفعي باستخدام بيانات الهدف.
• المواءمة الخصومية: تدرّب الشبكات العصبية الخصومية للمجال (DANN)، التي قدّمها ياروسلاف غانين وفيكتور ليمبيتسكي عام 2015، مصنّفًا للمجال لتمييز سمات المصدر عن سمات الهدف، وتدفع طبقة عكس التدرج مستخرج السمات إلى خداعه.
• ترجمة الصور: تعيد النماذج التوليدية مثل CycleGAN تصميم صور المصدر لتبدو كصور الهدف، بحيث تشبه صور التدريب الموسومة بيانات الاستخدام الفعلي، كما في CyCADA لمشاهد القيادة.
• التدريب الذاتي: يضع نموذج المصدر تسميات لصور الهدف، وتصبح تنبؤاته الواثقة تسميات زائفة، ثم يُعاد تدريب النموذج عليها، وغالبًا ما يستعين بنموذج معلّم يُحدّث ببطء للحفاظ على استقرار التسميات.
• التكييف دون بيانات المصدر والتكييف وقت الاختبار: يكيّف SHOT نموذجًا مدربًا دون الوصول إلى بيانات المصدر، بينما لا يحدّث TENT سوى معلمات التطبيع الدفعي أثناء الاستدلال، بجعل التنبؤات على دفعات الاختبار أكثر ثقة.

توضح AdaBN مقدار فجوة المجال التي قد تعزى إلى إحصاءات طبقات التطبيع الدفعي. يدرّب مثال PyTorch هذا شبكة صغيرة على 1,000 رقم مكتوب بخط اليد، ثم يختبرها على بقية الأرقام التي عُدّلت صورها لتبدو كما لو التقطتها كاميرا باهتة الألوان، بتباين أقل وسطوع أعلى:

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
target_x = 0.3 * X[1000:] + 0.6  # target domain: the last 797 digits as a washed-out camera would capture them

# Train on the labeled source domain, the first 1,000 digits
model = nn.Sequential(nn.Linear(64, 64), nn.BatchNorm1d(64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for _ in range(200):
    optimizer.zero_grad()
    nn.functional.cross_entropy(model(X[:1000]), y[:1000]).backward()
    optimizer.step()
model.eval()
print(f"Target accuracy before adaptation: {(model(target_x).argmax(1) == y[1000:]).float().mean():.3f}")

# AdaBN: replace the source BatchNorm statistics with those of the unlabeled target images
model[1].reset_running_stats()
model[1].momentum = None  # use a plain average over the target batch
model.train()
with torch.no_grad():
    model(target_x)
model.eval()
print(f"Target accuracy after adaptation: {(model(target_x).argmax(1) == y[1000:]).float().mean():.3f}")

ترتفع الدقة على الأرقام بعد تغير المجال من 0.290 إلى 0.940 من دون استخدام أي تسمية من المجال الهدف، مقتربةً من دقة النموذج البالغة 94% على هذه الأرقام قبل التغيير. ويعود هذا التحسن الكبير إلى أن تغيير التباين والسطوع يتحول إلى إزاحة ومقياس لكل سمة بعد الطبقة الخطية الأولى، وهو بالضبط ما يزيله إعادة التطبيع؛ أما التغيرات في الشكل أو المحتوى فتتطلب الأساليب الأقوى المذكورة أعلاه.

المعايير والتطبيقات#

تتضمن Office-31، التي نشرها كيت ساينكو وزملاؤه عام 2010، عدد 4,110 صور لـ31 غرضًا مكتبيًا من ثلاثة مجالات: صور منتجات Amazon، ولقطات كاميرات الويب، وصور DSLR. ويطلب معيار VisDA-2017 من النماذج المدربة على تصييرات ثلاثية الأبعاد اصطناعية لـ12 فئة من الأغراض تصنيف صور حقيقية، بينما يدرّب معيار GTA5-to-Cityscapes التجزئة الدلالية على 24,966 إطارًا من لعبة فيديو ويختبرها على شوارع مدن حقيقية.

يقود النمط نفسه إلى تطبيقات عملية. إذ تستعين المركبات ذاتية القيادة بلقطات قيادة حقيقية وبيانات اصطناعية وتصويرات المحاكاة، ويتعين على نماذج تحليل الصور الطبية العمل مع أجهزة المسح من شركات ومستشفيات مختلفة، كما تواجه نماذج الزراعة حقولًا وأصناف محاصيل ومواسم جديدة. وغالبًا ما تُكيّف الكواشف باستخدام التدريب الذاتي: تشغّل الدالة auto_annotate في حزمة Ultralytics Python كاشف YOLO26 على مجلد من الصور غير الموسومة، وتزوّد نموذج تجزئة أي شيء (SAM) من Meta بكل صندوق مكتشف، ثم تكتب تسميات التجزئة بتنسيق YOLO، بحيث يتمكن كاشف مدرّب على مجال المصدر من إنشاء تسميات زائفة لصور المجال الهدف لمراجعتها وضبطها الدقيق.

UDA والإعدادات ذات الصلة#

يتطلب الضبط الدقيق الخاضع للإشراف تسميات من المجال الهدف، بينما يفترض التعلم شبه الخاضع للإشراف أن البيانات الموسومة وغير الموسومة تأتي من التوزيع نفسه. ولا يستخدم تعميم المجال أي بيانات من المجال الهدف، بل يدرّب النماذج على الصمود أمام مجالات غير مرئية باستخدام زيادة البيانات وعشوائية المجال. ويهيئ التحسين المتين توزيعيًا لمجموعة كاملة من التحولات المحتملة، بينما يكيّف UDA النموذج مع مجال هدف واحد سبق أن اطّلع على صوره، وتُظهر مراقبة انحراف البيانات متى دخل نموذج منشور مجالًا جديدًا يستدعي التكييف.