Split Learning

التعلم المقسم هو نهج تعلم موزع يقسم شبكة عصبية بين موقعين للحوسبة أو أكثر. يعالج العميل بيانات الإدخال الخاصة من خلال الطبقات الأولى للنموذج، ويرسل التنشيطات الوسيطة فقط إلى الخادم، ويتلقى التدرجات اللازمة لمواصلة تدريب طبقاته المحلية. يتيح ذلك للمؤسسات أو الأجهزة التعاون دون نقل بيانات التدريب الخام بشكل مباشر.

يكون هذا النهج ملائماً بشكل خاص عندما يجب أن يعمل التعلم الآلي عبر حدود الخصوصية أو الملكية أو النطاق الترددي أو الأجهزة. على سبيل المثال، يمكن للمستشفى الاحتفاظ بالصور الطبية محلياً بينما يشغل خادم أكثر قوة الجزء الذي يتطلب حوسبة مكثفة من النموذج. ومع ذلك، فإن الاحتفاظ بالبيانات الخام محلياً لا يضمن تلقائياً خصوصية البيانات، لأن التمثيلات الوسيطة قد تزال تكشف عن معلومات حساسة.

كيف يعمل التعلم المقسم#

تتم مقاساة الشبكة العصبية عند طبقة القطع المختارة. تنفذ الطبقات التي تسبق القطع على العميل، بينما تنفذ الطبقات التي تليها على الخادم. يُطلق غالباً على مخرجات الشبكة في جانب العميل اسم التنشيط أو التمثيل الوسيط أو البيانات المحطمة.

تتبع خطوة التدريب هذا التسلسل:

1. يشغل العميل عملية مرور أمامية من الإدخال الخام إلى طبقة القطع.
2. يرسل العميل التنشيط الناتج إلى الخادم.
3. يكمل الخادم المرور الأمامي ويحسب الخسارة.
4. أثناء الانتشار العكسي، يحسب الخادم تدرجاً لتنشيط طبقة القطع ويعيده.
5. يستخدم العميل هذا التدرج لتحديث طبقاته المحلية.

يعتمد هذه العملية على قاعدة السلسلة نفسها التي تنفذها أنظمة مثل التمييز التلقائي في PyTorch. والفرق هو أن التنشيطات والتدرجات تعبر حدود الشبكة أثناء التدريب.

يحاكي المثال التالي المكون من عملية واحدة ذلك الحد:

import torch
from torch import nn

client_model = nn.Sequential(nn.Linear(8, 16), nn.ReLU())
server_model = nn.Sequential(nn.Linear(16, 2))
client_optimizer = torch.optim.SGD(client_model.parameters(), lr=0.01)
server_optimizer = torch.optim.SGD(server_model.parameters(), lr=0.01)

inputs = torch.randn(4, 8)
targets = torch.tensor([0, 1, 0, 1])

client_optimizer.zero_grad()
server_optimizer.zero_grad()

client_activations = client_model(inputs)
sent_activations = client_activations.detach().requires_grad_()

predictions = server_model(sent_activations)
loss = nn.CrossEntropyLoss()(predictions, targets)
loss.backward()

client_activations.backward(sent_activations.grad)
server_optimizer.step()
client_optimizer.step()

print(loss.item())

يمثل فصل client_activations إرسال التنشيطات إلى نظام آخر. يعيد تدرج التنشيط المُعاد ربط النصفين لغرض التحسين. يجب أن يضيف التنفيذ الإنتاج المصمم للتشغيل شبكات والمصادقة والتشفير ومعالجة الأعطال وضوابط الخصوصية.

التعلم المقسم مقابل النهج ذات الصلة#

ينتمي التعلم المقسم إلى المجال الأوسع للتدريب الموزع، ولكنه يقسم الحوسبة بشكل مختلف.

• التعلم الفيدرالي: يقوم كل مشارك عادة بتدريب نموذج محلي كامل ويرسل تحديثات النموذج لتجميعها. يمنح التعلم المقسم كل مشارك جزءاً فقط من النموذج ويتبادل التنشيطات الوسيطة والتدرجات.
• توازي خط الأنابيب: يضع كلا النهجين طبقات مختلفة على أجهزة مختلفة. يعمل توازي خط الأنابيب بشكل أساسي على تحسين النطاق أو استخدام الأجهزة في بيئة موثوقة، بينما يفصل التعلم المقسم عادة مالكي البيانات عن مزودي الحوسبة.
• التدريب الموازي للبيانات: تقوم أطر عمل مثل PyTorch DistributedDataParallel والتدريب الموزع في TensorFlow بنسخ نموذج ومزامنة التحديثات. عادةً لا تحتفظ هذه الأطر بالطبقات المبكرة حصرياً بجانب البيانات الأصلية.

يمكن أن يدعم التعلم المقسم أيضاً البيانات المقسمة عمودياً، حيث تحتفظ المؤسسات بميزات مختلفة لسجلات متطابقة. يوضح سير عمل التعلم المقسم في SecretFlow هذا الترتيب.

التطبيقات الواقعية#

• التصوير الطبي التعاوني: يمكن للمستشفيات تدريب نظام مشترك لرؤية الكمبيوتر مع الاحتفاظ بالأشعة السينية أو الفحوصات داخل البنية التحتية الخاصة بها. يشغل كل مستشفى الطبقات الأولى محلياً، ويكمل خادم مركزي التدريب من الميزات الوسيطة. تستخدم نظرة عامة على التعلم المقسم في MIT مراكز الأشعة لشرح هذه البنية.

• كاميرات صناعية محدودة الموارد: يمكن لكاميرات المصانع أو البوابات تشغيل مستخرج ميزات مدمج محلياً بينما يقوم خادم بتدريب الطبقات المتبقية لاكتشاف الكائنات. يمكن أن يقلل هذا من نقل الفيديو الخام وحوسبة العميل، مما يجعل النهج ملائماً لأنظمة الذكاء الاصطناعي على الحافة التي تعمل عبر مرافق متعددة.

الفوائد والمخاطر وخيارات التصميم#

تحدد طبقة القطع التوازن بين عبء عمل العميل وعبء عمل الخادم وحجم الاتصال والتعرض للمعلومات. يقلل القطع المبكر من حوسبة العميل ولكنه قد ينتج تنشيطات كبيرة شبيهة بالإدخال. يمكن أن يخلق القطع المتأخر ميزات أكثر تجريداً ولكنه يتطلب أجهزة عميل أقوى.

قد تظل التنشيطات الوسيطة والتدرجات عرضة لإعادة البناء أو الاستدلال أو التلاعب. لذلك يجب على الفرق تقييم ضوابط الوصول والنقل المشفر وحماية التنشيط وسجل التدقيق وثقة المشاركين بدلاً من معاملة التعلم المقسم كحل خصوصية كامل. توفر إطار عمل الخصوصية لـ NIST وإطار عمل إدارة مخاطر الذكاء الاصطناعي لـ NIST عمليات أوسع لتقييم هذه المخاطر.

كما يهم النطاق الترددي والكمون لأن كل خطوة تدريب قد تتطلب اتصالاً ثنائي الاتجاه. يمكن للعملاء البطيئين أو غير الموثوقين تأخير النظام بأكمله، بينما يمكن أن تؤثر توزيعات البيانات غير المتسقة على التقارب.

لا توفر Ultralytics YOLO تنسيق تعلم مقسم جاهزاً للاستخدام. يتطلب تنفيذ ذلك تقسيماً دقيقاً لهنية YOLO، وتنسيق عمليات المرور الأمامي والخلفي عن بُعد، وربما توسيع سير عمل المدرب المخصص المُوثق. بالنسبة للمشاريع التي تحتاج فقط إلى بقاء البيانات على أجهزة مملوكة، يدعم تدريب نموذج منصة Ultralytics التدريب المحلي مع المقاييس المتدفقة، لكن التدريب المحلي ليس تعلماً مقسماً لأن النموذج نفسه لا يُقسم عبر المشاركين.