Discover how LoRA (Low-Rank Adaptation) efficiently fine-tunes large AI models. Explore its use in [YOLO26](https://docs.ultralytics.com/models/yolo26/) for specialized object detection and more.
LoRA، أو التكيف منخفض الرتبة، هي تقنية رائدة في مجال التعلم الآلي (ML) مصممة لضبط النماذج الضخمة المدربة مسبقًا بكفاءة. مع نمو النماذج الأساسية الحديثة لتشمل مليارات المعلمات، أصبحت تكلفة إعادة تدريبها لمهام محددة باهظة بالنسبة للعديد من المطورين. يعالج LoRA هذه المشكلة عن طريق تجميد أوزان النموذج الأصلي وإدخال مصفوفات أصغر حجمًا وقابلة للتدريب لتفكيك الترتيب في البنية. تقلل هذه الطريقة عدد المعلمات القابلة للتدريب بما يصل إلى 10,000 مرة، مما يقلل بشكل كبير من متطلبات الذاكرة ويمكّن المهندسين من تخصيص شبكات قوية على أجهزة المستهلك القياسية، مثل وحدة معالجة الرسوماتGPU ) الواحدة.
تكمن الابتكار الأساسي لـ LoRA في نهجها لتحديث النماذج. في الضبط الدقيق التقليدي، يجب أن تقوم عملية التحسين بتعديل كل وزن في الشبكة العصبية أثناء الانتشار العكسي. يتطلب هذا الضبط الكامل للمعلمات تخزين حالات المحسن للنموذج بأكمله، مما يستهلك كميات هائلة من VRAM.
يعمل LoRA على فرضية أن التغييرات في الأوزان أثناء التكيف لها "رتبة منخفضة"، مما يعني أن المعلومات الأساسية يمكن تمثيلها بأبعاد أقل بكثير. من خلال إدخال أزواج من المصفوفات الصغيرة في طبقات النموذج — غالبًا ضمن آلية الانتباه في بنى Transformer — يقوم LoRA بتحسين هذه المحولات المُدرجة فقط بينما يظل النموذج الرئيسي ثابتًا. تسمح هذه النمطية بالتبديل السريع بين المهام المختلفة ، مثل تغيير الأساليب الفنية أو اللغات، ببساطة عن طريق تبديل ملفات المحولات الصغيرة، وهو مفهوم تم استكشافه في ورقةMicrosoft الأصلية Microsoft .
أدت القدرة على تكييف النماذج القوية بموارد قليلة إلى اعتمادها في مختلف قطاعات الذكاء الاصطناعي (AI).
في حين أن التطبيق الرياضي يتضمن جبر المصفوفات، فإن أطر البرمجيات الحديثة تجرد هذه التعقيدات.
ما يلي Python يوضح المقتطف سير عمل تدريب قياسي باستخدام
ultralytics حزمة. تستخدم النماذج الفعالة مثل YOLO26 استراتيجيات تحسين تشترك في المبادئ
مع التكيف الفعال للتعلم بسرعة من البيانات الجديدة.
from ultralytics import YOLO
# Load the YOLO26 model (highly efficient for edge deployment)
model = YOLO("yolo26n.pt")
# Train the model on a specific dataset
# Modern training pipelines optimize updates to converge quickly
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)
لاختيار سير العمل المناسب، من الضروري التمييز بين LoRA واستراتيجيات التكيف الأخرى:
من خلال إتاحة الوصول إلى ضبط النماذج عالية الأداء للجميع، تتيح LoRA للمطورين إمكانية إنشاء حلول متخصصة — من إدراك المركبات ذاتية القيادة إلى روبوتات الدردشة المخصصة — دون الحاجة إلى بنية تحتية ضخمة تابعة لشركة تكنولوجية عملاقة. بالنسبة للفرق التي تسعى إلى إدارة مجموعات البيانات هذه و تدريبها بكفاءة، توفر Ultralytics بيئة شاملة لتعليق هذه النماذج المعدلة وتدريبها ونشرها.
