محرك الاستدلال

محرك الاستدلال هو مكون برمجي متخصص مصمم لتنفيذ نماذج التعلم الآلي المدربة نماذج التعلم الآلي المدربة وتوليد تنبؤات من البيانات الجديدة. على عكس أطر التدريب التي تركز على أنماط التعلم من مجموعات البيانات الضخمة، فإن محرك الاستدلال يتم تحسين محرك الاستدلال فقط للمرحلة التشغيلية، والمعروفة باسم نشر النموذج. هدفه الأساسي هو تشغيل هذه النماذج بأكبر قدر ممكن من الكفاءة، وتقليل زمن الاستجابة للاستدلال وتعظيم الإنتاجية على الأجهزة المستهدفة، سواء كان خادمًا سحابيًا قويًا أو جهاز ذكاء اصطناعي جهاز ذكاء اصطناعي متطور محدود الموارد.

كيف يعمل محرك الاستدلال

عادةً ما يتضمن الانتقال من نموذج مُدرَّب إلى تطبيق جاهز للنشر محرك استدلالي يعمل كبيئة وقت تشغيل بيئة وقت التشغيل. بمجرد تدريب النموذج في إطار عمل مثل PyTorch أو TensorFlowفهي غالباً ما تكون ثقيلة وتحتوي على مفيدة للتعلم ولكنها غير ضرورية للتنبؤ. يقوم محرك الاستدلال بإزالة هذا الحمل الزائد و ويطبق تحسينات صارمة على الرسم البياني الحسابي.

تشمل تقنيات التحسين الرئيسية:

• دمج الطبقات: يجمع المحرك بين طبقات متعددة (مثل الالتفاف، والتطبيع الدفعي و التنشيط) في عملية واحدة. يقلل هذا من الوصول إلى الذاكرة ويسرّع التنفيذ.
• تقليل الدقة: من خلال تكميم النموذج، يقوم المحرك بتحويل الأوزان من صيغ الفاصلة العائمة عالية الدقة 32 بت (FP32) إلى صيغ أقل دقة مثل INT8 أو FP16. هذا يقلل بشكل كبير من حجم النموذج واستخدام عرض النطاق الترددي للذاكرة دون المساس بشكل كبير الدقة.
• الضبط التلقائي للنواة: محركات مثل NVIDIA TensorRT تختار تلقائيًا أكثر الخوارزميات خوارزميات ونواة الأجهزة الأكثر كفاءة ل GPU المستخدمة.
• إدارة الذاكرة: تقلل استراتيجيات إعادة استخدام الذاكرة الفعالة من النفقات الزائدة لتخصيص و وإلغاء تخصيص الذاكرة أثناء وقت التشغيل، وهو أمر بالغ الأهمية من أجل الاستدلال في الوقت الحقيقي.

محركات الاستدلال الشائعة

تم تصميم المحركات المختلفة لتناسب أنظمة أجهزة معينة وأهداف الأداء:

• NVIDIA TensorRT: مُحسِّن استدلالي عالي الأداء للتعلم العميق ووقت تشغيل لوحدات معالجة الرسومات NVIDIA . يُستخدم على نطاق واسع في مراكز البيانات وتطبيقات السيارات. يمكنك بسهولة تصدير نماذج Ultralytics إلى TensorRT لتحقيق أقصى قدر من السرعة القصوى.
• Intel OpenVINO: نظام الاستدلال المرئي المفتوح وتحسين الشبكة العصبية تعمل مجموعة الأدوات على تحسين النماذج لأجهزة Intel بما في ذلك وحدات المعالجة المركزية ووحدات معالجة الرسومات المدمجة. وهي تسمح بنهج "الكتابة مرة واحدة, النشر في أي مكان" ضمن نظام Intel البيئي.
• وقت تشغيلONNX : محرك متعدد المنصات تم تطويره من قبل Microsoft يدعم ONNX ONNX. يسمح للنماذج التي تم تدريبها في إطار عمل واحد بالعمل بكفاءة على مختلف الأجهزة الخلفية.
• TensorFlow لايت: مصمم للأجهزة المحمولة وأجهزة إنترنت الأشياء, يُتيح TensorFlow Lite إمكانية الاستدلال بزمن تأخير منخفض على أنظمة Android و iOS و والأنظمة المدمجة.

تطبيقات واقعية

تُعد محركات الاستدلال هي العمود الفقري غير المرئي لتطبيقات الذكاء الاصطناعي الحديثة، مما يمكّنها من التفاعل الفوري مع العالم.

1. القيادة الذاتية: في صناعة السيارات، تعتمد السيارات على الرؤية الحاسوبية للتنقل بأمان. يعالج محرك الاستدلال الذي يعمل على كمبيوتر السيارة المدمج في السيارة موجزات الفيديو لإجراء اكتشاف الأجسام للمشاة، والمركبات وإشارات المرور الأخرى. باستخدام نموذج مثل YOLO11, يضمن المحرك حدوث هذه التنبؤات في أجزاء من الثانية، مما يسمح للسيارة بالفرملة أو التوجيه الذاتي في في الوقت الحقيقي.
2. التصنيع الذكي: تستخدم خطوط الإنتاج محركات الاستدلال لمراقبة الجودة آلياً. تلتقط الكاميرات عالية السرعة صورًا للمنتجات على الحزام الناقل، ويعالج محرك الاستدلال هذه الصور من أجل detect العيوب مثل الشقوق أو المحاذاة الخاطئة. هذا النظام عالي الإنتاجية يمنع شحن العناصر المعيبة من الشحن ويقلل من تكاليف الفحص اليدوي.

محرك الاستدلال مقابل إطار التدريب

من المهم التمييز بين الأدوات المستخدمة لإنشاء النماذج وتلك المستخدمة لتشغيلها.

• أطر التدريب (مثل PyTorch و Keras): تم تصميمها من أجل المرونة والتجريب. تدعم هذه الأُطر التكاثر العكسي، وتحديثات التدرج، والرسوم البيانية الديناميكية، وهي ضرورية للتعلم ولكنها لكنها مكلفة حسابيًا.
• محركات الاستدلال (على سبيل المثال، TensorRT و ONNX Runtime): وهي مصممة للسرعة والكفاءة. وهي تتعامل مع النموذج كمجموعة ثابتة من العمليات ليتم تنفيذها بأسرع ما يمكن. وهي عادةً لا تدعم التدريب أو تعلم أنماط جديدة.

التصدير للاستدلال

لاستخدام محرك استدلال معين، غالبًا ما تحتاج إلى تصدير نموذجك المدرّب إلى تنسيق متوافق. على سبيل المثال على سبيل المثال، يسمح تصدير نموذج YOLO11 إلى صيغة ONNX بتشغيله بواسطة ONNX Runtime أو استيراده إلى محركات أخرى.

from ultralytics import YOLO

# Load a trained YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format for use with ONNX Runtime
# This creates 'yolo11n.onnx' optimized for inference
model.export(format="onnx")

من خلال الاستفادة من محرك الاستدلال، يمكن للمطورين إطلاق الإمكانات الكاملة لنماذج الذكاء الاصطناعي الخاصة بهم، مما يضمن تشغيلها بسلاسة في بيئات الإنتاج التي تتراوح من مجموعات السحابة إلى الأجهزة المتطورة التي تعمل بالبطاريات.