Model Serving

تقديم النموذج هو استضافة نموذج تعلم آلي مدرّب خلف نقطة نهاية شبكية، عادةً عبر HTTP أو gRPC، كي تتمكن التطبيقات من إرسال المدخلات واستلام التنبؤات. يحمّل نظام التقديم الأوزان مرة واحدة، ويبقيها في الذاكرة على وحدات CPU أو وحدات GPU، ويقبل طلبات متزامنة كثيرة، ويجمعها في دفعات، ويضيف النسخ المتماثلة أو يزيلها مع تغير حركة المرور، ويبدّل إصدارات النماذج، ويبلّغ عن حالته. أصدرت Google TensorFlow Serving مفتوح المصدر في فبراير 2016 لتشغيل نماذج TensorFlow في الإنتاج، وأصبح تقديم النماذج الآن جانب التنفيذ من عمليات التعلم الآلي (MLOps)، بين تجهيز النموذج ومراقبة تنبؤاته.

كيف يعالج نظام تقديم النماذج الطلبات#

يمر كل طلب بالتحقق والمعالجة المسبقة، مثل فك ترميز الصورة وتغيير حجمها، ثم بطابور وبالنموذج نفسه، وأخيرًا بالمعالجة اللاحقة لتحويله إلى تنسيق استجابة مثل JSON. وتُتخذ معظم قرارات التقديم في الطابور. إذ يحتفظ التجميع الديناميكي بالطلبات لبضع مللي ثوانٍ كي يعالج المسرّع مدخلات عدة في تمريرة أمامية واحدة، ما يرفع معدل الإنتاجية بتكلفة طفيفة في زمن استجابة الاستدلال. وعندما يمتلئ الطابور، يرفض الخادم الطلبات الجديدة برمز HTTP 429 كي تخفف التطبيقات العميلة معدل إرسالها.

تتابع فرق تقديم النماذج شرائح زمن الاستجابة مثل p95 وp99، ومعدل الإنتاجية بالطلبات في الثانية، واستخدام المسرّع، ومعدل الأخطاء، وزمن البدء البارد؛ أي التأخير قبل أن تتمكن نسخة متماثلة جرى توسيعها من الصفر من الرد. وتُطرح الإصدارات تدريجيًا: يرسل الإصدار التجريبي نسبة صغيرة من حركة المرور إلى النموذج الجديد، بينما يرسل النشر الظلي نسخًا من الطلبات الحية إليه من دون إرجاع إجاباته.

يحمّل تطبيق FastAPI هذا YOLO26 مرة واحدة عند بدء التشغيل، ويعيد الاكتشافات بتنسيق JSON. يرسل TestClient في FastAPI طلبًا واحدًا عبر مكدس HTTP الكامل ضمن العملية نفسها، لذا يعمل المثال من دون بدء خادم:

from fastapi import FastAPI
from fastapi.testclient import TestClient
from ultralytics import YOLO

app = FastAPI()
model = YOLO("yolo26n.pt")  # ⁨حمّل الأوزان مرة واحدة عند بدء تشغيل الخادم⁩


@app.get("/predict")
async def predict(url: str):
    """Detect objects in the image at `url` and return them as JSON."""
    results = model(url)
    return results[0].summary()


client = TestClient(app)
response = client.get("/predict", params={"url": "https://ultralytics.com/images/bus.jpg"})
print(response.status_code, response.json()[0])

يُظهر الناتج الحالة 200 وأول اكتشاف على هيئة قاموس يضم اسم الفئة ودرجة الثقة وإحداثيات الصندوق، وهو الهيكل الذي ينتجه summary() لكل جسم مكتشف. ولأن المعالج هو async def، يشغّله FastAPI على حلقة أحداث واحدة، لذا لا يعالج النموذج المشترك طلبين في الوقت نفسه. أما الخوادم التي تحتاج إلى التوازي فتشغّل عدة عمليات عاملة، تحمّل كل منها نموذجها الخاص.

أنماط تقديم النماذج وبرمجياته#

يعتمد أسلوب تقديم النموذج على توقيت الحاجة إلى إجاباته، بدءًا من الاستدلال الآني على بث الكاميرات وصولًا إلى المهام الليلية:

• التقديم عبر الإنترنت: يحصل كل طلب على إجابته أثناء انتظار مقدم الطلب، عبر REST أو gRPC، كما في التطبيقات الموجهة للمستخدمين وبث الكاميرات الحي.
• التقديم الدفعي: تقيّم مهمة مجدولة مجموعة بيانات كبيرة دون اتصال، مثل تشغيل ليلي على صور يوم كامل، وتعطي الأولوية لمعدل الإنتاجية على زمن الاستجابة.
• البث: تُرسل النتائج باستمرار مع وصول إطارات الفيديو أو قراءات المستشعرات.
• الذكاء الاصطناعي الطرفي: يعمل النموذج على الجهاز نفسه، غالبًا بعد تصديره إلى تنسيق محسّن، من دون جولة ذهاب وإياب عبر الشبكة.

تشمل برمجيات تقديم النماذج متعددة الأغراض NVIDIA Dynamo-Triton، المعروف سابقًا باسم Triton Inference Server، إلى جانب TensorFlow Serving وRay Serve وBentoML وKServe على Kubernetes. ويقتصر دعم TorchServe من PyTorch على الصيانة، مع عدم التخطيط لمزيد من التحديثات. وتضيف خوادم النماذج اللغوية الكبيرة مثل vLLM وSGLang وTensorRT-LLM التجميع المستمر وإدارة ذاكرة KV المؤقتة المقسّمة إلى صفحات لتوليد الرموز واحدًا تلو الآخر. وتعمل معظم هذه الأنظمة داخل حاويات كي يُوزع النموذج وبيئة التشغيل والاعتماديات في صورة واحدة.

تقديم النماذج مقارنةً بالنشر ومحركات الاستدلال#

يرتبط تقديم النماذج ارتباطًا وثيقًا بعدد من المصطلحات المجاورة. فـنشر النموذج هو العملية الأوسع لوضع نموذج في الإنتاج، بما يشمل التجهيز والبنية التحتية والإطلاق، أما تقديم النماذج فهو الجزء الذي يجيب عن الطلبات بعد تشغيله. وينفّذ محرك الاستدلال مثل TensorRT أو ONNX Runtime أو OpenVINO العمليات الحسابية للنموذج، ويغلف نظام التقديم محركًا أو أكثر بالشبكات والصفوف والتوسّع.

تقدّم منصة Ultralytics نماذج YOLO عبر نقاط نهاية مخصصة، كل منها خدمة مخصصة لمستأجر واحد في واحدة من 42 منطقة، مع المسارات /predict و/health و/docs المُنشأة. ويتقلص الحجم الافتراضي إلى الصفر عند الخمول، وقد يستغرق بدء تشغيله نحو دقيقة؛ وعند استبدال النموذج يبقى عنوان URL لنقطة النهاية كما هو، فيما يواصل النموذج السابق تقديم الخدمة حتى يصبح النموذج الجديد جاهزًا.