Inference Latency

زمن استجابة الاستدلال هو الوقت الذي يستغرقه نموذج تعلم الآلة المدرّب لتحويل مدخل واحد، مثل إطار من كاميرا أو مطالبة نصية، إلى تنبؤ. ويُعبّر عنه عادةً بالمللي ثانية (ms)، ويحدد سرعة استجابة النظام: فالكاميرا التي تعمل بمعدل 30 إطارًا في الثانية تنتج إطارًا جديدًا كل 33.3 ms، لذا فإن كاشفًا يستغرق وقتًا أطول يتأخر عن تدفق البيانات ولا يعود قادرًا على دعم الاستدلال الآني. ويُذكر زمن الاستجابة إما للتمرير الأمامي وحده أو من البداية إلى النهاية، بدءًا من المدخل الخام ووصولًا إلى المخرج القابل للاستخدام، وتتتبع أنظمة الإنتاج النسب المئوية مثل الوسيط (p50) والنسبة المئوية 99 (p99)، لأن بعض الاستجابات البطيئة قد تكون مهمة بقدر المتوسط.

ما العوامل التي تزيد زمن استجابة الاستدلال#

يمر التنبؤ الواحد بعدة مراحل. تفك المعالجة المسبقة ترميز المدخل وتغيّر حجمه وتطبّع قيمه. ويشغّل التمرير الأمامي الشبكة، وتزداد كلفته مع عدد FLOPs في النموذج ودقة المدخل والدقة العددية، بينما تعتمد سرعته على المعالج، سواء أكان CPU أم GPU أم وحدة معالجة عصبية (NPU). وتحول المعالجة اللاحقة المخرجات الخام إلى نتائج؛ ففي حالة الكاشف، تفك ترميز المربعات وتشغّل كبت غير القيم العظمى (NMS). وتضيف واجهة API سحابية زمن ذهاب الشبكة وإيابها وأي وقت ينتظره الطلب في قائمة الانتظار، ولهذا يشغّل الذكاء الاصطناعي الطرفي النماذج على الجهاز الذي يلتقط البيانات. ويكون الاستدعاء الأول أبطأ أيضًا من الاستدعاءات التالية، لأن أطر العمل تخصص الذاكرة وتحمل الأوزان إلى ذاكرات التخزين المؤقت وتختار النوى عند أول استخدام.

يغيّر العتاد وبيئة التشغيل المرور الأمامي بمقدار رتبة عشرية أو أكثر: يحقق Ultralytics YOLO26 nano متوسطًا قدره 38.9 مللي ثانية لكل صورة COCO بدقة 640 بكسل باستخدام ONNX على CPU، و1.7 مللي ثانية باستخدام TensorRT على GPU من NVIDIA T4. يسجّل Ultralytics YOLO أزمنة كل مرحلة في كل تنبؤ ضمن سمة speed للنتيجة، ويكرر وضع قياس الأداء القياس لكل تنسيق تصدير:

from ultralytics import YOLO

# Load the smallest YOLO26 detection model
model = YOLO("yolo26n.pt")

# Predict on one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-image time in milliseconds for each stage of the pipeline
for stage, ms in result.speed.items():
    print(f"{stage}: {ms:.1f} ms")

تطبع الحلقة أزمنة المعالجة المسبقة والاستدلال والمعالجة اللاحقة، ومجموعها هو زمن استجابة النموذج لتلك الصورة على الجهاز الحالي.

قياس زمن الاستجابة بدقة#

لا تكون أرقام زمن الاستجابة قابلة للمقارنة إلا إذا قِيست بالطريقة نفسها. تستبعد القياسات الموثوقة بعض مرات الإحماء، وتقيس مرات تشغيل عديدة، وتبلغ عن الوسيط وأحد مقاييس الذيل المئوية بدلًا من قياس واحد. وعلى وحدات GPU، يجب أن ينتظر المؤقّت الجهاز، مثلًا باستخدام torch.cuda.synchronize()، لأن إطلاق النوى غير متزامن، وقراءة الساعة مبكرًا تنتهي قبل اكتمال العمل. ويجب أن يتطابق حجم المدخل وحجم الدفعة والدقة والجهاز مع النشر، إذ لا يخبر زمن استجابة النموذج على GPU في مركز بيانات الكثير عن زمن استجابته على الهاتف. وتقدّر FLOPs الكلفة من دون احتساب أي جهاز، لكن النماذج ذات العدد نفسه من FLOPs قد تعمل بسرعات مختلفة بوضوح على الجهاز نفسه.

زمن استجابة الاستدلال مقارنةً بمعدل الإنتاجية#

معدل المعالجة هو عدد المدخلات التي يعالجها النظام لكل وحدة زمن، مثل الصور أو الرموز في الثانية، وغالبًا ما يتعارض مع زمن الاستجابة. فزيادة حجم الدفعة تُبقي الأجهزة مشغولة أكثر، ما يرفع معدل المعالجة، لكن كل مدخل في الدفعة ينتظر اكتمال الدفعة كلها، فيزداد زمن الرد على كل طلب أيضًا:

import time

import torch
import torchvision

# A ResNet-18 image classifier in inference mode on the CPU
model = torchvision.models.resnet18().eval()

for batch in [1, 2, 4, 8]:
    x = torch.randn(batch, 3, 224, 224)
    with torch.inference_mode():
        model(x)  # warmup run, not timed
        times = []
        for _ in range(20):
            start = time.perf_counter()
            model(x)
            times.append(time.perf_counter() - start)
    latency = sorted(times)[len(times) // 2]  # median seconds per batch
    print(f"batch {batch}: {latency * 1e3:5.1f} ms per batch, {batch / latency:4.0f} images/s")

على CPU محمول، أدى الانتقال من دفعة بحجم 1 إلى دفعة بحجم 8 إلى رفع معدل المعالجة من 168 إلى 220 صورة في الثانية، بينما زاد زمن إرجاع الدفعة من 6 ms إلى 36 ms. لذلك تعمل الأنظمة التفاعلية مثل مساعدة السائق والمساعدات الصوتية بحجم دفعة 1، في حين تعالج المهام غير المتصلة، مثل فهرسة أرشيف فيديو، دفعات كبيرة. وتستخدم خوادم LLM التجميع المستمر للدفعات، الذي يضيف الطلبات إلى دفعة قيد التشغيل ويزيلها منها، للحفاظ على ارتفاع معدل المعالجة من دون جعل كل مستخدم ينتظر اكتمال دفعة كاملة.

تقليل زمن استجابة الاستدلال#

تأتي أكبر المكاسب عادةً من تقليل العمليات الحسابية: استخدام نسخة أصغر من النموذج، أو دقة مدخل أقل، أو عدد أوزان أقل عبر تشذيب النموذج. ويجعل تكميم النموذج إلى FP16 أو INT8 كل عملية متبقية أقل كلفة على الأجهزة التي تضم وحدات سريعة منخفضة الدقة. ويؤدي التصدير إلى محرك استدلال محسّن مثل TensorRT أو OpenVINO أو ONNX Runtime إلى دمج الطبقات واختيار أسرع النوى للجهاز. كما أن تشغيل النموذج على الجهاز نفسه يلغي زمن ذهاب الشبكة وإيابها، الذي يكلف غالبًا عشرات المللي ثانية عبر اتصال محمول.

الحالات التي يهم فيها زمن الاستجابة#

• النماذج اللغوية الكبيرة (LLMs): تتتبع خدمات المحادثة زمن الوصول إلى الرمز الأول، الذي يشعر به المستخدم بوصفه سرعة الاستجابة، والزمن لكل رمز ناتج، الذي يحدد سرعة البث. ويقلل فك الترميز التخميني الزمن الثاني عبر التحقق من عدة رموز مقترحة في مرور أمامي واحد.
• الفحص الصناعي: يجب أن تصنّف الكاميرا الموضوعة فوق سير ناقل كل قطعة قبل وصولها إلى بوابة الرفض، لذا يحدد زمن الاستجابة السرعة القصوى لخط الإنتاج.
• المركبات ذاتية القيادة: تتشارك أنظمة الإدراك والتخطيط والتحكم ميزانية زمنية ضيقة، وعند سرعة 100 km/h تقطع السيارة 2.8 متر خلال كل 100 ms من التأخير.