LLMOps
تشمل عمليات نماذج اللغة الكبيرة (LLMOps) إصدار تطبيقات نماذج اللغة الكبيرة وتقييمها ومراقبتها وضبط تكلفتها، وهي فرع من عمليات التعلم الآلي (MLOps).
تشغيل النماذج اللغوية الكبيرة (LLMOps) هو مجموعة الممارسات والأدوات المستخدمة لبناء التطبيقات المعتمدة على النماذج اللغوية الكبيرة (LLMs) وإصدارها وتشغيلها في بيئة الإنتاج. ويشمل ذلك تحديد إصدارات المطالبات واختيارات النماذج، وتقييم النصوص المولّدة قبل الإصدار وبعده، وتتبع الطلبات متعددة الخطوات عبر الاسترجاع واستدعاءات الأدوات، وضبط زمن الاستجابة وتكاليف الرموز، والحماية من إخفاقات مثل الهلوسات وحقن المطالبات. ويمثل LLMOps فرع عمليات التعلم الآلي (MLOps) المعني بهذه التطبيقات، وانتشر المصطلح على نطاق واسع عام 2023 مع انتقال الشركات من نماذج روبوتات المحادثة الأولية إلى المنتجات. وتكيّف معظم الفرق نموذجًا أساسيًا مستضافًا أو ذا أوزان مفتوحة عبر هندسة المطالبات، أو التوليد المعزز بالاسترجاع (RAG)، أو الضبط الدقيق بدلًا من تدريبه من الصفر، ما ينقل معظم العمل التشغيلي من مسارات التدريب إلى كل ما يحيط بالنموذج.
اختلاف LLMOps عن MLOps#
وحدة الإصدار أكبر من مجرد مجموعة أوزان. فقد يشمل التغيير قالب المطالبة، واسم النموذج وإصداره، وإعدادات أخذ العينات، وفهرس الاسترجاع، وتعريفات الأدوات؛ ويُحدد إصدار كل جزء لأن أيًا منها قد يغيّر السلوك. وتخزن أدوات إدارة المطالبات القوالب مع أرقام إصدارات تجلبها التطبيقات وقت التشغيل، ما يتيح نشر تعديل المطالبة والتراجع عنه دون إصدار شيفرة. وقد تتغير النماذج المستضافة من دون علم التطبيق، لذا تثبّت الفرق لقطات النماذج المؤرخة حين يوفرها المورّدون، وتعيد الاختبارات قبل التبديل. كما يتغير شكل العمل على البيانات: يحدد تطبيق RAG إصدارات المستندات وإعدادات تقسيمها إلى مقاطع ونموذج التضمين الذي يقوم عليه فهرس البحث؛ ويتطلب تبديل نماذج التضمين إعادة تضمين المدونة بأكملها. وغالبًا ما تُخزَّن النسخ المضبوطة بدقة على هيئة محولات LoRA صغيرة يحمّلها خادم واحد فوق نموذج أساسي مشترك.
التقييم أصعب لأن النص المولّد نادرًا ما تكون له إجابة صحيحة واحدة. تحتفظ الفرق بـمجموعة بيانات مرجعية لمدخلات تمثيلية تتضمن إجابات مرجعية أو معايير تقييم، وتقيّم المخرجات عبر اختبارات دقيقة أو مراجعة بشرية أو استخدام نموذج لغوي كبير حكمًا، حيث يقيّم نموذج قوي الاستجابات. وفي ورقة عام 2023 التحكيم باستخدام نموذج لغوي كبير حكمًا، وجد ليانمين تشنغ وزملاؤه أن GPT-4 وافق التفضيلات البشرية في أكثر من 80% من الحالات، وهي نسبة تعادل تقريبًا مدى اتفاق البشر بعضهم مع بعض. ويخضع كل إصدار مرشح للمجموعة نفسها من الاختبارات، وتواصل حركة مرور الإنتاج إضافة حالات جديدة:
تُدار التكلفة وزمن الاستجابة لكل طلب. وتفرض النماذج المستضافة رسومًا لكل رمز، لذا تخفّض الفرق الإنفاق باستخدام تخزين المطالبات المؤقت، والتخزين المؤقت الدلالي، وتوجيه النماذج الذي يرسل الطلبات السهلة إلى نماذج أصغر. ويضع نمط مرتبط نموذجًا منخفض التكلفة أمام نموذج مرتفع التكلفة: يشغّل قالب مراقبة YOLO → VLM في وكلاء Ultralytics Platform نموذج YOLO26 أولًا، ولا يستدعي نموذج الرؤية واللغة إلا للصور التي يكتشف فيها YOLO شخصًا، مع احتساب استخدام النموذج اللغوي على مفتاح المورّد الخاص بمساحة العمل. وتسير أعمال السلامة بالتوازي: إذ تصفي ضوابط الذكاء الاصطناعي المدخلات والمخرجات في كل طلب، ويبحث اختبار الفريق الأحمر عن محاولات كسر الحماية قبل كل إصدار.
التتبع والبوابات وتقديم النماذج#
تعتمد قابلية رصد تطبيقات النماذج اللغوية الكبيرة على آثار التنفيذ. إذ يتحول كل طلب إلى شجرة من مقاطع تتضمن المطالبة، وكل استدعاء للنموذج، وكل عملية استرجاع من قاعدة بيانات متجهية، وكل استدعاء أداة بواسطة وكيل ذكاء اصطناعي، مع إرفاق أعداد الرموز وزمن الاستجابة والتكلفة. وتوحّد الاصطلاحات الدلالية للذكاء الاصطناعي التوليدي في OpenTelemetry أسماء السمات الخاصة بالنماذج واستخدام الرموز، وتخزن أدوات مثل LangSmith وLangfuse وArize Phoenix وMLflow Tracing الآثار وتتيح البحث فيها. وتغذي الآثار أيضًا التقييم المباشر: إذ تُقيّم عينات من إجابات الإنتاج باستخدام الحكّام ومعايير التقييم نفسها في مجموعة الاختبارات غير المتصلة، ويرفق تقييم المستخدم الإيجابي أو السلبي بالأثر الذي أنتج الإجابة.
تقع بوابة الذكاء الاصطناعي بين التطبيقات ومزودي النماذج، فتحتفظ بمفاتيح API وتفرض حدود المعدل وخطط الرجوع وميزانيات الإنفاق من مكان واحد. وتشغّل الفرق التي تستضيف نماذج ذات أوزان مفتوحة هذه النماذج على خوادم استدلال مثل vLLM وSGLang، التي تستخدم التجميع المستمر وذاكرة التخزين المؤقت المصفح لمفتاح-قيمة (KV) لخدمة طلبات متزامنة كثيرة على كل وحدة GPU.
