AI Gateway

بوابة الذكاء الاصطناعي هي وسيط يعمل بين التطبيقات ونماذج الذكاء الاصطناعي التي تستدعيها. ترسل التطبيقات كل طلب إلى نقطة نهاية واحدة، وتتولى البوابة إدارة بيانات اعتماد المزوّد، واختيار النموذج، وإعادة المحاولة عند الإخفاق، وفرض حدود الاستخدام، وتقديم الإجابات المخزنة مؤقتًا، وفحص المحتوى، وتسجيل كل استدعاء. وهي شكل متخصص من بوابة API مصمم للذكاء الاصطناعي: إذ يعتمد تسعير الطلبات الموجّهة إلى النموذج اللغوي الكبير (LLM) وتحديد حدود الطلبات على عدد الرموز، وغالبًا ما تُبث الاستجابات، وتختلف تنسيقات الحمولة باختلاف المزوّد، كما يلزم فحص المطالبات والإجابات نفسها للكشف عن حقن المطالبات وتسرب البيانات الشخصية. وعادةً ما توفّر البوابات المستضافة مثل Cloudflare AI Gateway وVercel AI Gateway وOpenRouter، والوسطاء المستضافون ذاتيًا مثل LiteLLM وKong AI Gateway وEnvoy AI Gateway، واجهة API متوافقة مع OpenAI، لذا لا تحتاج شفرة العميل الحالية إلا إلى تغيير عنوان URL الأساسي.

الوظائف الأساسية#

تجمع معظم البوابات اللبنات الأساسية نفسها:

• واجهة API ومفاتيح موحّدة: يغطي تنسيق طلب واحد العديد من المزوّدين. تخزن البوابة بيانات اعتماد المزوّدين وتصدر مفاتيحها الخاصة لكل فريق أو تطبيق، ما يتيح إلغاء الوصول أو قياسه دون المساس بحسابات المزوّدين.
• توجيه النماذج والبدائل الاحتياطية: يُرسل كل طلب إلى نموذج يُختار وفق قواعد أو تكلفة أو موجّه متعلّم، ويُعاد إرسال الاستدعاء الذي أخفق أو بلغ حد المعدل إلى نموذج أو مزوّد احتياطي.
• ميزانيات الرموز: تحسب الحدود عدد الرموز في الدقيقة والإنفاق خلال فترة زمنية. وتُرجع سياسة llm-token-limit في Azure API Management الرمز 429 عند تجاوز حد الرموز في الدقيقة، والرمز 403 عند نفاد الحصة، وقد تتجاوز الطلبات المتزامنة الحد لفترة وجيزة، لأن تكلفة الرموز للاستدعاء لا تُعرف إلا عند اكتماله.
• التخزين المؤقت الدلالي: تعيد ذاكرات التخزين المؤقت المطابقة التامة والقائمة على المعنى إجابات مخزنة للمطالبات المتكررة أو المتكافئة، من دون استدعاء نموذج.
• ضوابط الحماية: تُفحص المطالبات والاستجابات للكشف عن التعليمات المحقونة والبيانات الشخصية وانتهاكات السياسات قبل تمريرها.
• قابلية الرصد: يُسجَّل كل استدعاء مع نموذجه وعدد رموزه وزمن الاستجابة وتكلفته. وتوحّد أعراف OpenTelemetry الدلالية للذكاء الاصطناعي التوليدي أسماء السمات مثل gen_ai.usage.input_tokens، ما يجعل هذه السجلات متوافقة مع أدوات المراقبة المختلفة.

يمر الطلب بهذه الفحوصات بالترتيب التالي:

بوابات النماذج المستضافة ذاتيًا#

تحتاج الفرق التي تشغّل نماذجها الخاصة إلى بوابة تفهم خوادم النماذج. وتحول إضافة Inference Extension لواجهة Kubernetes Gateway API بوابات مثل Envoy Gateway وGKE Gateway إلى بوابات للاستدلال: إذ يقرأ منتقي نقاط النهاية المقاييس من كل نسخة متماثلة لخادم نموذج، مثل حالة ذاكرة التخزين المؤقت للبادئة ومهايئات LoRA المحمّلة، ويرسل كل طلب إلى النسخة التي تستطيع خدمته بأسرع وقت. ويحافظ هذا على ارتفاع معدل إعادة استخدام ذاكرة التخزين المؤقت KV على خوادم مثل vLLM، وهو ما لا يستطيع موازن تحميل التناوب الدوري فعله لأنه يتجاهل ما خزّنته كل نسخة متماثلة مؤقتًا.

تنطبق ضوابط البوابة نفسها على واجهات API الخاصة بـالرؤية الحاسوبية. وتضع Ultralytics Platform هذه الضوابط أمام واجهة API المشتركة للنماذج: إذ تتم مصادقة الطلبات باستخدام أي مفتاح API نشط لمساحة عمل، ويُحد لكل مفتاح 20 طلبًا في الدقيقة، وتتلقى الاستدعاءات الخاضعة للتقييد استجابة 429 مع ترويسة Retry-After. أما الطلبات المرسلة مباشرةً إلى نقطة نهاية مخصصة فتتجاوز هذا المحدِّد.

بوابة الذكاء الاصطناعي والمصطلحات ذات الصلة#

تتولى بوابة API المصادقة وحدود المعدل والتوجيه لأي خدمة ويب، وتحسب الطلبات. أما بوابة الذكاء الاصطناعي فتضيف حساب الرموز، وترجمة طلبات المزوّدين، ودعم البث، وفحص المحتوى. ويشغّل تقديم النماذج النموذج ويعيد التنبؤات، بينما تقع البوابة أمام نقطة نهاية واحدة أو أكثر للتقديم. وينسّق تنسيق وكلاء الذكاء الاصطناعي العمل متعدد الخطوات عبر الأدوات والنماذج، ويمكن تمرير استدعاءات النموذج الفردية التي ينفذها الوكيل عبر بوابة. ويربط بروتوكول سياق النموذج الوكلاء بالأدوات، كما تحكم بعض البوابات، ومنها Azure API Management، خوادم MCP باستخدام المفاتيح والحدود والسجلات نفسها.

تضيف البوابات قفزة شبكية واحدة إلى كل استدعاء، وتصبح اعتمادًا مشتركًا بين جميع ميزات الذكاء الاصطناعي، لذا تُشغّلها بيئات الإنتاج بنسخ احتياطية موزعة عبر مناطق متعددة. كما تطّلع البوابات المستضافة على كل مطالبة واستجابة، ما يجعلها ضمن نطاق مراجعات خصوصية البيانات، ويمكن لبوابات مثل Cloudflare AI Gateway وLiteLLM تعطيل تخزين نصوص المطالبات والاستجابات.