LlamaIndex

LlamaIndex هو إطار عمل بيانات مرن وشامل مصمم لربط مصادر البيانات المخصصة أو الخاصة أو ذات الصلة بنطاق معين بـ نماذج اللغات الكبيرة (LLMs). في حين أن نماذج LLMs مثل تلك المقدمة من OpenAI يتم تدريبها على مجموعات بيانات عامة ضخمة، إلا أنها غالباً ما تفتقر إلى الوصول إلى وثائق الأعمال الداخلية، أو الأخبار الحديثة، أو قواعد البيانات المملوكة. يعمل إطار عمل البيانات LlamaIndex على سد هذه الفجوة من خلال توفير أدوات لاستيعاب البيانات غير المهيكلة وتنظيمها والاستعلام عنها، مما يشكل أساساً حيوياً لبناء تطبيقات ذكاء اصطناعي موثوقة باستخدام توليد الاسترجاع المعزز (RAG).

Link to this sectionكيف يعمل LlamaIndex#

لمعالجة البيانات المتخصصة والاستفادة منها، يعتمد LlamaIndex على مسار عمل مباشر يقوم بإعداد المعلومات لنماذج تعلم الآلة. تتضمن سير العمل عموماً ثلاث خطوات رئيسية:

• موصلات البيانات: تُعرف أيضاً باسم LlamaHub، وتتيح هذه الميزة للمطورين استيعاب البيانات بسلاسة من مئات المصادر، بما في ذلك ملفات PDF، وAPIs، وقواعد بيانات SQL، وملفات النصوص القياسية.
• فهارس البيانات: بمجرد استيعاب البيانات، يقوم الإطار بتنظيمها في هياكل قابلة للبحث، حيث يقوم غالباً بتحويل النصوص إلى تضمينات رياضية مخزنة داخل قاعدة بيانات متجهة.
• محركات الاستعلام: أثناء تفاعل المستخدم، يقوم المحرك باسترجاع المعلومات المفهرسة الأكثر صلة وتزويد نموذج LLM بها كـ سياق، مما يضمن أن النموذج يولد ردوداً دقيقة للغاية ومستندة إلى البيانات.

بالنسبة للمطورين الذين يسعون إلى تنفيذ هذه الأنظمة، فإن مراجعة نظرة عامة تقنية من NVIDIA حول مسارات RAG أو استكشاف IBM المفصل لـ RAG توفر معرفة أساسية ممتازة حول سبب أهمية فهرسة البيانات بكفاءة.

Link to this sectionالتمييز بين LlamaIndex والمفاهيم ذات الصلة#

يتطلب فهم نظام الذكاء الاصطناعي البيئي التمييز بين LlamaIndex وأدوات تعلم الآلة (ML) الشائعة الأخرى:

• LlamaIndex مقابل LangChain: على الرغم من أن كلاهما إطارا عمل شائعان للتنظيم، إلا أنهما يخدمان أغراضاً أساسية مختلفة. يتخصص LlamaIndex بشكل كبير في فهرسة البيانات، واستيعابها، والاسترجاع السريع لـ RAG. بينما يعد LangChain إطار عمل أكثر عمومية يركز على بناء سير عمل عميل معقد، وأنظمة ذاكرة، واستخدام الأدوات. وغالباً ما يتم استخدامهما معاً في تطبيقات الوكلاء المتعددين المتقدمة.
• LlamaIndex مقابل قواعد البيانات المتجهة: قاعدة البيانات المتجهة هي طبقة التخزين الفعلية التي تحمل تضمينات البيانات. أما LlamaIndex فهو طبقة المنطق التي تحدد كيفية تقسيم البيانات، وإرسالها إلى قاعدة البيانات، ثم استرجاعها بدقة بناءً على استعلامات المستخدم.

Link to this sectionتطبيقات الذكاء الاصطناعي والتعلم الآلي في العالم الحقيقي#

يُستخدم LlamaIndex على نطاق واسع عبر الصناعات لبناء مساعدي ذكاء اصطناعي واعين بالسياق يتطلبون قواعد معرفية محددة.

• البحوث المالية المؤتمتة: يستخدم المحللون الماليون الإطار لاستيعاب مئات التقارير المالية للشركات وملفات SEC الطويلة. عند الاستعلام، يمكن لنموذج LLM استخراج ومقارنة مقاييس الإيرادات المحددة عبر أرباع متعددة على الفور، وهي مهمة يتم استكشافها بشكل متكرر في الأبحاث الحديثة حول التفكير التكراري في نماذج LLMs.
• RAG متعدد الوسائط في التصنيع: في المصانع الذكية، يجمع المطورون بين أنظمة الرؤية الحاسوبية (CV) وLlamaIndex. من خلال اكتشاف العيوب في خط التجميع وتمرير الملخصات المرئية إلى نموذج LLM، يمكن للنظام البحث فوراً في أدلة الإصلاح الرقمية لتزويد الفنيين بتعليمات استكشاف الأخطاء وإصلاحها خطوة بخطوة.

Link to this sectionدمج نماذج الرؤية مع LlamaIndex#

غالباً ما تمزج الأنظمة الذكية الحديثة بين الرؤية واللغة. يمكن للمطورين استخدام نماذج رؤية أساسية قوية مثل Ultralytics YOLO26 لإدراك البيئات المادية واستخراج معلومات مهيكلة، والتي يتم تمريرها بعد ذلك إلى مسار عمل LlamaIndex للإجابة على استعلامات المستخدم بناءً على الواقع المرئي. لإدارة مجموعات البيانات المرئية بفعالية، وتعليق الصور، ونشر نماذج الرؤية هذه، تعتمد الفرق على الأدوات السلسة التي توفرها منصة Ultralytics.

يوضح مقتطف Python التالي كيفية تشغيل مهمة اكتشاف الكائنات باستخدام حزمة ultralytics، وتنسيق المخرجات كملخص نصي، وفهرستها باستخدام LlamaIndex حتى يتمكن نموذج LLM لاحق من الاستدلال حول المشهد المرئي.

from llama_index.core import Document, VectorStoreIndex
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model
vision_model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = vision_model("https://ultralytics.com/images/bus.jpg")

# Extract detected class names and format as a text summary
detected_objects = [vision_model.names[int(cls)] for cls in results[0].boxes.cls]
summary = f"The image contains the following objects: {', '.join(detected_objects)}."

# Create a LlamaIndex Document and build an index for downstream RAG querying
doc = Document(text=summary)
index = VectorStoreIndex.from_documents([doc])
print("Successfully created a vision-grounded LlamaIndex!")

من خلال ربط أدوات الإدراك المادي المبنية بـ PyTorch بأطر عمل البيانات المعرفية المفصلة في وثائق LlamaIndex الرسمية، يمكن للمطورين إنشاء تطبيقات ذكاء اصطناعي عالية القدرة وواعية بالسياق، والتي تربط أصلاً بين العالمين الرقمي والمادي.