اكتشف كيف تشكل بحيرات البيانات الأساس للذكاء الاصطناعي والتعلم الآلي. تعلم كيفية الاستفادة من البيانات الأولية لتدريب Ultralytics وتبسيط سير عمل الرؤية الحاسوبية.
بحيرة البيانات هي مستودع تخزين مركزي يحتفظ بكمية هائلة من البيانات الأولية بتنسيقها الأصلي حتى يتم الاحتياج إليها. على عكس أنظمة التخزين التقليدية التي تتطلب تنظيم البيانات قبل إدخالها، تقبل بحيرة البيانات البيانات "كما هي"، بما في ذلك البيانات المنظمة (الصفوف والأعمدة) والبيانات شبه المنظمة (CSV، السجلات، XML، JSON) والبيانات غير المنظمة (رسائل البريد الإلكتروني، المستندات، ملفات PDF) والبيانات الثنائية (الصور، الصوت، الفيديو). هذه المرونة في البنية تجعل بحيرات البيانات حجر الزاوية في استراتيجيات البيانات الضخمة الحديثة استراتيجيات البيانات الضخمة الحديثة ، خاصة بالنسبة للمؤسسات التي تستفيد من الذكاء الاصطناعي (AI) و التعلم الآلي (ML). من خلال فصل التقاط البيانات عن استخدامها، يمكن للمؤسسات تخزين كميات هائلة من المعلومات بتكلفة منخفضة نسبيًا وتحديد أسئلة التحليل المحددة لاحقًا.
في سياق تطوير الذكاء الاصطناعي، تكمن القيمة الأساسية لبحيرة البيانات في قدرتها على دعم عمليات التعلم العميق (DL). تتطلب الشبكات العصبية المتقدمة بيانات تدريب متنوعة وكبيرة الحجم لتحقيق دقة عالية. تعمل بحيرة البيانات كمكان مؤقت حيث توجد الأصول الأولية — مثل ملايين الصور عالية الدقة لرؤية الكمبيوتر (CV) أو آلاف الساعات الصوتية للتعرف على الكلام— قبل أن يتم معالجتها.
يستخدم علماء البيانات منهجيات "schema-on-read" داخل بحيرات البيانات. وهذا يعني أن الهيكل يتم تطبيقه على البيانات فقط عند قراءتها للمعالجة، وليس عند كتابتها للتخزين. وهذا يتيح مرونة هائلة ؛ حيث يمكن معالجة نفس مجموعة البيانات الأولية بطرق متعددة لمهام مختلفة لنمذجة التنبؤ دون تغيير المصدر الأصلي. علاوة على ذلك، غالبًا ما تتكامل بحيرات البيانات القوية مع خدمات الحوسبة السحابية مثل Amazon S3 أو Azure Blob Storage، مما يتيح المعالجة المتوازية القابلة للتطوير اللازمة لتدريب النماذج الثقيلة مثل YOLO26.
على الرغم من الخلط بينهما في كثير من الأحيان، فإن بحيرة البيانات تختلف عن مستودع البيانات. يخزن مستودع البيانات البيانات في جداول منظمة ويتم تحسينه لإجراء استعلامات SQL سريعة وإعداد تقارير ذكاء الأعمال. ويستخدم "مخطط عند الكتابة"، مما يعني أنه يجب تنظيف البيانات وتحويلها عبر عملية ETL (استخراج، تحويل، تحميل) قبل إدخالها إلى النظام.
على العكس من ذلك، يتم تحسين بحيرة البيانات من حيث حجم التخزين والتنوع. وهي تدعم التعلم غير الخاضع للإشراف والتحليل الاستكشافي حيث قد لا يكون الهدف محددًا بعد. على سبيل المثال، قد يخبرك مستودع البيانات بعدد المنتجات المباعة الشهر الماضي، بينما تحتفظ بحيرة البيانات بسجلات مشاعر العملاء الأولية وبيانات الصور التي تساعد نموذج الذكاء الاصطناعي على فهم سبب بيعها.
تعد بحيرات البيانات أداة فعالة في مختلف الصناعات التي تعمل على توسيع حدود الأتمتة:
عند العمل مع Ultralytics غالبًا ما يقوم المستخدمون بسحب مجموعات فرعية من البيانات الأولية من بحيرة البيانات الخاصة بمؤسستهم لإنشاء مجموعات بيانات مشروحة للتدريب. بمجرد استرداد الصور الأولية وتصنيفها، يمكن استخدامها لتدريب النماذج الحديثة.
يوضح المثال التالي كيف يمكن للمطور تحميل مجموعة بيانات محلية (محاكاة عملية جلب من بحيرة البيانات) لتدريب نموذج YOLO26 على مهمة الكشف.
from ultralytics import YOLO
# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")
# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)
# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")
.webp)