Data Annotation

تعليق البيانات هو عملية إضافة معلومات الحقيقة الأساسية إلى البيانات الخام، مثل اسم فئة لصورة، أو مربع أو مضلع حول كل كائن، أو نقاط مفتاحية على جسم، أو وسم لمقطع من النص، لكي تتمكن نماذج التعلم الخاضع للإشراف من التعلم منها. وهو مرادف لـوسم البيانات، وتميل فرق الرؤية الحاسوبية إلى استخدام مصطلح «التعليق» للإشارة إلى الأشكال الهندسية المرسومة مثل المربعات والأقنعة. يتكون التعليق من جزأين: الشكل الهندسي أو الوسم الذي يرسمه شخص أو نموذج، وتنسيق الملف الذي يخزنه لأغراض التدريب.

أنواع التعليقات بحسب المهمة#

يحدد الناتج الذي يجب على النموذج إنتاجه ما يرسمه المعلّقون. يتطلب التفصيل وقتًا، لذا تختار الفرق أبسط نوع من التعليقات ينقل المعلومات التي يحتاج إليها النموذج.

• المربعات المحيطة: مربع وفئة واحدة لكل كائن في اكتشاف الكائنات. يكتب تنسيق YOLO ملفًا نصيًا واحدًا لكل صورة، مع سطر class x_center y_center width height لكل كائن، وتُطبَّع الإحداثيات إلى النطاق 0–1 بحسب حجم الصورة. يخزّن COCO JSON القيمة [x_min, y_min, width, height] بالبكسل، بينما يخزّن Pascal VOC XML إحداثيات البكسل لركنين.
• المضلعات والأقنعة: حدود خارجية لـتقسيم الكائنات، أو فئة لكل بكسل في التقسيم الدلالي. يخزّن YOLO وCOCO المضلعات على هيئة قوائم من الرؤوس، كما يخزّن COCO الأقنعة بترميز أطوال التكرار (RLE) لمناطق الحشود.
• تسميات الفئات: فئة واحدة لكل صورة في تصنيف الصور، وتُخزَّن غالبًا باسم المجلد الذي يحتوي على الصورة، وفق تنظيم المجلدات المستخدم في مجموعات بيانات التصنيف على نمط ImageNet.
• النقاط المفتاحية: موضع x وy وعلامة رؤية لكل معلم في تقدير الوضعية. تحدد تعليقات الأشخاص في COCO 17 نقطة مفتاحية، مع تصنيف كل نقطة على أنها غير معلّمة، أو معلّمة لكنها مخفية، أو مرئية.
• المربعات الموجّهة: أربع نقاط زوايا تلائم الكائنات المدارة مثل السفن والمركبات في الصور الجوية، وتُستخدم في اكتشاف المربعات المحيطة الموجّهة.

تكتسب دقة التعليقات التوضيحية أهميتها القصوى مع الأجسام الصغيرة. يؤدي إزاحة مربع أبعاده 20 × 20 بكسل بمقدار 3 بكسلات أفقيًا و3 بكسلات رأسيًا إلى خفض التقاطع على الاتحاد (IoU) بينه وبين المربع الأصلي إلى 0.57؛ لذا يُعد التنبؤ المطابق للكائن الحقيقي حالة إخفاق عند 8 من عتبات IoU العشر، من 0.60 إلى 0.95، التي يُحسب متوسطها في متوسط الدقة (mAP) على COCO. وتضمن إرشادات مكتوبة تحدد كل فئة وتحسم الحالات الحدية، مثل مدى إحكام إحاطة الأجسام المحجوبة جزئيًا، اتساق آلاف التعليقات التوضيحية.

التعليقات لما يتجاوز الصور#

• الفيديو: مربعات أو أقنعة على كل إطار، تربطها معرّفات التتبع التي تتابع كل كائن بمرور الوقت من أجل تتبّع كائنات متعددة.
• الليدار والأبعاد الثلاثية: متوازيات مستطيلات في السحب النقطية، لكل منها مركز وحجم وزاوية اتجاه، من أجل اكتشاف الكائنات ثلاثية الأبعاد في القيادة والروبوتات.
• النص: مقاطع تحددها إزاحات الأحرف ونوع الكيان من أجل التعرّف على الكيانات المسماة (NER)، أو تسمية واحدة لكل مستند في مهام مثل تحليل المشاعر.
• الصوت: مقاطع ذات طوابع زمنية تتضمن نصوصًا مفرّغة أو هويات المتحدثين من أجل التعرّف على الكلام.
• تفضيلات النموذج: يختار المعلّقون الأفضل من بين استجابتي نموذج، منتجين بيانات المقارنة المستخدمة في التعلم المعزز من التغذية الراجعة البشرية (RLHF).

التعليق التلقائي#

يبدأ التعليق بمساعدة النموذج باقتراحات يقدمها النموذج، ثم يراجعها الأشخاص ويصححونها. يقترح الكاشف مربعات للفئات التي يعرفها بالفعل، ويحوّل نموذج تقسيم قابل للتوجيه مثل Segment Anything من Meta مربعًا أو نقرة إلى قناع، مستعيضًا عن تتبع المضلع رأسًا برأس. تربط الدالة auto_annotate في حزمة Ultralytics بين الخطوتين: يعثر كاشف YOLO26 على الكائنات ويصنفها، ثم يحوّل SAM 2.1، الذي يعمل ضمن حزمة Ultralytics، كل مربع إلى مضلع يُحفظ في تنسيق تقسيم YOLO.

from pathlib import Path

from ultralytics.data.annotator import auto_annotate
from ultralytics.utils import ASSETS

# Detect objects in the bundled sample images, then turn each box into a SAM 2.1 polygon
auto_annotate(data=ASSETS, det_model="yolo26n.pt", sam_model="sam2.1_b.pt", output_dir="auto_labels")

# Read the annotation file written for the bus image
rows = Path("auto_labels/bus.txt").read_text().splitlines()
print(f"{len(rows)} objects annotated")
print(rows[0][:80])

يمثل كل صف في bus.txt فهرس فئة COCO تتبعه أزواج إحداثيات x وy لرؤوس المضلع، بعد تطبيعها إلى المجال 0–1، لتكون جاهزة لمراجعة المعلّق وتصحيحها قبل التدريب. ولا تُنشأ تسميات للاكتشافات التي تقل عن عتبة الثقة الافتراضية البالغة 0.25، لذلك لا يزال يلزم رسم الأجسام التي فات اكتشافها يدويًا. ويمكن لمنصة Ultralytics أيضًا وسم مجموعات بيانات الكشف تلقائيًا باستخدام نماذج الرؤية واللغة وكواشف المفردات المفتوحة التي لا تحتاج إلا إلى أسماء الفئات، وتوضح نتائج معيار VLM مدى دقة كل منها في وسم الصور الواقعية.

تعليق البيانات والمصطلحات ذات الصلة#

• وسم البيانات: مرادف، وهو أكثر شيوعًا عند الحديث عن وسوم الفئات لعناصر كاملة، مثل تصنيف رسالة بريد إلكتروني على أنها غير مرغوب فيها.
• زيادة البيانات: تحويل الصور المعلّقة وتعليقاتها معًا، مثل عكس إحداثيات المربع عند قلب الصورة أفقيًا، لزيادة تنوع الحقيقة الأساسية المتاحة.
• التعلم شبه الخاضع للإشراف: يعلّق النموذج البيانات غير الموسومة بنفسه، ويتدرب على تنبؤاته الواثقة، المسماة تسميات زائفة، من دون مراجعة بشرية.
• البيانات الاصطناعية: صور مُصيّرة أو مولّدة تأتي تعليقاتها من المولّد، الذي يعرف الموضع والمخطط الدقيقين لكل كائن.