Image Inpainting

تعديل الصور هو تقنية رؤية حاسوبية تعيد بناء المناطق المفقودة أو التالفة أو المخفية عمداً من الصورة بحيث تمتزج المنطقة المكتملة مع محيطها. بدلاً من مجرد تغطية البكسلات غير المرغوب فيها، يقدر نظام معالجة الصور محتوى بديلاً معقولاً من النسيج القريب، وبنية المشهد، وفي الأنظمة التوليدية، الأنماط المرئية المتعلمة. تشمل الأهداف الشائعة استعادة الصور التالفة، وإزالة الكائنات أو النصوص، وملء الفجوات التي تم إنشاؤها أثناء تحرير الصور.

كيف تعمل معالجة الصور#

عادةً ما يكون لسير عمل معالجة الصور مدخلان: الصورة الأصلية وقناع يحدد البكسلات المراد استبدالها. يحافظ النظام على البكسلات خارج القناع بينما يركب أو يعيد بناء المحتوى بداخله. تختلف اصطلاحات الأقنعة حسب الأداة، لذا يجب على المطورين التأكد مما إذا كانت البكسلات البيضاء أو السوداء أو الصفرية أو غير الصفرية تمثل المنطقة القابلة للتعديل.

تنقل طرق computer vision التقليدية الألوان والحواف والنسيج للداخل من حدود القناع. على سبيل المثال، يملأ OpenCV image inpainting workflow المناطق المقنعة باستخدام البكسلات المجاورة ويوفر خوارزميات مصممة لمواصلة الهياكل المحيطة. هذه النهج فعالة وغالباً ما تعمل بشكل جيد مع الخدوش والغبار والنصوص الدقيقة والثقوب الصغيرة. (docs.opencv.org)

تستنتج الأنظمة القائمة على التعلم سياقاً أعلى مستوى. قد يدرك النموذج أن المنطقة المقنعة تقع على أعمال الطوب أو العشب أو الملابس أو وجه شخص ويولد محتوى متوافقاً مع هذا التفسير. ومع ذلك، فإن الناتج معقول بدلاً من كونه استعادة للبكسلات الأصلية المجهولة.

الأقنعة ونهج النماذج#

تؤثر جودة القناع بقوة على النتيجة. قد يترك القناع الصغير جداً حواف الكائنات أو الظلال وراءه، بينما يزيل القناع كبير الحجم سياقاً مفيداً. يمكن إنشاء أقنعة دقيقة يدوياً أو توليدها باستخدام image segmentation. تعد Instance segmentation مفيدة بشكل خاص لأنها تنتج قناعاً منفصلاً على مستوى البكسل لكل كائن.

تصف Ultralytics SAM 2 documentation التجزئة الموجهة بالنقاط والمربعات لتحديد كائن تفاعلياً. بالنسبة لفئات الكائنات المعروفة، يُرجع Ultralytics YOLO segmentation task أقنعة الكائنات وإحداثيات المضلع. يمكن فرق العمل أيضاً إنشاء وتعديل أقنعة المضلع باستخدام Ultralytics Platform annotation editor، والذي يدعم التوضيح اليدوي والمساعد بواسطة SAM والمساعد بواسطة YOLO.

يمكن للعديد من عائلات النماذج تنفيذ عملية الملء الفعلية:

• Classical methods توسع البكسلات المجاورة أو الخطوط العريضة أو أنماط الكثافة السلسة. يتضمن scikit-image restorationAPI معالجة ثنائية توافقية للمناطق المقنعة.
• تعلم Generative adversarial networks إنتاج إكمال واقعي بصرياً من خلال المنافسة بين شبكات المولد والمميز.
• تحول Diffusion models الضوضاء داخل القناع تكرارياً إلى محتوى مشروط على الصورة المرئية، واختيارياً، موجه نصي.

مقارنة معالجة الصور بالمهام ذات الصلة#

تُعرف معالجة الصور بـ localized replacement. المهام ذات الصلة لها أهداف مختلفة:

• Object removal هو تطبيق لمعالجة الصور: تحدد التجزئة الكائن، وتملأ معالجة الصور الفجوة الناتجة.
• Image segmentation يحدد البكسلات التي تنتمي إلى كائن أو فئة ولكنه لا يستبدلها.
• Denoising يقلل الضوضاء المنتشرة مع الحفاظ عموماً على محتوى المشهد.
• يمد Outpainting المحتوى خارج اللوحة الأصلية بدلاً من إصلاح منطقة داخلية. يميز Google Cloud mask-based image editing guide بين إدراج المحتوى وإزالته وتوسعته واستبداله.
• Super-resolution يزيد من دقة الصورة وتفاصيلها بدلاً من استهداف قناع يحدده المستخدم.

تتبع إزالة النصوص نفس سير عمل إزالة الكائنات. يتم وضع قناع على النص، ثم يتوقع النظام الخلفية المحجوبة. إذا كان النص يغطي وجهاً فريداً أو رمزاً أو تفصيلاً للمستند، فلا يمكن استعادة المعلومات الأصلية بشكل موثوق.

التطبيقات الواقعية#

تنظيف صور التجزئة: يمكن للبائع عبر الإنترنت تجزئة كابل شارد أو انعكاس أو حامل دعم أو كائن خلفية من صورة منتج ومعالجة المنطقة. قد تناسب العيوب الصغيرة Adobe Content-Aware Fill، بينما يمكن لـ Adobe generative image editing التعامل مع المناطق الأكبر والأكثر تعقيداً دلالياً. (helpx.adobe.com)

استعادة الصور: يمكن للأرشيفات فرق التصوير وضع أقنعة على الخدوش أو بقع الغبار أو عيوب المستشعر أو البكسلات المفقودة في الصور الممسوحة ضوئياً وإطارات الفحص المجهري. يمكن أن يحسن هذا القراءة والعرض، ولكن لا ينبغي معاملة المناطق المعاد بناؤها كدليل ملاحظ. في الصور الطبية أو العلمية أو الجنائية، يمكن أن يتغير التفسير بسبب هيكل مخترع ويجب توثيقه بوضوح.

سير العمل العملي والقيود#

يستخدم المثال التالي YOLO26 لإنشاء قناع لشخص وOpenCV لملء تلك المنطقة. قم بتثبيت التبعيات باستخدام pip install ultralytics opencv-python numpy.

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Select the first detected person and convert its polygon to a mask.
class_ids = result.boxes.cls.cpu().numpy().astype(int)
person_index = next(i for i, class_id in enumerate(class_ids) if class_id == 0)
contour = result.masks.xy[person_index].astype(np.int32)
contour = contour.reshape(-1, 1, 2)

image = result.orig_img.copy()
mask = np.zeros(image.shape[:2], dtype=np.uint8)
cv2.drawContours(mask, [contour], -1, 255, cv2.FILLED)

inpainted = cv2.inpaint(image, mask, 3, cv2.INPAINT_TELEA)
cv2.imwrite("inpainted.jpg", inpainted)

يجمع هذا بين توطين الكائنات والنمط الموثق لـ building masks from segmentation contours. قد تعاني التعبئة التقليدية مع الكائنات الكبيرة أو الهندسة المتكررة أو الظلال أو الانعكاسات أو الوجوه. تتعامل الطرق التوليدية مع سياق أوسع ولكنها يمكن أن تقدم تفاصيل مصطنعة. حافظ على الأصل، وافحص الحدود بدقة كاملة، وسجل التعديلات الهامة باستخدام آليات المصدر مثل C2PA Content Credentials، خاصة عندما تكون الأصالة مهمة. يؤكد NIST guidance on synthetic-content transparency أيضاً على المصدر ووضع العلامات كضمانات مهمة للوسائط المعدلة بشكل هادف. (c2pa.org)