U-Net

U-Net هي شبكة عصبية التفافية (CNN) مخصصة لـالتقسيم الدلالي، أي إسناد فئة إلى كل بكسل في الصورة. قدّمها أولاف رونِبِرغر وفيليب فيشر وتوماس بروكس من جامعة فرايبورغ عام 2015 في U-Net: الشبكات الالتفافية لتقسيم الصور الطبية الحيوية. يقلّص المُرمِّز الصورة لالتقاط محتواها، ثم يوسّع مفكّك الترميز النتيجة إلى الدقة الكاملة، وتنقل الوصلات التخطيّة التفاصيل الدقيقة للمُرمِّز إلى مفكّك الترميز عند كل مقياس، فتظهر حدود الكائنات حادة. حققت U-Net أداءً جيدًا عند التدريب على بضع عشرات من صور المجهر المشروحة، وفازت بفارق كبير في فئتين من تحدي تتبّع الخلايا ISBI لعام 2015، ولا تزال نموذجًا قياسيًا في تحليل الصور الطبية. وأصبح تصميمها لاحقًا شبكة إزالة الضوضاء في العديد من نماذج الانتشار.

آلية عمل U-Net#

تتكون الشبكة من نصفين متناظرين، مرسومين على شكل ذراعي حرف U:

• المسار المتقلّص (المُرمِّز): أزواج متكررة من الالتفافات بحجم 3×3 مع تنشيطات ReLU، يتبع كل زوج منها تجميع أقصى بحجم 2×2 يخفض الدقة إلى النصف. يتضاعف عدد القنوات عند كل مستوى، من 64 إلى 1,024، فتستبدل الشبكة التفاصيل المكانية بـمجال استقبالي أوسع وسمات أغنى.
• المسار المتوسّع (مفكّك الترميز): في كل مستوى، تضاعف عملية التفاف تصاعدي بحجم 2×2 الدقة وتخفض عدد القنوات إلى النصف، ثم تُدمج النتيجة مع خريطة سمات المُرمِّز من المستوى نفسه، وتجمعهما التفافتان بحجم 3×3. وتحول التفافة نهائية بحجم 1×1 سمات كل بكسل إلى درجات الفئات.

تتكون الشبكة الأصلية من 23 طبقة التفافية وأربع خطوات تجميع. واستخدمت التفافات بلا حشو، لذا أنتجت رقعة إدخال بحجم 572×572 خريطة تقسيم بحجم 388×388، وقُسّمت الصور الكبيرة إلى رقع متداخلة. أما معظم التطبيقات الحالية فتحشو الالتفافات كي يطابق الخرج حجم الإدخال.

الوصلات التخطيّة#

يتخلص التجميع من الموضع الدقيق لكل سمة. وعند عنق الزجاجة، تعرف الشبكة أن منطقة ما تحتوي على غشاء خلية، لكنها لا تعرف البكسلات التي يمر بها الغشاء. تنسخ الوصلات التخطيّة خريطة السمات عالية الدقة من كل مستوى في المُرمِّز عبر حرف U إلى مفكّك الترميز، الذي يجمع بين "ماذا" في المسار المكبّر و"أين" في المُرمِّز. تدمج U-Net الاثنين على بُعد القنوات، بينما تجمع الوصلات المتبقية في ResNet السمات داخل كتلة. يبني هذا الرمز المكتوب بـPyTorch مستوى مُرمِّز واحدًا وعنق زجاجة ومستوى مفكّك ترميز واحدًا:

import torch
from torch import nn

# One encoder level, a bottleneck, and one decoder level of a U-Net
encoder = nn.Sequential(nn.Conv2d(3, 16, 3, padding=1), nn.ReLU())
bottleneck = nn.Sequential(nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.ReLU())
upsample = nn.ConvTranspose2d(32, 16, kernel_size=2, stride=2)
decoder = nn.Sequential(nn.Conv2d(32, 16, 3, padding=1), nn.ReLU())
head = nn.Conv2d(16, 2, kernel_size=1)  # 2 classes, e.g. cell and background

image = torch.randn(1, 3, 128, 128)
skip = encoder(image)  # full-resolution features kept for the decoder
context = bottleneck(skip)  # half resolution, twice the channels, wider context

# Skip connection: concatenate upsampled context with the saved high-resolution features
merged = torch.cat([upsample(context), skip], dim=1)
logits = head(decoder(merged))
print(f"context {tuple(context.shape)} -> merged {tuple(merged.shape)} -> logits {tuple(logits.shape)}")

يطبع context (1, 32, 64, 64) -> merged (1, 32, 128, 128) -> logits (1, 2, 128, 128): تتراص قنوات السياق الـ16 المكبّرة مع قنوات الوصلة التخطيّة الـ16 لتصبح 32، ويحتوي الخرج على درجتي فئة لكل بكسل من بكسلات الإدخال البالغ عددها 128×128.

التدريب باستخدام بيانات قليلة#

احتوت مجموعة التدريب الأصلية للبنى العصبية في المجهر الإلكتروني على 30 صورة، كل منها بحجم 512×512 بكسل. وعوّضت U-Net ذلك بزيادة البيانات المكثفة، ولا سيما التشوهات المرنة العشوائية التي تحاكي انحناء الأنسجة، وبـدالة خسارة الانتروبيا المتقاطعة الموزونة التي تركز على الفجوات الخلفية الدقيقة بين الخلايا المتلامسة، ما يجعل الخلايا المتجاورة تظهر كمناطق منفصلة. وغالبًا ما تُدرّب نماذج التقسيم الطبي حاليًا باستخدام خسارة Dice، التي تقيس تداخل الأقنعة مباشرةً وتتعامل بكفاءة مع بنية صغيرة لا تشغل سوى نسبة قليلة من البكسلات.

المتغيرات والنماذج المتفرعة#

• 3D U-Net وV-Net: تستبدلان العمليات ثنائية الأبعاد بعمليات ثلاثية الأبعاد لتقسيم الأحجام، مثل صور الأشعة المقطعية والرنين المغناطيسي.
• Attention U-Net وUNet++: تضيفان بوابات انتباه أو مسارات تخطٍّ متداخلة ومتّصلة بكثافة لتحسين اختيار سمات المُرمِّز التي تصل إلى مفكّك الترميز.
• nnU-Net: إطار عمل يضبط المعالجة المسبقة والبنية والتدريب تلقائيًا لمجموعة بيانات جديدة. ووجدت دراسة في MICCAI 2024 أن نماذج U-Net المضبوطة جيدًا والمبنية على CNN ضمن هذا الإطار لا تزال تتفوق على بنيات Transformer وMamba الأحدث في التقسيم الطبي ثلاثي الأبعاد عند التحقق منها بصرامة.
• نماذج U-Net الانتشارية: تستخدم DDPM وStable Diffusion 1.x نموذج U-Net للتنبؤ بالضوضاء في صورة أو تمثيل كامن، مع إضافة طبقات انتباه كي يوجّه الموجّه عملية التوليد؛ ويضم نموذج U-Net في Stable Diffusion 1.x نحو 860 مليون معلمة، ويرتبط ControlNet بمُرمِّز U-Net هذا. وتستبدل المولّدات الأحدث U-Net بـTransformers الانتشارية.

U-Net مقارنةً بالنماذج ذات الصلة#

• الشبكات الالتفافية بالكامل (FCN): حوّلت FCN لعام 2014 المصنّفات إلى نماذج تتنبأ بكل بكسل، ودمجت التنبؤات الخشنة والدقيقة بإضافة خرائط درجات الفئات. أما U-Net فأنشأت مفكّك ترميز كاملًا مع دمج السمات عند كل مستوى.
• المشفّرات التلقائية: تتخذ أيضًا شكل مُرمِّز ومفكّك ترميز، لكنها تُدرّب على إعادة بناء مدخلاتها عبر عنق زجاجة ضيق. تتيح الوصلات التخطيّة للمشفّر التلقائي تجاوز عنق الزجاجة، بينما تحتاج إليها U-Net لإنتاج تسميات محاذية لكل بكسل.
• نماذج تقسيم المثيلات: تُخرج U-Net فئة واحدة لكل بكسل، لذا تشترك الكائنات المتلامسة من الفئة نفسها في التسمية ما لم يفصل بينها التدريب أو المعالجة اللاحقة.

تستخدم نماذج التقسيم الدلالي في Ultralytics YOLO26، التي يشير إليها لاحقة -sem، نسخة مختصرة من مفكّك ترميز U-Net. يرفع العنق خرج العمود الفقري ذي المقياس 1/32 مرتين، مع دمج سمات العمود الفقري عند المقياسين 1/16 و1/8 في أثناء ذلك، ثم يصنّف البكسلات عند مقياس 1/8 ويرفع درجات الفئات 8× لتطابق حجم الإدخال.

تطبيقات عملية#

• تحليل صور الأقمار الصناعية: تصنّف خرائط الغطاء الأرضي كل بكسل على أنه ماء أو غابة أو أرض زراعية أو مبانٍ لرصد إزالة الغابات والنمو الحضري.
• الفحص الصناعي: تقيس أقنعة البكسلات للخدوش والتشققات والتآكل الحجم والشكل الدقيقين للعيب، وهو ما لا يستطيع الصندوق المحيط تحديده.
• التصوير الطبي: تحدد نماذج U-Net حدود الأعضاء والأورام والآفات في صور الأشعة المقطعية والرنين المغناطيسي لتشخيصها والتخطيط للعلاج الإشعاعي، كما تفصل الخلايا الفردية في صور المجهر. وفي تحدي تتبّع الخلايا ISBI لعام 2015، حققت U-Net المدرّبة على 20 صورة موسومة جزئيًا لخلايا HeLa متوسط IoU قدره 77.5%، مقابل 46% لأفضل طريقة تالية.