GELU (Gaussian Error Linear Unit)

وحدة الخطأ الخطي الغاوسي (GELU) هي دالة تنشيط متقدمة تؤدي دورًا محوريًا في أداء أنظمة الذكاء الاصطناعي (AI) الحديثة، ولا سيما تلك القائمة على بنية Transformer. بخلاف الدوال التقليدية التي تطبق عتبة صارمة وحتمية على مدخلات العصبونات، تضيف GELU جانبًا احتماليًا مستوحًى من خصائص التوزيع الغاوسي. ومن خلال ترجيح المدخلات وفقًا لمقدارها بدلًا من تمريرها أو حجبها ببساطة، توفر GELU لاخطية أكثر سلاسة تساعد في تحسين نماذج التعلم العميق (DL). وتتيح هذه الخاصية الفريدة للشبكات نمذجة أنماط البيانات المعقدة بفاعلية أكبر، مما يسهم إسهامًا كبيرًا في نجاح نماذج الأساس الضخمة.

آلية عمل GELU#

في صميم أي شبكة عصبية، تحدد دوال التنشيط ما إذا كان العصبون «يُطلِق» إشارة استنادًا إلى إشارة الإدخال الخاصة به. تعمل الدوال الأقدم مثل الوحدة الخطية المصححة (ReLU) كمفتاح؛ إذ تُخرج صفرًا لأي إدخال سالب، وتُخرج الإدخال نفسه للقيم الموجبة. وعلى الرغم من كفاءتها، قد يعيق هذا القطع الحاد ديناميكيات التدريب.

تحسّن GELU هذا الأسلوب من خلال تحجيم الإدخال بدالة التوزيع التراكمي لتوزيع غاوسي. وبصورة حدسية، يعني ذلك أنه كلما انخفضت قيمة الإدخال، زاد احتمال إسقاط العصبون، لكن ذلك يحدث تدريجيًا بدلًا من حدوثه بشكل مفاجئ. وينشئ هذا الانحناء دالة ملساء غير رتيبة قابلة للاشتقاق عند جميع النقاط. وتسهّل هذه السلاسة الانتشار العكسي للتدرجات بصورة أفضل، مما يساعد على التخفيف من مشكلات مثل مشكلة تلاشي التدرج التي قد توقف تدريب الشبكات العميقة.

التطبيقات الواقعية#

جعل مشهد التحسين الأكثر سلاسة الذي توفره GELU منها الخيار الافتراضي لبعض أكثر تطبيقات التعلم الآلي (ML) تقدمًا.

• نماذج اللغة الكبيرة (LLMs): اكتسبت GELU شهرة واسعة مع تقديم BERT (تمثيلات المشفّر ثنائي الاتجاه من المحوّلات) على يد باحثين في Google. وهي الآن مكوّن قياسي في سلسلة GPT وغيرها من نماذج النصوص التوليدية. وفي مهام مثل تلخيص النصوص أو تحليل المشاعر، تساعد GELU النموذج على التقاط الفروق الدقيقة في تمثيلات اللغة التي قد تفوت دوال التنشيط الصارمة.
• محوّلات الرؤية (ViT): في مجال الرؤية الحاسوبية، تعتمد النماذج التي تكيّف بنية Transformer لتصنيف الصور اعتمادًا كبيرًا على GELU. ومن خلال معالجة الصور كسلاسل من الرقع، تستخدم هذه النماذج GELU للحفاظ على معلومات سمات غنية عبر الطبقات العميقة، مما يتيح دقة عالية في معايير قياس مثل ImageNet.

مقارنة بالمصطلحات ذات الصلة#

غالبًا ما يتطلب فهم GELU تمييزها عن دوال التنشيط الشائعة الأخرى الواردة في مسرد Ultralytics.

• GELU مقابل ReLU: تتميز ReLU ببساطة حسابية أكبر، وتنشئ تناثرًا (أصفارًا دقيقة)، مما قد يكون فعالًا. إلا أن «الزاوية الحادة» عند الصفر قد تبطئ التقارب. وتوفر GELU تقريبًا سلسًا يحقق عادةً دقة أعلى في المهام المعقدة، وإن كان ذلك بتكلفة حسابية أعلى قليلًا.
• GELU مقابل SiLU (Swish): تتشابه الوحدة الخطية السيغمويدية (SiLU) بنيويًا بدرجة كبيرة مع GELU، وتشترك معها في خصائص السلاسة وعدم الرتابة. وبينما تهيمن GELU في معالجة اللغة الطبيعية (NLP)، يُفضَّل استخدام SiLU كثيرًا في كاشفات الأجسام المحسّنة بدرجة كبيرة مثل YOLO26، بفضل كفاءتها على الأجهزة الطرفية وأدائها الممتاز في مهام الكشف.
• GELU مقابل Leaky ReLU: تحاول Leaky ReLU معالجة مشكلة «العصبون الميت» في ReLU القياسية من خلال السماح بميل خطي صغير وثابت للمدخلات السالبة. وعلى النقيض من ذلك، تكون GELU غير خطية بالنسبة إلى القيم السالبة، مما يوفر استجابة أكثر تعقيدًا وتكيفًا، ويؤدي غالبًا إلى تعلم تمثيلات أفضل في الشبكات العميقة جدًا.

مثال على التنفيذ#

يُعد تنفيذ GELU أمرًا مباشرًا باستخدام مكتبات التعلم العميق الحديثة مثل PyTorch. يوضح المثال التالي كيفية تطبيق الدالة على موتر من بيانات الإدخال.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

بالنسبة إلى المطورين الراغبين في الاستفادة من دوال التنشيط المتقدمة هذه في مشاريعهم الخاصة في مجال الرؤية الحاسوبية، تعمل منصة Ultralytics على تبسيط سير العمل بأكمله. فهي توفر واجهة موحدة لإضافة التعليقات التوضيحية إلى البيانات، وتدريب النماذج باستخدام بنيات مثل YOLO26 (الذي يستخدم دوال تنشيط محسّنة مثل SiLU)، ونشرها بكفاءة على السحابة أو الأجهزة الطرفية.