تضمين الموضع الدوار (RoPE)

Rotary Position Embedding (RoPE) هي تقنية فعالة للغاية تستخدم في بنى الشبكات العصبية الحديثة لإدخال معلومات الموضع في تضمينات الرموز. في نماذج التعلم العميق مثل المحولات، تتم معالجة رموز الإدخال في وقت واحد بدلاً من معالجتها بالتسلسل. ونظرًا لأن هذه النماذج تفتقر إلى حس الترتيب المتأصل، فإنها تتطلب آليات خارجية لفهم تسلسل البيانات. يحل RoPE هذه المشكلة عن طريق ترميز الموضع المطلق للرمز باستخدام مصفوفة دوران ودمج التبعيات الموضعية النسبية بسلاسة في آلية الانتباه، مما يسمح للنماذج بفهم أفضل للعلاقات بين الرموز بناءً على المسافة بينها.

كيف يعمل تضمين الموضع الدوار

على عكس الطرق التقليدية التي تضيف متجهًا موضعيًا ثابتًا إلى تمثيل الرمز المميز، يطبق RoPE دورانًا هندسيًا على ميزات الرمز المميز في فضاء متعدد الأبعاد. وتتناسب زاوية هذا الدوران بشكل مباشر مع موضع الرمز في التسلسل. وعندما يحسب النموذج درجة الاهتمام بين رمزين، فإن الخصائص الرياضية لهذه الدورات تضمن أن تعتمد الدرجة الناتجة بشكل طبيعي على المسافة النسبية بينهما. ويتيح هذا النهج لأنظمة الذكاء الاصطناعي المتقدمة الحفاظ على وعي هيكلي قوي على نوافذ سياق أكبر بكثير دون الحاجة إلى ذاكرة زائدة.

لفهم كيفية عمل ذلك في الواقع، غالبًا ما يقوم المطورون بتنفيذ RoPE باستخدام tensor في أطر عمل مثل PyTorch. فيما يلي مقتطف برمجي مبسط وقابل للتشغيل يوضح كيفية تطبيق منطق الدوران الأساسي على ميزات الإدخال أثناء تدريب النموذج أو الاستدلال:

import torch


def apply_rotary_emb(x, cos, sin):
    # A simplified PyTorch demonstration of applying rotary embeddings
    # Splits the feature dimension and rotates the halves
    half_dim = x.shape[-1] // 2
    x1, x2 = x[..., :half_dim], x[..., half_dim:]

    # Rotate the components to encode relative positional information
    rotated_x = torch.cat((-x2, x1), dim=-1)

    # Combine original features with cosine and sine transformations
    return (x * cos) + (rotated_x * sin)


# Example usage with dummy token features and sinusoidal matrices
dummy_features = torch.randn(2, 10, 64)  # (batch_size, sequence_length, features)
cos, sin = torch.randn(2, 10, 64), torch.randn(2, 10, 64)
embedded_features = apply_rotary_emb(dummy_features, cos, sin)

تطبيقات RoPE في العالم الواقعي

أصبحت التضمينات الدوارة معيارًا صناعيًا لنمذجة التسلسلات، لا سيما في مهام معالجة اللغة الطبيعية (NLP) المتقدمة وأنظمة الرؤية الحديثة.

1. نماذج اللغة الكبيرة (LLMs): RoPE هي آلية الترميز الموضعية الأساسية وراء بعض أنظمة إنشاء النصوص الأكثر قدرة في العالم، بما في ذلك بنية LLaMA من Meta. من خلال الاستفادة من RoPE، يمكن لهذه النماذج اللغوية الكبيرة (LLMs) معالجة كتب كاملة أو قواعد برمجية في موجه واحد، مما يوفر قدرات استقراء تسلسلية لا مثيل لها تتجاوز بكثير الأطوال التي شوهدت أثناء التدريب.
2. محولات الرؤية وكشف الكائنات: في مجال الرؤية الحاسوبية، تتطلب الرموز المرئية المستمدة من رقع الصور هيكلة مكانية دقيقة. في حين أن النماذج التلافيفية مثل Ultralytics تلتقط بشكل طبيعي التسلسلات الهرمية المكانية من خلال الحقول الاستقبالية المحلية، فإن بنى الانتباه الذاتي مثل محولات الرؤية غالبًا ما تدمج امتدادات ثنائية الأبعاد شبيهة بـ RoPE. وهذا يساعد خطوط أنابيب اكتشاف الكائنات وتجزئة الحالات القائمة على المحولات على فهم الموضع النسبي للعناصر البصرية بشكل أفضل، مما يحسن الدقة في المشاهد المعقدة. المحولات البصرية

التمييز بين RoPE و Absolute Position Embeddings

من المهم التمييز بين RoPE و التضمينات المطلقة القياسية. تقوم التضمينات المطلقة بتعيين متجه ثابت ومستقل لكل فتحة في تسلسل، مما يعني أن النموذج يجب أن يتعلم بشكل مستقل كيفية ارتباط الموضع 5 بالموضع 10. من ناحية أخرى، يدمج RoPE مفهوم المسافة مباشرة في تحويلات الرموز. هذا الاختلاف الأساسي يجعل RoPE متفوقًا بشكل كبير في فهم المستندات الطويلة وسير عمل الذكاء الاصطناعي التوليدي حيث تختلف التسلسلات بشكل كبير في الطول.

عند تطوير وتوسيع نطاق هذه البنى الضخمة، من الضروري إدارة البيانات والبنية التحتية بكفاءة. من أجل تسهيل عملية تعليق مجموعات البيانات والتدريب السحابي والنشر عبر جميع بيئات الحافة، غالبًا ما يعتمد المطورون على الأدوات الشاملة التي توفرها Ultralytics تتولى المهمة الصعبة المتمثلة في تحويل أبحاث الرؤية الحاسوبية المتطورة إلى إنتاج. يضمن استخدام RoPE بالاقتران مع أفضل الممارسات في الضبط الدقيق بقاء خطوط أنابيب الذكاء الاصطناعي الحديثة عالية الدقة وقوية حسابيًا.