SwiGLU

SwiGLU (Swish Gated Linear Unit) — это усовершенствованная активационная функция и архитектурный блок нейронной сети, который улучшает традиционную сеть прямой передачи (FFN), используемую в глубоком машинном обучении. Объединяя плавные, немонотонные свойства активационной функции Swish с механизмом Gated Linear Unit (GLU), SwiGLU обеспечивает динамическую, зависимую от данных маршрутизацию функций. Применяя линейную проекцию к входу, пропуская одну ветвь через активацию Swish и умножая ее по элементам на другую линейную ветвь, сеть приобретает превосходную выразительную способность. Это позволяет современным архитектурам ИИ улавливать сложные нелинейные зависимости гораздо эффективнее, чем стандартные статические слои, используемые в старых моделях глубокого обучения.

Как работает SwiGLU

В отличие от традиционных сетей с прямой передачей, которые просто отображают входные данные в более высокое измерение, применяют базовую нелинейность и проецируют их обратно, SwiGLU вводит механизм мультипликативного гейтинга. Входные данные разделяются на две параметризованные проекции: «гейт» и «значение». Ветвь гейта активируется с помощью функцией SiLU / Swish, которая сохраняет небольшие отрицательные значения и обеспечивает плавные, ненулевые производные почти везде. Затем этот активированный вентиль умножается по элементам на ветвь значения. Эта динамическая фильтрация позволяет нейронной сети интеллектуально контролировать поток информации, избегая проблем «мертвых нейронов», распространенных в старых архитектурах, и стабилизируя сигнал градиента во время процесса обучения модели, концепция, широко изучаемая в механизмах внимания.

Отличие SwiGLU от других функций активации

В то время как стандартные функции активации, такие как ReLU, используют фиксированный порог для обрезания отрицательных значений до нуля, SwiGLU динамически корректирует активации на основе самих входных данных. По сравнению с GELU, который взвешивает входы по их вероятности в рамках гауссового распределения, SwiGLU специально использует параметризованные линейные слои для обучения методам фильтрации информации. По сути, SwiGLU — это не просто математический расчет по элементам; он функционирует как комплексный структурный компонент, который часто заменяет весь механизм скрытого слоя внутри блока Transformer. Для подробного сравнения математических свойств исследователи часто ссылаются на исчерпывающие руководства по функциям активации.

Применение в реальном мире

Благодаря своей вычислительной эффективности и значительному приросту производительности SwiGLU стал основополагающим компонентом в современных системах искусственного интеллекта.

• Крупные языковые модели (LLM): Ведущие генеративные приложения ИИ в значительной степени полагаются на SwiGLU. Например, Meta интегрирует SwiGLU в свою архитектуру Llama 3, чтобы заменить традиционные прямые слои на основе GeLU, что обеспечивает лучшую стабильность обучения и обработку огромных контекстных окон. Подобные архитектуры используются в языковой моделиGoogle Pathways (PaLM) и широко анализируются в дискуссиях по глубокому обучению на Kaggle.
• Расширенное компьютерное зрение: Мультимодальные модели и расширенные системы компьютерного зрения используют SwiGLU в своих блоках трансформаторов для эффективной обработки сложных взаимосвязей между изображениями и текстом. Инновационные фреймворки компьютерного зрения, включая нативный сквозной Ultralytics , постоянно исследуют оптимизированные архитектурные блоки и настройку гиперпараметров, чтобы максимизировать эффективность параметров для таких задач, как обнаружение объектов.

Реализация SwiGLU в PyTorch

Для разработчиков, создающих пользовательские сети или адаптирующих модели видения для пограничных устройств с использованием Платформа Ultralytics, реализуя SwiGLU через PyTorch просто. (В качестве альтернативы, разработчики в других экосистемах могут использовать TensorFlow). Следующий лаконичный Python демонстрирует базовый модуль SwiGLU с использованием встроенного PyTorch F.silu функция:

import torch
import torch.nn as nn
import torch.nn.functional as F


class SwiGLU(nn.Module):
    def __init__(self, in_features, hidden_features):
        super().__init__()
        # SwiGLU requires two projections: one for the gate, one for the value
        self.gate_proj = nn.Linear(in_features, hidden_features)
        self.value_proj = nn.Linear(in_features, hidden_features)
        self.out_proj = nn.Linear(hidden_features, in_features)

    def forward(self, x):
        # Element-wise multiplication of the SiLU-activated gate and the linear value
        hidden = F.silu(self.gate_proj(x)) * self.value_proj(x)
        return self.out_proj(hidden)


# Example usage with a dummy input tensor
module = SwiGLU(in_features=512, hidden_features=1365)
output = module(torch.randn(1, 512))

Такой структурный подход к блокам активации гарантирует, что передовые нейронные архитектуры извлекают более богатые представления из сложных обучающих данных, будь то применение к обработке естественного языка (NLP) или пространственному анализу в реальном времени. Для более глубокого понимания построения и ускорения эффективных моделей разработчики часто обращаются к фундаментальным исследованиям оригинальных вариантов GLU на arXiv, открытым репозиториям Meta и документацииPyTorch оптимизацииPyTorch для максимального увеличения пропускной способности оборудования.