Transformer

Transformer — это архитектура глубокого обучения, которая опирается на механизм, называемый самовниманием, для обработки последовательных входных данных, таких как естественный язык или визуальные признаки. Первоначально представленный исследователями Google в знаковой статье Attention Is All You Need, Transformer произвел революцию в области искусственного интеллекта (ИИ), устранив ограничения последовательной обработки более ранних рекуррентных нейронных сетей (RNN). Вместо этого Transformers анализируют целые последовательности данных одновременно, что обеспечивает массовую распараллеливаризацию и значительно более быстрое время обучения на современном железе, таком как GPU.

Как работают Transformers#

Основной инновацией Transformer является механизм самовнимания. Это позволяет модели взвешивать важность различных частей входных данных относительно друг друга. Например, в предложении модель может узнать, что слово "банк" относится ближе к "деньгам", чем к "реке", основываясь на окружающем контексте.

Эта архитектура обычно состоит из двух основных компонентов:

• Энкодер: Преобразует входные данные в богатое числовое представление или эмбеддинг.
• Decoder (Декодировщик): Использует выходные данные кодировщика для генерации конечного результата, например переведенного предложения или предсказанной BBox.

В сфере компьютерного зрения (CV) модели обычно используют вариацию под названием Vision Transformer (ViT). Вместо обработки текстовых токенов изображение разбивается на патчи фиксированного размера (например, 16x16 пикселей). Эти патчи выравниваются и обрабатываются как последовательность, что позволяет модели улавливать «глобальный контекст» — понимание взаимосвязей между удаленными частями изображения — более эффективно, чем стандартная сверточная нейронная сеть (CNN).

Transformers и связанные с ними концепции#

Важно различать архитектуру Transformer и связанные с ней термины:

• Механизм внимания: Это общая концепция сосредоточения внимания на определенных частях данных. Transformer представляет собой конкретную архитектуру, построенную полностью вокруг слоев внимания, в то время как другие модели могут использовать внимание только в качестве небольшого дополнения.
• Большая языковая модель (LLM): Такие термины, как "GPT", относятся к конкретным моделям, обученным на огромных объемах текста. Почти все современные LLM используют архитектуру Transformer в качестве своего базового движка.

Реальные приложения#

Универсальность Transformers привела к их внедрению в различных отраслях:

1. Медицинская визуализация: В ИИ в здравоохранении Transformers используются для сложных задач, таких как анализ медицинских изображений. Их способность понимать глобальные пространственные отношения помогает обнаруживать тонкие аномалии на МРТ или КТ сканах высокого разрешения, которые CNN, ориентированные на локальные признаки, могут упустить.

2. Автономные системы: Для автономных транспортных средств понимание траектории пешеходов и других транспортных средств имеет решающее значение. Transformers преуспевают в понимании видео, отслеживая объекты во временных интервалах и предсказывая будущие движения для обеспечения безопасной навигации.

Обнаружение объектов с помощью Transformers#

Хотя CNN традиционно доминировали в обнаружении объектов, модели на базе Transformer, такие как Real-Time Detection Transformer (RT-DETR), стали мощной альтернативой. RT-DETR сочетает в себе скорость бэкбонов CNN с точностью декодирующих голов Transformer.

Тем не менее, чистые модели Transformer могут быть вычислительно тяжелыми. Для многих периферийных приложений высоко оптимизированные гибридные модели вроде YOLO26, которые интегрируют эффективные механизмы внимания с быстрой сверточной обработкой, предлагают превосходный баланс скорости и точности. Ты можешь легко управлять обучением и развертыванием этих моделей через платформу Ultralytics, которая оптимизирует рабочий процесс от разметки датасета до экспорта модели.

Пример на Python: Использование RT-DETR#

Следующий пример демонстрирует, как выполнять инференс с использованием модели на базе Transformer в пакете ultralytics. Этот код загружает предобученную модель RT-DETR и обнаруживает объекты на изображении.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Для дальнейшего чтения о математических основах документация PyTorch по слоям Transformer обеспечивает техническую глубину, в то время как гид IBM по Transformers предлагает взгляд на бизнес-аспекты с высоты птичьего полета.