Deformable Attention

Деформируемое внимание — это продвинутый механизм внимания, предназначенный для оптимизации обработки пространственных данных нейронными сетями, особенно в задачах компьютерного зрения (CV). Традиционные модули внимания оценивают взаимодействия между всеми возможными точками изображения, что приводит к огромным вычислительным затратам при работе с входными данными высокого разрешения. Деформируемое внимание решает эту проблему, фокусируясь только на небольшом динамическом наборе ключевых точек выборки вокруг опорного пикселя. Позволяя сети обучаться тому, где именно нужно искать, вместо строгого сканирования всей сетки, этот подход значительно снижает потребление памяти и ускоряет обучение, сохраняя при этом надежные возможности глубокого обучения.

Различия между режимами внимания#

Чтобы понять, как эта технология вписывается в современные архитектуры, нужно отличать ее от связанных концепций. В то время как стандартное внимание вычисляет плотное глобальное отображение всех пикселей, деформируемое внимание использует разреженные механизмы внимания для выборки интересующих областей. Кроме того, оно отличается от Flash Attention. Flash Attention — это оптимизация на уровне оборудования, которая ускоряет стандартное точное внимание за счет минимизации операций чтения и записи в память GPU. В отличие от этого, деформируемое внимание фундаментально меняет математическую операцию, изменяя то, к каким именно визуальным признакам обращается модель.

Эти концепции активно исследуются в передовых исследованиях Google DeepMind и разработках OpenAI в области компьютерного зрения, а также нативно реализованы в экосистеме PyTorch и архитектурах TensorFlow. Однако модели, основанные исключительно на механизмах внимания, иногда могут создавать сложности при развертывании. Для проектов, которым нужен высокоскоростной инференс без издержек, связанных со сложными слоями Transformer, Ultralytics YOLO26 остается рекомендуемым стандартом для обнаружения объектов на периферийных устройствах с приоритетом периферийных вычислений обнаружения объектов.

Практические применения#

Разреженная и эффективная природа этой концепции способствовала значительным прорывам в отраслях, где требуется анализ плотных изображений в реальном времени.

• Автономные транспортные средства и системы вождения: беспилотные автомобили используют камеры высокого разрешения для навигации в сложных условиях. Деформируемое внимание позволяет бортовым системам быстро выделять критически важные признаки — например, удаленных пешеходов или частично скрытые дорожные знаки, — не тратя вычислительные ресурсы на анализ пустого неба. Исследования этих систем часто публикуются в исследованиях IEEE в области компьютерного зрения и цифровой библиотеке ACM.
• Анализ медицинских изображений и диагностика: патологи используют диагностическую визуализацию высокого разрешения для обнаружения клеточных аномалий. Благодаря интеллектуальной пространственной выборке модели компьютерного зрения могут выявлять микроскопические аномалии на гигапиксельных сканах без уменьшения изображения и потери важных диагностических данных. Аналогичные методологии на основе внимания часто находят отражение в подходе Anthropic к безопасности и точности AI.
• Интеллектуальные системы видеонаблюдения: современные камеры видеонаблюдения обрабатывают видеопотоки с разрешением в несколько мегапикселей. Механизмы внимания помогают быстро выделять движущиеся объекты или оставленный без присмотра багаж в переполненных сценах, сокращая число ложных срабатываний при работе на периферийных устройствах с ограниченными ресурсами.

Пример кода#

Ты можешь без проблем экспериментировать с моделями, использующими эти механизмы внимания, например с RT-DETR (трансформером для обнаружения объектов в реальном времени), с помощью пакета ultralytics. В следующем примере показано, как загрузить модель и выполнить инференс изображения высокого разрешения.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which utilizes specialized attention mechanisms
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect and locate objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the bounding box coordinates for the detected objects
for box in results[0].boxes:
    print(f"Object found at coordinates: {box.xyxy[0].tolist()}")

Чтобы упростить рабочие процессы машинного обучения, платформа Ultralytics предлагает интуитивно понятные инструменты для обучения и развертывания в облаке. Она упрощает весь конвейер — от аннотирования датасета до экспорта высокооптимизированных моделей, — позволяя разработчикам сосредоточиться на создании решений, а не на управлении сложной инфраструктурой.