Visual Question Answering (VQA)

Визуальные вопросы и ответы (VQA) — это сложная задача искусственного интеллекта, находящаяся на пересечении компьютерного зрения (CV) и обработки естественного языка (NLP). В отличие от традиционной классификации изображений, которая присваивает картинке одну метку, системы VQA предназначены для ответов на открытые вопросы на естественном языке о визуальном содержимом изображения. Например, получив фотографию кухни, пользователь может спросить: «Включена ли плита?» или «Сколько яблок в миске?» Чтобы правильно ответить, модель должна понимать семантику текста, находить релевантные объекты в сцене и рассуждать об их атрибутах и пространственных отношениях.

Эта возможность делает VQA фундаментальным компонентом современного мультимодального ИИ, поскольку требует одновременной обработки разнородных типов данных. Архитектура обычно включает визуальный энкодер, например сверточную нейронную сеть (CNN) или Vision Transformer (ViT), для извлечения признаков из изображения, а также текстовый энкодер для обработки текстового запроса. В передовых системах используется механизм внимания, чтобы сопоставлять текстовые понятия с определенными областями изображения и позволять ИИ «смотреть» на соответствующие части фотографии перед формированием ответа.

Применение и значение в реальном мире#

Возможность динамически запрашивать визуальные данные привела к преобразующим приложениям в различных отраслях, повысив уровень автоматизации и доступности.

• Вспомогательные технологии: VQA играет важную роль в приложениях для поддержки людей с нарушениями зрения. Такие инструменты, как Be My Eyes, могут использовать VQA, позволяя пользователям сфотографировать окружающую обстановку и задать вопросы вроде «В этой бутылке шампунь или кондиционер?» или «Безопасно ли переходить улицу?» Это повышает самостоятельность пользователей, преобразуя визуальную информацию в ответы, которые можно услышать.
• Медицинская диагностика: В сфере ИИ в здравоохранении системы VQA помогают радиологам анализировать медицинские изображения. Специалист может задать системе вопрос по рентгеновскому снимку: «Есть ли признаки перелома в верхнем левом квадранте?» Исследователи из Национальных институтов здравоохранения (NIH) изучали применение VQA для оптимизации принятия клинических решений и снижения числа диагностических ошибок.
• Интеллектуальное видеонаблюдение: Современные системы безопасности используют ИИ для обеспечения безопасности для анализа многочасовых видеозаписей. Вместо ручного просмотра операторы могут спросить: «Заезжал ли красный грузовик на погрузочную площадку после полуночи?» VQA обеспечивает быстрое обнаружение аномалий на основе конкретных критериев, а не общих уведомлений о движении.

Роль обнаружения объектов в VQA#

Хотя некоторые модели VQA обучаются от начала до конца, многие из них используют надежную основу обнаружения объектов, чтобы сначала идентифицировать элементы сцены. Точное определение местоположения объектов предоставляет необходимый контекст для механизма рассуждений. Модель Ultralytics YOLO26 служит отличной основой для таких конвейеров благодаря высокой точности и работе в реальном времени.

Например, разработчики могут использовать YOLO26 для извлечения классов объектов и ограничивающих рамок, которые затем передаются в большую языковую модель (LLM) или специализированному модулю рассуждений для ответа на запросы пользователей. Управление наборами данных для обучения таких основ обнаружения часто упрощается с помощью Ultralytics Platform, которая упрощает аннотирование и облачное обучение.

Следующий пример на Python демонстрирует, как использовать Ultralytics YOLO26 для извлечения визуального контекста (объектов и их местоположения) из изображения — основного шага рабочего процесса VQA:

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Run inference to detect objects, providing context for VQA
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display detected classes (e.g., 'bus', 'person') to verify scene understanding
for result in results:
    result.show()  # Visualize the detections

Отличие VQA от связанных концепций#

Чтобы понять уникальную область применения VQA, полезно отличать эту технологию от похожих задач на стыке компьютерного зрения и языка.

• VQA и создание описаний изображений: Создание описаний изображений генерирует общее статичное описание всего изображения (например, «Собака играет в парке»). VQA работает интерактивно и предметно: система формирует целевой ответ на вопрос пользователя, а не обобщенное описание.
• VQA и визуальное заземление: Визуальное заземление сосредоточено на поиске конкретного объекта, упомянутого в текстовой фразе, путем обведения его ограничивающей рамкой. VQA идет дальше, анализируя атрибуты, действия или количество найденных объектов.
• VQA и OCR: Если оптическое распознавание символов (OCR) предназначено исключительно для извлечения текста из изображений, VQA может использовать OCR для ответа на вопросы вроде «Что написано на дорожном знаке?» Однако основная функция VQA включает более широкое понимание сцены, выходящее за рамки простого чтения текста.

Исследователи продолжают развивать эту область, используя крупномасштабные тесты, такие как набор данных VQA, который помогает моделям обобщать знания на миллионы пар «изображение — вопрос». По мере совершенствования оборудования, обеспечивающего более низкую задержку инференса, VQA становится все более пригодной для мобильных приложений и периферийных устройств, работающих в реальном времени.