Visual Question Answering (VQA)

시각 질의응답(VQA)은 "버스는 무슨 색인가요?", "몇 명이 기다리고 있나요?", "레인지가 켜져 있나요?"와 같이 이미지에 관한 자연어 질문에 답하는 작업입니다. 시스템은 이미지와 질문을 함께 입력받아 짧은 답을 반환하므로, 질문을 이해하고 이미지에서 관련 부분을 찾은 뒤 두 정보를 결합해야 합니다. 따라서 VQA는 멀티모달 AI의 표준 평가 과제입니다. Virginia Tech와 Microsoft Research의 Stanislaw Antol과 동료 연구자들은 ICCV 2015에서 이 과제와 첫 대규모 벤치마크인 VQA 데이터셋을 소개했습니다. 이 데이터셋에는 약 250,000개의 이미지(대부분 COCO 이미지), 760,000개의 개방형 질문, 각 질문에 대한 사람의 답변 10개가 포함되어 있어 답변은 총 약 1,000만 개입니다.

VQA 모델의 작동 방식#

VQA 모델은 합성곱 신경망(CNN) 또는 비전 트랜스포머(ViT)로 이미지를 인코딩하고, 언어 모델로 질문을 인코딩한 다음 둘을 융합합니다. 초기 모델은 전역 이미지 특징을 LSTM의 질문 벡터와 융합하고, 가장 흔한 수천 개 답변 중 하나를 분류하도록 학습했습니다. 이후 어텐션 메커니즘을 통해 질문에 따라 볼 위치를 선택할 수 있게 되었습니다. 2017 VQA Challenge에서 우승한 Peter Anderson과 동료들의 상향식 및 하향식 모델은 객체 감지 모델이 제안한 영역에 어텐션을 적용하여 "버스는 무슨 색인가요?"라는 질문에 버스 박스를 집중해 볼 수 있게 했습니다. 현재 비전-언어 모델(VLM)은 이미지-질문-답변 데이터로 시각 명령어 튜닝을 거친 뒤 언어 모델을 사용해 자유 형식 답변을 생성합니다.

벤치마크와 언어 사전 지식 문제#

초기 VQA 모델은 이미지를 무시한 덕분에 높은 점수를 얻기도 했습니다. 질문의 표현만으로 답을 추측할 수 있는 경우가 많기 때문입니다. 예를 들어 "Is there a..."로 시작하는 질문의 답은 대개 "yes"이고 "What sport is..."로 시작하는 질문의 답은 흔히 "tennis"입니다. Yash Goyal과 동료 연구자들이 CVPR 2017에서 발표한 VQA v2는 각 질문에 답이 다른 두 개의 유사한 이미지를 연결해 이러한 언어 사전 지식 문제에 대응했습니다. 따라서 모델이 높은 점수를 얻으려면 이미지를 살펴봐야 합니다. 이후 데이터셋은 각각 다음 기술을 대상으로 합니다.

• VizWiz: 시각 장애인이 휴대폰으로 촬영한 사진에 대해 질문한 31,000개 이상의 질문으로, 사진 중 상당수는 흐리거나 구도가 좋지 않습니다.
• TextVQA: 유니폼의 번호나 상점 간판의 이름처럼 장면 속 텍스트를 읽어야 답할 수 있는 질문입니다.
• GQA: "접시 왼쪽에 있는 컵은 유리로 만들어졌나요?"와 같이 장면 그래프에서 생성된 조합형 질문입니다.
• OK-VQA: 음식의 원산지 국가처럼 외부 지식이 필요한 질문입니다.
• VQA-RAD: 미국 국립 의학 도서관에서 구축한 것으로, 315개의 방사선 이미지에 관해 임상의가 작성한 질문 3,515개가 포함됩니다.

사람마다 정답을 다르게 표현하므로 VQA 벤치마크는 10명의 주석자 중 해당 답변을 제시한 사람 수를 기준으로 점수를 매깁니다. 세 명 이상이 일치하면 완전히 정답으로 간주하고, 주석자 9명으로 구성할 수 있는 모든 하위 집합의 평균을 계산합니다.

# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]


def vqa_accuracy(prediction, answers):
    """Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
    scores = []
    for i in range(len(answers)):
        others = answers[:i] + answers[i + 1 :]
        scores.append(min(others.count(prediction) / 3, 1))
    return sum(scores) / len(scores)


for prediction in ["red", "red and white", "orange", "blue"]:
    print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")

"red"에는 1.00, "red and white"에는 0.60, "orange"에는 0.30, "blue"에는 0.00을 출력합니다. 어노테이터 한 명만 제시한 답변도 부분 점수를 받고, 아무도 제시하지 않은 답변은 점수를 받지 못합니다. 결과는 예/아니요, 숫자, 기타 답변 유형별로 따로 보고되며, 모든 인스턴스를 정확히 한 번씩 찾아야 하므로 숫자 질문의 점수는 일관되게 가장 낮습니다. 탐지기는 계수 질문에 직접 답할 수 있습니다. YOLO26은 객체마다 하나의 박스를 반환하므로, 예측 결과에서 "person" 박스의 개수를 세면 COCO의 80개 클래스 모두에 대해 "사진에 사람이 몇 명 있나요?"라는 질문에 답할 수 있습니다. 이 목록에 없는 클래스의 경우 비전 언어 모델도 박스를 반환할 수 있으며, VLM 리더보드는 실제 데이터셋에서 객체를 얼마나 정확하게 탐지하는지 측정합니다.

VQA와 관련 작업의 비교#

이미지 캡셔닝은 질문을 받지 않고 이미지 전체를 설명하며, VQA는 특정 질문 하나에 답합니다. 시각적 그라운딩은 구로 지칭한 객체의 위치를 바운딩 박스 등의 형식으로 반환하며, VQA는 해당 객체에 관한 답변을 제공합니다. 광학 문자 인식(OCR)은 TextVQA 유형의 질문에 필요한 텍스트를 제공하며, 시각적 추론은 GQA의 조합형 질문과 같은 작업에 필요한 다단계 추론입니다. 텍스트만 사용하는 질의응답은 픽셀이 아닌 지문을 기반으로 작동합니다.

응용 분야#

보조 기술은 가장 명확한 활용 사례입니다. Be My Eyes는 2023년에 OpenAI의 GPT-4를 기반으로 Be My AI를 추가했습니다. 이를 통해 시각장애인과 저시력 사용자는 레이블, 화면, 거리의 사진을 찍어 관련 질문을 할 수 있습니다. 소매업 및 제조 팀은 모든 질문에 대해 분류기를 별도로 학습하는 대신 선반 사진이나 검사 이미지에 관해 VLM에 질문합니다. 의료 분야에서는 엑스레이와 CT 스캔을 대상으로 "골절이 있나요?"와 같은 질문에 답하는 의료 VQA 연구가 진행됩니다. 이는 임상의가 이미지를 보며 작성한 질문을 사용해 VQA-RAD가 측정하는 의료 영상 분석의 한 형태입니다.