Multiple Instance Learning

다중 인스턴스 학습(MIL)은 머신러닝의 한 형태로, 학습 예제가 백(bag)이라는 그룹으로 구성되며 각 백에만 레이블이 있고 내부의 개별 인스턴스에는 레이블이 없습니다. "암"이라는 레이블이 붙은 디지털 병리 슬라이드는 수천 개의 조직 타일로 구성된 백이며, 그중 일부에만 종양 세포가 있을 수 있습니다. "사건"이라는 레이블이 붙은 감시 영상은 짧은 클립으로 구성된 백이며, 대부분은 별다른 일이 없습니다. MIL은 이러한 데이터에서 백 레이블을 예측하고, 그 과정에서 어떤 인스턴스가 레이블을 결정하는지 학습합니다. 모든 인스턴스에 레이블을 지정하려면 전문가에게 너무 많은 시간이 들거나 불가능할 때 사용하는 약한 지도 학습의 한 유형입니다.

Thomas Dietterich, Richard Lathrop, Tomás Lozano-Pérez는 1997년에 약물 활성 예측을 위해 이 설정을 도입했습니다. 분자는 여러 형태로 접힐 수 있고 그중 하나라도 표적에 맞으면 결합하므로, 연구자들은 각 분자를 가능한 형태들의 백으로 취급하고 측정된 분자 활성만 레이블로 사용했습니다.

표준 MIL 가정#

이진 레이블에 대한 고전적 가정에서는 백에 양성 인스턴스가 하나 이상 포함되어 있으면 양성이고, 모든 인스턴스가 음성일 때만 음성입니다. 일반적인 지도 학습처럼 백 레이블을 모든 인스턴스에 복사하면 양성 백에 포함된 다수의 음성 인스턴스에 잘못된 레이블을 지정하게 됩니다. MIL은 각 인스턴스의 점수를 계산한 후 그 점수들을 하나의 백 예측값으로 통합합니다. 최댓값을 취하면 표준 가정과 정확히 일치합니다. 백 점수는 가장 의심스러운 인스턴스의 점수만큼 높아지며, 백 레이블의 역전파 신호는 해당 인스턴스의 점수에만 전달됩니다.

이 PyTorch 예제는 무작위 인스턴스 20개로 구성된 백 16,000개에서 선형 인스턴스 스코어러를 학습합니다. 각 양성 백에는 16개 특성 중 4개가 다른 "증거" 인스턴스 하나가 숨어 있습니다. 학습에는 백 레이블만 사용하며, 테스트 백 1,000개로 백 예측과 최고 점수를 받은 인스턴스가 증거 인스턴스인지 모두 확인합니다:

import torch

torch.manual_seed(0)
n = 17000  # 16,000 training bags and 1,000 test bags, each holding 20 instances with 16 features
bags, labels, witness = torch.randn(n, 20, 16), torch.randint(0, 2, (n,)).float(), torch.randint(0, 20, (n,))
bags[torch.arange(n), witness, :4] += 2.0 * labels[:, None]  # a positive bag hides one shifted "witness" instance

scorer = torch.nn.Linear(16, 1)  # gives every instance a score
optimizer = torch.optim.Adam(scorer.parameters(), lr=1e-2)
for i in range(0, 16000, 32):  # train on 32 bags per step, using bag labels only
    bag_logits = scorer(bags[i : i + 32]).squeeze(-1).max(dim=1).values  # max pooling: a bag scores as its top instance
    loss = torch.nn.functional.binary_cross_entropy_with_logits(bag_logits, labels[i : i + 32])
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

with torch.no_grad():
    scores = scorer(bags[16000:]).squeeze(-1)  # one score per test instance
positive = labels[16000:].bool()
bag_accuracy = ((scores.max(dim=1).values > 0) == positive).float().mean()
located = (scores.argmax(dim=1) == witness[16000:])[positive].float().mean()
print(f"Bag accuracy: {bag_accuracy:.3f}, witness ranked first in {located:.3f} of positive bags")

모델은 테스트 백의 0.917을 정확하게 분류하고, 양성 백의 0.960에서 증거 인스턴스를 첫 번째로 순위 매깁니다. 개별 인스턴스 레이블은 한 번도 사용하지 않았습니다. 이러한 인스턴스 순위 지정 덕분에 MIL 시스템은 결정의 근거가 된 타일이나 클립을 지목할 수 있습니다.

풀링과 어텐션 기반 MIL#

최대 풀링은 단일 인스턴스에 의존하므로 잡음이 있는 인스턴스 하나가 백의 예측을 뒤집을 수 있습니다. 평균 풀링은 모든 인스턴스를 사용하지만 드문 신호를 희석하며, 레이블이 특정 현상을 보이는 인스턴스의 비율에 따라 달라지는 집합적 가정에 적합합니다. Maximilian Ilse, Jakub Tomczak, Max Welling은 2018년에 어텐션 기반 딥 MIL을 제안했습니다. 소규모 네트워크가 각 인스턴스에 가중치를 부여하고, 인스턴스 특성의 가중 평균을 백 표현으로 사용합니다. 어텐션 메커니즘은 크기가 다른 모든 백을 처리하고 인스턴스 순서를 무시하며, 예측의 근거가 된 영역을 나타내는 히트맵 역할을 하는 가중치를 생성합니다. 이는 살리언시 맵과 유사합니다.

전체 슬라이드 이미지는 너무 커서 종단 간 학습이 어렵기 때문에 많은 병리학 파이프라인은 먼저 고정된 사전 학습 인코더로 각 타일을 특성 벡터로 변환한 후, 슬라이드 레이블을 사용해 풀링 네트워크와 분류기만 학습합니다. YOLO26 이미지 분류 모델을 인코더로 사용할 수 있습니다. model.embed()는 입력 이미지마다 하나의 풀링된 특성 벡터를 반환하므로 타일 배치를 어텐션 풀링 헤드에 입력할 인스턴스 벡터 백으로 변환할 수 있습니다.

응용 분야#

의료 영상 분석에서 MIL은 병리학자가 기가픽셀 슬라이드에 종양 윤곽을 그릴 필요를 없애줍니다. Memorial Sloan Kettering의 Gabriele Campanella와 동료들은 병리 보고서의 진단만 사용해 환자 15,187명의 전체 슬라이드 이미지 44,732개로 MIL 시스템을 학습했으며, 2019년 연구에서 전립선암, 기저 세포 암종, 림프절 유방암 전이에 대한 ROC 곡선 아래 면적이 0.98을 초과했다고 보고했습니다.

비디오 분야에서 Waqas Sultani, Chen Chen, Mubarak Shah는 각 감시 영상을 이상 탐지를 위한 세그먼트 백으로 취급하고, 비디오 수준 레이블만 포함된 편집되지 않은 영상 1,900개로 구성된 UCF-Crime 데이터셋을 공개했습니다. 이 데이터셋은 사건이 발생한 세그먼트에 가장 높은 이상 점수를 부여하도록 모델을 학습합니다. 약한 지도 방식의 객체 탐지에서는 이미지를 존재하는 클래스만 레이블이 지정된 후보 영역의 백으로 취급하고, 가장 높은 점수를 받은 영역을 예측된 바운딩 박스로 사용합니다. 이러한 모든 설정에서 하나의 슬라이드, 환자 또는 비디오에 속한 타일이나 프레임을 동일한 분할에 유지하면 학습 세트와 테스트 세트에 거의 동일한 인스턴스가 흩어져 생기는 데이터 누수를 방지할 수 있습니다.

MIL과 관련 설정#

준지도 학습은 레이블이 완전히 지정된 예제와 레이블이 없는 예제를 함께 사용하지만, MIL에서는 모든 백에 레이블이 있고 개별 인스턴스에는 레이블이 없습니다. 다중 레이블 분류는 하나의 예제에 여러 클래스를 지정하며, 다중 인스턴스 다중 레이블 학습에서는 두 방식을 결합합니다. 인스턴스 수준 레이블 지정에 드는 비용을 감수할 가치가 생기면 능동 학습을 MIL 이후에 적용해 양성 백에서 점수가 가장 높은 인스턴스를 전문가에게 보낼 수 있습니다.