Model Editing

모델 편집은 학습된 모델의 특정 사실이나 동작 하나를 목표로 변경하는 방법입니다. 예를 들어 모델을 재학습하거나 관련 없는 입력에 대한 출력을 바꾸지 않고, 대규모 언어 모델(LLM)이 "The Space Needle is located in the city of"에 이어 생성하는 답을 변경하는 것입니다. 전체 재학습은 비용이 너무 많이 들고 단일 예제로 파인튜닝하면 과적합되거나 다른 지식이 손상되기 쉬우므로, 주로 LLM의 사실 지식을 수정하거나 갱신하거나 삽입하는 데 사용됩니다. 편집기는 모델 가중치를 작고 국소적으로 변경하거나, 가중치 외부에 편집 내용을 저장하고 관련 입력을 해당 내용으로 전달합니다. 가장 잘 알려진 방법인 Rank-One Model Editing(ROME)은 Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov가 NeurIPS 2022에서 발표한 GPT의 사실 연관 관계 위치 지정 및 편집에서 소개되었습니다.

모델 편집의 작동 방식#

편집 요청에는 입력(대개 주체와 관계)과 새로운 출력이 명시됩니다. 예를 들어 Space Needle이 있는 도시를 Seattle에서 Paris로 변경하는 경우입니다. 편집 방법은 몇 가지 유형으로 나뉩니다.

• 위치 지정 후 편집: ROME은 먼저 숨겨진 상태를 손상했다가 복원하는 해석 가능성 기법인 인과 추적을 사용해 GPT 모델이 사실을 회상하는 위치를 찾습니다. 결정적인 계산은 네트워크 중간에 있는 피드포워드(MLP) 레이어의 주체 마지막 토큰에서 일어납니다. ROME은 MLP 하나의 출력 프로젝션을 키-값 메모리로 간주하고, 폐쇄형 랭크-원 가중치 업데이트를 통해 새로운 사실을 삽입합니다. GPT-2 XL에서는 48개 레이어 중 18번째 레이어를 편집합니다. MEMIT은 업데이트를 여러 레이어에 분산하여 한 번에 수천 개의 사실을 삽입합니다.
• 학습된 편집기: MEND는 편집 예제의 그래디언트를 저랭크 가중치 업데이트로 변환하는 소규모 하이퍼네트워크를 학습합니다. 이 방식은 수십억 개의 파라미터를 가진 모델에서도 편집 속도를 빠르게 유지합니다.
• 메모리 기반 편집기: SERAC은 편집 내용을 명시적 메모리에 저장하고 범위 분류기를 사용해 편집과 관련된 입력을 소규모 반사실 모델로 전달하므로, 기본 가중치는 그대로 유지됩니다. GRACE는 장기간 편집을 위해 한 레이어에 이산 키-값 어댑터의 코드북을 삽입합니다. 검색 증강 생성처럼 프롬프트에 새로운 사실을 넣는 방식은 이러한 유형 중 가장 간단한 편집기입니다.

ROME의 업데이트는 선형 레이어의 속성을 활용합니다. 가중치 행렬 W는 저장된 키를 값으로 매핑하며, 랭크-원 행렬을 더하면 새 키 k*에 새 값 v*를 부여할 수 있습니다. ROME은 Wikipedia 텍스트 표본에서 추정한 키의 역공분산 C를 사용해 업데이트에 가중치를 부여하며, 이로써 기존 키가 사용하는 방향에서 변경이 벗어나도록 합니다. 다음 PyTorch 예제는 5,000개의 키를 저장하는 무작위 레이어에 해당 업데이트를 적용하고 공분산을 무시하는 일반 랭크-원 업데이트와 비교합니다.

import torch

torch.manual_seed(0)
scales = torch.logspace(0, -2, 256)  # key dimensions with very different variances, as in real activations
keys = torch.randn(5000, 256) * scales  # keys of 5,000 facts the layer already stores
W = torch.randn(128, 256)  # the layer maps each key to a value
C = keys.T @ keys / len(keys)  # second-moment statistics of the stored keys

k_new = torch.randn(256) * scales  # key of the subject to edit
v_new = W @ keys[0]  # new value: one already stored for another subject, as in "Seattle" -> "Paris"

# Plain rank-one update vs. ROME's update, which steers the change away from directions stored keys use
plain = W + torch.outer(v_new - W @ k_new, k_new) / (k_new @ k_new)
c_inv_k = torch.linalg.solve(C, k_new)
rome = W + torch.outer(v_new - W @ k_new, c_inv_k) / (k_new @ c_inv_k)

for name, edited in [("Plain rank-one", plain), ("ROME", rome)]:
    error = (edited @ k_new - v_new).norm() / v_new.norm()
    drift = ((keys @ (edited - W).T).norm(dim=1) / (keys @ W.T).norm(dim=1)).median()
    print(f"{name}: new-fact error {error:.4f}, median change on stored facts {drift:.2%}")

두 업데이트 모두 새로운 키를 새로운 값에 정확히 매핑하며, 오차는 0.0000입니다. 일반 업데이트는 저장된 5,000개 키에 대한 출력 중앙값을 10.99%만큼 바꾸고, ROME의 공분산 가중 업데이트는 5.02%만큼 바꾸므로 레이어가 이미 알고 있던 내용에 미치는 영향이 더 적습니다.

편집 평가#

편집은 여러 속성을 동시에 기준으로 평가합니다. 신뢰성은 편집된 입력이 새 답을 내놓는지, 일반화는 바꿔 말한 입력에서도 새 답을 내놓는지, 특이성이라고도 하는 국소성은 관련 없는 입력이 기존 답을 유지하는지, 이식성은 해당 사실에 의존하는 추론도 그 사실을 따르는지 평가합니다. ROME의 저자들은 이러한 속성을 함께 측정하기 위해 반사실 편집 21,919건으로 구성된 CounterFact 데이터셋을 만들었습니다. 이전 벤치마크에서는 방법들이 일반화를 위해 특이성을 희생해도 드러나지 않았기 때문입니다.

편집은 더 어려운 테스트에서 실패하는 경우가 많습니다. RippleEdits 벤치마크의 편집 5,000건에서 주요 편집기들은 편집된 사실과 논리적으로 연결된 사실을 일관되게 변경하지 못했고, 간단한 인컨텍스트 편집 기준선이 가장 높은 점수를 기록했습니다. Gupta 등은 ROME과 MEMIT을 순차적으로 적용하면 모델이 이전 편집 내용과 후속 작업 기술을 잊어버리며, 처음에는 점진적으로, 이후에는 갑작스럽게 잊는다는 사실을 발견했습니다. 이로 인해 모델이 흡수할 수 있는 편집 수가 제한됩니다.

비전 모델 편집#

같은 랭크-원 메커니즘은 이미지에도 적용됩니다. Santurkar 등은 이미지 분류기를 편집해 레이어가 시각적 개념에 적용하는 규칙을 다시 작성했습니다. 예를 들어 눈의 표현을 도로의 표현으로 매핑하면 새로운 학습 데이터를 수집하지 않고도 모델이 눈 덮인 도로 위 차량을 처리할 수 있습니다. Ultralytics YOLOE는 내보내기 시 자체 탐지 헤드를 그래디언트 없이 편집합니다. set_classes()로 설정한 클래스는 각 분류 브랜치의 최종 컨볼루션에 반영되므로, 내보낸 모델은 학습이나 텍스트 인코더 없이 새로운 어휘를 탐지합니다.

모델 편집과 관련 개념 비교#

• 파인튜닝: 데이터셋을 사용해 많은 가중치를 업데이트함으로써 전반적인 동작을 바꿉니다. 편집은 입력-출력 쌍 하나를 대상으로 하며 나머지 동작은 그대로 유지하도록 제한합니다.
• 검색 증강 생성(RAG): 요청이 있을 때마다 프롬프트에 최신 사실을 제공하고 모델은 변경하지 않습니다. 롤백이 간편하고 많은 사실로 확장하기 좋습니다.
• 머신 언러닝: 특정 학습 데이터의 영향을 제거합니다. 편집은 사실을 대체하거나 추가하며, 사실을 삭제하는 편집은 언러닝의 한 형태입니다.
• 태스크 연산: 파인튜닝된 전체 태스크의 가중치 변경량을 더하거나 뺍니다. 모델 편집은 단일 사실 수준에서 작동합니다.
• 메커니즘 해석 가능성: 모델이 계산을 수행하는 방식을 설명합니다. ROME의 인과 추적은 이 분야에서 비롯되었으며 편집 대상을 결정할 레이어를 찾습니다.