AI Watermarking
AI 워터마킹은 생성된 이미지, 텍스트, 오디오, 동영상에 기계가 감지할 수 있는 신호를 숨깁니다. SynthID와 그린리스트 방식의 작동 원리와 한계를 다룹니다.
AI 워터마킹은 생성형 AI 시스템이 만든 콘텐츠에 숨겨진 기계 판독 가능 신호를 삽입하는 방식입니다. 올바른 키를 가진 검출기는 나중에 이미지, 동영상, 오디오 클립, 텍스트가 해당 시스템에서 생성되었는지 판별할 수 있습니다. 신호는 사람이 알아차릴 수 없어야 하며 크기 조정과 압축 같은 일상적인 편집 후에도 유지되도록 설계됩니다. 워터마크는 합성 미디어의 데이터 출처를 확인하는 방법 중 하나이며, 규제에 따라 의무화되고 있습니다. EU AI Act 제50조는 생성형 시스템 제공업체가 2026년 8월 2일부터 출력을 기계 판독 및 검출이 가능한 형식으로 표시하도록 요구합니다. 이미 시장에 출시된 시스템에는 2026년 12월 2일까지 유예 기간이 적용되며, 2025년 9월부터 시행된 중국의 AI 생성 콘텐츠 라벨링 규정은 눈에 보이는 라벨과 함께 파일 메타데이터에도 숨겨진 라벨을 넣도록 요구합니다.
AI 워터마킹의 작동 방식#
현재 대부분의 방식은 콘텐츠를 생성하는 동안 신호를 삽입하므로, 생성 후 추가하는 표시보다 제거하기 어렵습니다.
- 이미지 및 동영상: 학습된 인코더가 이미지 전체에 작은 변화를 분산해 적용하고, 쌍을 이루는 신경망 디코더가 나중에 신호를 복원합니다. Google DeepMind의 SynthID는 Imagen, Veo, Lyria와 같은 모델에서 생성된 이미지, 동영상, 오디오에 이 방식을 사용합니다. Meta의 Stable Signature는 잠재 확산 모델의 디코더를 미세 조정하여 생성되는 모든 이미지에 고정된 이진 서명을 포함시킵니다. 또 다른 방식은 시작 노이즈에 패턴을 심고 확산 모델이 이를 노이즈 제거하도록 하여 첫 단계부터 이미지의 잠재 공간 표현에 표시를 녹여 넣습니다.
- 텍스트: 대규모 언어 모델(LLM)은 확률 분포에서 각 토큰을 선택하며, 텍스트 워터마크는 키 보유자만 검출할 수 있는 패턴으로 이러한 선택에 미세한 편향을 줍니다. 2024년 Nature에 소개된 SynthID Text는 Gemini 응답 약 2천만 건을 대상으로 평가되었으며, 측정 가능한 품질 저하가 없었습니다. 이 기술은 Hugging Face Transformers에서 오픈 소스로 제공됩니다.
- 사후 삽입 표시: 주파수 영역 패턴과 같은 기존 신호 처리 워터마크는 생성 후 모든 파일에 추가할 수 있지만, 일반적으로 제거하기 쉽습니다.
이미지에서는 디코더의 출력 점수로 검출하며, 텍스트에서는 토큰 시퀀스에 대한 통계 검정을 사용하므로 모델에 전혀 접근하지 않아도 됩니다.
그린 리스트 텍스트 워터마크#
Kirchenbauer 등의 A Watermark for Large Language Models에서 제안한 방식은 비밀 키를 사용해 이전 토큰의 해시값으로 어휘를 "그린" 부분과 나머지 "레드" 부분으로 나눈 뒤, 샘플링 전에 그린 토큰의 로짓에 작은 편향을 더합니다. 워터마크가 없는 텍스트는 기본 비율로 그린 토큰을 선택하지만, 워터마크가 있는 텍스트는 그린 토큰을 훨씬 자주 선택하며, 단일 비율 z-검정으로 이를 검출할 수 있습니다. 아래 코드에서는 무작위 로짓을 언어 모델 대신 사용합니다.
import torch
torch.manual_seed(0)
vocab, gamma, delta, length, key = 1000, 0.25, 2.0, 200, 42 # key is the secret shared with the detector
def green_list(prev):
"""Return the green 25% of the vocabulary, picked pseudorandomly from the key and previous token."""
return torch.randperm(vocab, generator=torch.Generator().manual_seed(key + prev))[: int(gamma * vocab)]
for bias in (0.0, delta): # ordinary sampling, then watermarked sampling
tokens = [0]
for _ in range(length):
logits = torch.randn(vocab) # stands in for a language model's next-token logits
logits[green_list(tokens[-1])] += bias
tokens.append(torch.multinomial(logits.softmax(0), 1).item())
# Detection needs only the text and the key: count green tokens and apply a one-proportion z-test
hits = sum(t in green_list(p) for p, t in zip(tokens, tokens[1:]))
z = (hits - gamma * length) / (length * gamma * (1 - gamma)) ** 0.5
print(f"bias {bias}: {hits}/{length} green tokens, z = {z:.1f}")일반 샘플링에서는 200개 중 그린 토큰 44개가 선택되어(z = -1.0) 예상치인 25%에 가까운 반면, 워터마크를 적용한 실행에서는 141개가 선택됩니다(z = 14.9). 이는 논문에서 텍스트에 워터마크가 있다고 판단하는 기준으로 사용하는 z = 4를 훨씬 웃돕니다. 각 토큰이 증거를 더하므로 문장이 길수록 더 확신도 높게 검출할 수 있습니다. 반면 코드나 사실 목록처럼 다음 토큰이 거의 정해진 텍스트에서는 신호가 약해집니다.
워터마킹과 관련 접근 방식 비교#
- 콘텐츠 크리덴셜(C2PA): 파일을 생성하거나 편집한 도구를 기록하는 암호화 서명 메타데이터 매니페스트입니다. 워터마크보다 훨씬 많은 정보를 담지만, 파일을 다시 인코딩하거나 스크린샷을 찍으면 사라지므로 두 방식을 함께 사용하는 경우가 많습니다.
- 딥페이크 및 AI 이미지 검출: 콘텐츠에 삽입된 표시 없이 생성 흔적을 찾는 분류기입니다. 모든 생성기의 출력에 적용할 수 있지만 확률에 기반한 결과를 제공하며, 생성 기술이 발전할수록 성능이 저하됩니다. 사람도 비슷한 단서를 활용해 이미지가 AI로 생성되었는지 눈으로 판별합니다.
- 스테가노그래피: 파일 안에 비밀 메시지를 숨기는 방식입니다. 워터마킹은 스테가노그래피의 기법을 활용하지만, 대용량 데이터를 숨기는 것보다 견고한 검출을 우선합니다.
합성 미디어에 라벨을 붙이고 AI 슬롭을 필터링하는 플랫폼은 일반적으로 다음 검사를 여러 겹 적용합니다.
견고성과 한계#
워터마크는 크롭, 크기 조정, 색상 변경, JPEG 압축과 같은 무해한 변경을 견뎌야 하며, 이상적으로는 의도적인 적대적 공격에도 견뎌야 합니다. 개발자는 표시가 삽입된 콘텐츠에 데이터 증강 방식의 변환을 적용하고 검출 성공률을 측정해 이를 테스트합니다. 현재 방식에는 다음과 같은 잘 알려진 약점이 있습니다.
- 재생성: 이미지에 노이즈를 추가한 뒤 생성형 모델로 재구성하면 시각적 유사성은 유지하면서 픽셀 단위의 비가시 워터마크를 제거할 수 있습니다.
- 의역 및 번역: 다른 모델로 워터마크가 삽입된 텍스트를 다시 쓰거나 번역한 뒤 역번역하면, 검출기가 세는 토큰 패턴이 희석됩니다.
- 적용 범위: 표시를 삽입하는 제공업체의 출력만 검출할 수 있으며, 오픈 웨이트 모델은 표시 없이 실행될 수 있습니다. 따라서 워터마크가 없다는 사실만으로 콘텐츠가 사람이 만든 것인지 판단할 수 없습니다.
- 스푸핑: 방식에 대해 충분히 파악한 공격자는 사람이 만든 콘텐츠에 해당 표시를 삽입해 신뢰성을 훼손할 수 있습니다.
가시적인 워터마크는 컴퓨터 비전 데이터셋에서 또 다른 문제를 일으킵니다. 모델이 이를 편법적 특징으로 학습하기 때문입니다. 잘 알려진 사례로 PASCAL VOC 데이터셋으로 학습한 분류기는 말 사진의 약 5분의 1에 나타난 저작권 태그를 바탕으로 말을 인식하는 법을 일부 학습했으며, 태그를 제거하자 제대로 동작하지 않았습니다. 눈에 보이는 표시와 로고는 일반적인 이미지 콘텐츠이므로, 라벨이 지정된 예제로 학습한 Ultralytics YOLO26 객체 검출 모델은 학습 데이터셋 전반에서 이를 찾을 수 있습니다. 따라서 팀은 모델이 잘못된 단서를 학습하기 전에 태그가 포함된 이미지를 자르거나 제거할 수 있습니다.










