Deepfakes

딥페이크는 딥러닝(DL)을 이용해 실제 사람의 얼굴, 음성 또는 신체를 바꾸거나 조작하여 시청자가 진짜라고 믿을 만큼 그럴듯하게 만든 이미지, 동영상 또는 음성 녹음입니다. "딥러닝"과 "가짜"를 합친 이 용어는 오픈 소스 도구로 얼굴을 바꾼 동영상을 게시하기 시작한 "deepfakes"라는 Reddit 사용자에 의해 2017년에 등장했습니다. 딥페이크는 생성형 AI의 한 형태이며, 동일한 기법은 영화 효과와 더빙은 물론 사기, 괴롭힘, 허위 정보 유포에도 사용됩니다.

딥페이크 제작 방식#

전통적인 얼굴 교체 방식은 하나의 인코더를 공유하는 오토인코더 두 개를 사용합니다. 공유 인코더는 모든 얼굴을 포즈, 표정, 조명을 나타내는 압축된 잠재 공간 코드로 변환하는 방법을 학습하고, 각 디코더는 해당 코드로 특정 인물 한 명을 재구성하는 방법을 학습합니다. 두 사람의 얼굴을 자른 이미지 수천 장으로 학습한 뒤 시스템은 A의 프레임을 인코딩하고 B의 디코더로 디코딩하여 A의 표정을 한 B의 얼굴을 만듭니다.

이후 다른 방법들이 등장했습니다.

• 생성적 적대 신경망(GAN): 생성기는 이미지를 만들고 판별기는 그 이미지가 실제 사진인지 판별합니다. 이러한 경쟁을 통해 생성기는 사진처럼 사실적인 이미지를 만들도록 학습됩니다. StyleGAN과 같은 GAN은 실제로 존재하지 않는 사람의 얼굴을 생성합니다.
• 확산 모델: 텍스트, 참조 사진 또는 원본 동영상의 안내에 따라 노이즈를 단계적으로 제거해 이미지와 동영상을 생성합니다. 현재의 사진 편집 및 텍스트-동영상 도구는 이 모델을 활용하며, 참조 사진 한 장만으로 말하는 사람의 사실적인 동영상을 생성할 수 있습니다.
• 음성 복제: 음성 모델은 짧은 녹음으로 사람의 목소리를 재현하고, 립싱크 모델은 새 음성에 맞춰 기존 동영상의 입 모양을 조정합니다.

활용과 피해#

딥페이크 기법에는 정당한 활용 사례가 있습니다. 영화 제작사는 배우의 나이를 어려 보이게 하고, 입 모양을 맞춰 영화를 다른 언어로 더빙합니다. 2020년 다큐멘터리 Welcome to Chechnya는 박해받는 인터뷰 대상자의 얼굴을 자원자의 얼굴로 바꿔 모든 표정을 보존하면서 신원을 보호했습니다. 질병으로 목소리를 잃은 환자는 녹음된 음성을 보관하고 이를 복제한 음성으로 말할 수 있으며, 생성된 얼굴은 실제 사람의 사진을 수집하지 않고 모델을 학습시키는 합성 데이터로 활용됩니다.

그러나 피해 규모는 훨씬 큽니다. 온라인 딥페이크 대부분은 실제 인물, 주로 여성을 대상으로 한 비동의 성적 이미지입니다. 사기범은 친척이나 임원의 목소리를 복제해 긴급 송금을 요청합니다. 2024년 초에는 엔지니어링 회사 Arup 직원이 회사 최고재무책임자와 다른 동료들이 모두 딥페이크로 등장한 화상 통화 후 약 2,500만 달러를 송금했습니다. 조작된 정치인 영상은 선거 기간에 확산되며, 그럴듯한 가짜 영상이 존재한다는 사실 때문에 진짜 녹음까지 조작된 것이라고 일축되기도 합니다.

딥페이크 탐지#

탐지 시스템은 생성 과정에서 남는 흔적을 찾습니다. 얼굴 주변의 합성 경계, 일치하지 않는 조명과 눈의 반사, 부자연스러운 눈 깜박임이나 머리 움직임, 눈에 보이지 않는 주파수 아티팩트, 음성과 어긋나는 입 움직임 등이 그 흔적입니다. 대부분의 탐지기는 먼저 각 얼굴을 찾아 잘라낸 다음, 잘라낸 이미지를 실제 및 조작 사례로 학습한 분류기에 입력합니다. Ultralytics YOLO26은 이 두 번째 단계에 적합합니다. 분류 모델은 클래스별 폴더로 구성된 데이터셋으로 학습하므로, 얼굴을 자른 이미지가 들어 있는 "real" 및 "fake" 폴더만으로 실제/가짜 분류기를 학습할 수 있습니다.

탐지기는 학습 중 접하지 못한 생성 방식에 일반화하는 데 어려움을 겪습니다. Meta의 딥페이크 탐지 챌린지에서 우승 모델은 새로운 동영상이 포함된 숨겨진 테스트 세트에서 평균 정밀도 65.18%를 기록했습니다. 공개 테스트 세트에서 최고 성능을 기록한 모델의 82.56%와 비교되는 수치입니다. 탐지 기술이 생성 기술의 발전을 따라가지 못하기 때문에 업계에서는 출처도 검증합니다. 콘텐츠 자격 증명(C2PA)은 미디어의 촬영 및 편집 방식을 기록한 암호화 서명 기록을 첨부하고, AI 워터마킹은 생성된 콘텐츠에 숨겨진 신호를 삽입하여 탐지기가 나중에 읽을 수 있도록 합니다.

딥페이크와 관련 개념 비교#

• 합성 데이터: 시뮬레이션된 주행 장면부터 렌더링된 제품 이미지까지, 모델 학습 또는 테스트에 사용하는 모든 인공 생성 데이터입니다. 생성된 얼굴로 학습 세트를 채우는 경우 딥페이크 기법이 합성 데이터의 한 출처가 됩니다.
• 컴퓨터 생성 이미지(CGI): 아티스트가 직접 모델링하고 리깅하여 애니메이션을 적용하는 디지털 캐릭터와 효과입니다. 시각 효과 스튜디오에서는 한 장면에 CGI와 학습 기반 얼굴 교체를 함께 사용하는 사례가 늘고 있습니다.
• 셸로우페이크: AI를 사용하지 않고 만든 오해를 유발하는 편집물입니다. 예를 들어 화자가 취한 것처럼 들리도록 영상을 느리게 재생하거나, 실제 동영상에 거짓 맥락의 자막을 다는 방식이 있습니다.

규제#

이제 딥페이크를 직접 규제하는 법률이 마련되고 있습니다. 2026년 8월 2일부터 적용되는 EU AI Act 제50조는 AI로 딥페이크를 제작하는 배포자에게 해당 콘텐츠가 인공적으로 생성되거나 조작되었음을 공개하도록 요구하고, 생성형 시스템 제공자에게는 출력물을 기계 판독 가능한 형식으로 표시하도록 요구합니다. 미국에서는 2025년 5월 서명된 TAKE IT DOWN Act에 따라 비동의 성적 딥페이크를 게시하는 행위가 연방 범죄가 되었으며, 2026년 5월 19일부터 적용 대상 플랫폼은 유효한 요청을 받은 후 48시간 이내에 해당 콘텐츠를 삭제해야 합니다.