Generative AI

생성형 AI는 모델이 학습 데이터의 확률 분포를 학습하고 그 분포에서 텍스트, 이미지, 오디오, 비디오, 코드, 3D 장면 또는 분자 구조와 같은 새로운 데이터를 샘플링하는 인공지능(AI)의 한 분야입니다. 판별 모델은 입력이 주어졌을 때 레이블의 확률인 p(label | input)을 학습하는 반면, 생성 모델은 p(input) 자체 또는 p(input | prompt)를 학습하므로 존재한 적 없는 입력을 생성할 수 있습니다. 이 용어는 OpenAI가 2022년 11월 30일 ChatGPT를 출시한 후 일상적으로 사용되기 시작했지만, 관련 방법은 더 오래전부터 존재했습니다. Diederik Kingma와 Max Welling은 2013년에 변분 오토인코더를 소개했고, Ian Goodfellow와 동료들은 2014년에 생성적 적대 신경망을 소개했습니다.

생성 모델의 작동 방식#

오늘날 대부분의 생성형 AI는 네 가지 딥러닝 모델 계열에서 만들어지며, GPT 계열의 모든 대규모 언어 모델(LLM)은 첫 번째 계열에 속합니다.

• 오토리그레시브 Transformer: 지금까지 작성된 모든 내용을 조건으로 삼아 한 번에 토큰 하나씩 시퀀스를 생성하며, 텍스트, 코드, 음성, 토큰화된 이미지에 사용됩니다.
• 확산 모델: 학습 샘플에 노이즈를 추가하고 이를 단계적으로 제거하도록 학습하여, 순수 노이즈에서 생성을 시작해 노이즈를 제거하면서 샘플을 만듭니다. 2022년 8월 출시된 Stable Diffusion은 압축된 잠재 공간에서 이 과정을 수행합니다.
• 생성적 적대 신경망(GAN): 생성된 샘플과 실제 샘플을 구별하려는 판별자와 생성자를 함께 학습시킵니다. 이 과정에서 생성자는 단일 순전파로 사실적인 결과를 만들도록 유도됩니다.
• 변분 오토인코더(VAE): 데이터를 알려진 분포를 갖는 잠재 공간으로 인코딩하고, 그 분포에서 추출한 샘플을 디코딩합니다. 잠재 확산 모델은 노이즈 제거 전에 VAE를 사용해 이미지를 압축합니다.

기본 개념은 몇 줄로 설명할 수 있습니다. 가우시안 혼합 모델은 Iris 데이터셋의 꽃 150개에 대한 분포를 학습하고 새로운 꽃을 샘플링하며, 동일한 데이터로 학습한 판별 분류기는 꽃에 레이블을 지정합니다.

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150개의 꽃: 꽃받침과 꽃잎의 길이 및 너비(cm)

# 판별 모델: p(종 | 측정값)을 학습하므로 꽃에 레이블만 지정할 수 있습니다.
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# 생성 모델: p(측정값) 자체를 학습하므로 새로운 꽃을 샘플링할 수 있습니다.
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# 판별 모델은 생성된 샘플에 레이블을 지정합니다.
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

예를 들어 꽃받침이 4.7cm이고 꽃잎이 1.4cm인 꽃을 포함해 샘플링된 꽃 세 개는 실제로 측정된 적이 없지만, 분류기는 이 꽃들을 각각 versicolor, setosa, virginica로 분류합니다. 혼합 모델의 세 군집이 세 종과 일치하기 때문입니다. 텍스트 또는 이미지 생성기에서는 세 개의 가우시안이 수십억 개의 파라미터를 가진 신경망으로, 측정값이 토큰 또는 픽셀로 대체됩니다.

생성 모델과 판별 모델의 결합#

이미지 분류와 객체 탐지는 판별 작업입니다. YOLO26은 이미지를 박스와 클래스로 변환하며 이미지를 그릴 수는 없습니다. 두 종류의 모델은 순차적으로 작동하는 경우가 많습니다. Ultralytics Platform의 클래스 프롬프트 기반 스마트 어노테이션은 기본 모델인 Moondream 3.1과 같은 생성형 비전 언어 모델(VLM)을 사용해 데이터셋의 클래스 이름에 해당하는 박스를 그립니다. 검토가 끝난 박스는 YOLO26 탐지기 학습을 위한 레이블이 됩니다.

생성기는 특이한 결함이나 도로 위험 요소처럼 촬영 비용이 높거나 위험한 희귀 사례에 사용할 합성 데이터도 만듭니다. 합성 데이터 생성 파이프라인은 이러한 이미지를 실제 이미지와 혼합해 학습에 사용합니다. 반대 방향의 활용도 흔합니다. 탐지기와 분류기는 생성된 이미지의 품질을 평가하거나 안전하지 않은 콘텐츠를 표시합니다.

응용 분야#

• 텍스트 생성: 채팅 어시스턴트, 요약, 번역은 LLM을 기반으로 작동하며, 코딩 어시스턴트는 설명을 바탕으로 소프트웨어를 작성하고 테스트합니다.
• 텍스트-이미지: Stable Diffusion과 같은 모델은 프롬프트로 이미지를 만들며, 같은 모델로 사진의 마스크 영역을 채우거나 대체할 수도 있습니다.
• 텍스트-비디오: 2024년 2월 미리 공개된 OpenAI의 Sora와 같은 모델은 설명을 바탕으로 비디오 클립을 생성합니다.
• 분자 구조: 2024년 5월 발표된 Google DeepMind와 Isomorphic Labs의 AlphaFold 3는 원자 좌표를 생성하는 확산 기반 모듈을 사용해 단백질 복합체의 구조를 예측합니다.

위험과 한계#

언어 생성기는 유창하지만 사실이 아닌 진술을 환각하고, 이미지 및 음성 생성기는 딥페이크를 가능하게 하며, 웹 데이터로 학습하면 저작권과 동의에 관한 문제가 제기됩니다. AI 워터마킹과 C2PA 콘텐츠 자격 증명은 생성된 미디어를 표시해 나중에 식별할 수 있도록 합니다. 생성된 콘텐츠가 학습 데이터에 다시 포함되기도 합니다. Ilia Shumailov와 동료들은 2024년 Nature에 발표한 재귀의 저주에서 자체 출력으로 반복 학습한 모델이 원래 분포의 희귀한 꼬리 부분을 잃는다는 사실을 보였으며, 이러한 실패를 모델 붕괴라고 명명했습니다.