Transparency in AI

AI 투명성은 인공지능(AI) 시스템의 구축, 학습, 평가, 사용 방식과 사람들이 AI 시스템을 이용하고 있다는 사실을 알리는 데 있어 개방적인 태도를 의미합니다. 이는 시스템 전반에 관한 질문에 답합니다. 모델을 어떤 데이터로 학습했는지, 누가 어떤 목적으로 만들었는지, 누구에게 얼마나 잘 작동하는지, 어떤 용도로 사용해서는 안 되는지, 그리고 대화 상대나 이미지 또는 결정이 AI에서 비롯된 것인지가 여기에 포함됩니다. 투명성은 사용자가 신뢰 수준을 적절히 조정하고, 감사자와 규제 기관이 시스템의 주장을 확인하며, 연구자가 알고리즘 편향과 같은 결함을 찾아낼 수 있게 합니다. 이러한 이유로 OECD AI 원칙과 대부분의 다른 AI 윤리 프레임워크는 투명성을 핵심 원칙으로 꼽습니다.

투명성의 형태#

• 고지: AI 시스템과 상호작용하거나 AI가 생성한 콘텐츠를 볼 때 이를 사용자에게 알립니다. 2026년 8월 2일부터 적용되는 EU AI법 제50조는 챗봇이 사용자가 기계와 대화하고 있음을 명확히 알리고, 생성형 시스템 제공자가 출력을 기계가 읽을 수 있는 형식으로 표시하며, 배포자가 딥페이크에 라벨을 붙이도록 요구합니다. 콘텐츠 자격 증명(C2PA) 및 AI 워터마킹과 같은 표준은 이러한 표시 방식을 구현합니다.
• 문서화: 모델 카드는 모델의 의도된 용도, 학습 데이터, 그룹별 평가 결과, 알려진 한계를 보고합니다. 데이터셋 데이터시트는 데이터의 동기, 구성, 수집 과정 및 권장 용도를 기록해 데이터에 대해 동일한 정보를 제공합니다. EU AI법에 따라 범용 AI 모델 제공자는 유럽연합 집행위원회가 2025년 7월에 발표한 템플릿을 사용해 학습 콘텐츠 요약도 공개해야 합니다.
• 접근: 가중치, 코드 또는 데이터를 공개하면 외부인이 개발자의 보고에 의존하지 않고 모델을 직접 살펴보고, 재현하고, 테스트할 수 있습니다.
• 출력 설명: 일부 고위험 환경에서는 GDPR과 EU AI법이 요구하는 설명 가능한 AI(XAI) 방법을 사용해 개별 결정을 설명할 수 있습니다.

접근성에는 여러 수준이 있습니다. 폐쇄형 모델은 개발자의 API를 통해서만 사용할 수 있고, 오픈 웨이트 모델은 매개변수를 공개합니다. 2024년 10월에 발표된 Open Source Initiative의 오픈소스 AI 정의 1.0은 여기에 더해 완전한 학습 및 추론 코드와, 숙련된 사람이 실질적으로 동등한 시스템을 구축할 수 있을 만큼 충분한 학습 데이터 정보(출처와 처리 방식 포함)를 요구합니다:

투명성과 설명 가능성#

두 용어는 서로 겹치며 "투명성과 설명 가능성"처럼 함께 사용되기도 합니다. 투명성은 시스템과 시스템을 만든 과정에 관한 것으로, 개발자가 학습 데이터와 테스트 결과를 문서화한 경우처럼 아무도 해석할 수 없는 모델에도 적용됩니다. 설명 가능성은 어떤 픽셀이 분류 결과에 영향을 미쳤는지와 같이 모델이 특정 출력을 생성한 이유에 관한 것입니다. 소규모 결정 트리와 같은 해석 가능한 모델은 설계 자체가 이해하기 쉬우며, 메커니즘 해석 가능성은 대규모 네트워크의 내부 회로를 역설계합니다. 데이터의 출처와 변경 이력을 기록하는 데이터 계보는 투명성 보고서에 포함되는 내용의 상당 부분을 제공합니다.

모델과 함께 유지되는 문서#

문서는 배포 후에도 모델과 함께 유지될 때 가장 유용합니다. Ultralytics YOLO26은 모델과 학습 데이터셋에 대한 설명, 라이브러리 버전, 내보내기 날짜, 작업, 입력 크기, 클래스 이름을 각 내보낸 모델에 기록하며, 예를 들어 ONNX 파일에서는 해당 정보를 메타데이터 속성으로 저장하고, Ultralytics는 이 필드를 다시 읽어 모델을 올바르게 실행합니다:

import onnx
from ultralytics import YOLO

# Export YOLO26 to ONNX; the exporter embeds provenance metadata in the file
model = YOLO("yolo26n.pt")
onnx_path = model.export(format="onnx")

# Anyone holding only the exported file can read where it came from
metadata = {prop.key: prop.value for prop in onnx.load(onnx_path).metadata_props}
for key in ("description", "author", "version", "date", "task", "imgsz"):
    print(f"{key}: {metadata[key]}")

출력된 필드에는 원래 학습 실행에 접근하지 않고도 모델, 학습 데이터, 모델을 내보낸 소프트웨어와 내보낸 시점을 식별할 수 있는 정보가 포함됩니다.

투명성 측정#

Stanford의 파운데이션 모델 투명성 지수는 주요 AI 개발자를 대상으로 대표 모델의 데이터와 연산 자원, 모델 자체, 출시 후 사용 방식에 관한 100개 지표를 평가합니다. 13개 개발자를 평가한 2025년 에디션에서 평균 점수는 2024년 58점에서 100점 만점에 40점으로 하락했습니다. 개발자들이 학습 데이터와 학습 연산 자원을 가장 불투명하게 공개한 가운데 IBM은 이 지수에서 최고 점수인 95점을 기록했습니다.