Model Card

모델 카드는 AI 또는 머신러닝 모델의 기능, 개발 및 평가 방식, 사용해야 하는 용도, 사용자가 알아야 할 제한 사항이나 위험을 설명하는 구조화된 문서입니다. 모델 카드에서는 소스 코드나 모델 내부에 접근하지 않고도 AI의 투명성을 뒷받침하는 실용적인 정보를 개발자, 검토자, 배포 담당자 및 영향을 받는 이해관계자에게 제공합니다. 이 맥락에서 모델 카드는 패션 모델의 전문 포트폴리오인 “컴카드”와는 무관합니다.

모델 카드에 포함되는 내용#

유용한 모델 카드는 기술적 근거와 평이한 언어로 작성된 지침을 함께 제공합니다. 문서의 상세 수준은 모델의 영향력에 맞춰야 합니다. 실험용 이미지 분류기에는 짧은 카드면 충분할 수 있지만, 의료 또는 금융 관련 의사결정에 영향을 미치는 모델에는 더 상세한 문서가 필요합니다.

일반적인 구성 요소는 다음과 같습니다.

• 목적, 소유권 및 버전: 모델, 책임 팀, 릴리스 버전, 작업, 지원되는 입력 및 출력, 연락처 또는 유지보수 정보를 명시합니다.
• 학습 데이터 및 개발 맥락: 데이터 소스, 수집 조건, 라벨링 방식, 전처리, 모델 아키텍처, 학습 절차 및 주요 가정을 설명합니다. 민감하거나 독점적인 데이터는 공개하지 않고 요약할 수 있습니다.
• 평가 및 성능 지표: 명확히 식별된 검증 또는 테스트 데이터셋의 지표를 보고합니다. 객체 감지의 경우 정밀도, 재현율, 평균 정밀도, 추론 지연 시간, 개별 클래스 또는 의미 있는 데이터 하위 집합별 결과가 포함될 수 있습니다.
• 의도된 사용 및 제외 항목: 적합한 애플리케이션, 예상 작동 조건, 필요한 사람의 감독, 모델이 설계되지 않은 시나리오를 설명합니다.
• 제한 사항 및 위험: 알려진 실패 유형, 불확실성, 개인정보 보호 문제, 보안 고려 사항 및 발생 가능한 데이터셋 편향을 문서화합니다. 또한 잘못된 예측으로 인해 발생할 가능성이 있는 결과도 명시해야 합니다.

Amazon SageMaker 모델 카드 문서는 의도된 사용, 학습 세부 정보, 평가, 위험 등급 및 권장 사항을 다루는 구조화된 수명 주기 기록의 예를 제공합니다. Google DeepMind 모델 카드와 같은 공개 컬렉션은 카드가 더 폭넓은 독자에게 역량, 안전성 평가 및 제한 사항을 전달하는 방법을 보여줍니다.

모델 카드가 중요한 이유#

모델 카드는 팀이 모델을 도입하거나 배포하기 전에 충분한 정보를 바탕으로 의사결정을 내리는 데 도움이 됩니다. 눈에 띄는 주요 지표도 희귀 클래스, 특수한 환경 또는 특정 사용자 그룹에서의 낮은 성능을 가릴 수 있습니다. 평가 데이터셋, 테스트 조건 및 그룹별 결과를 문서화하면 독자가 해당 수치를 해석하는 데 필요한 맥락을 파악할 수 있습니다.

모델 카드는 거버넌스와 책임성도 뒷받침합니다. NIST AI 위험 관리 프레임워크는 AI 수명 주기 전반에서 신뢰성을 관리하는 일을 강조하며, OECD 투명성 및 설명 가능성 원칙은 AI의 역량과 제한 사항에 관한 유의미한 정보를 요구합니다. 모델 카드는 이러한 목표를 달성하기 위한 실용적인 산출물입니다.

조직 내에서 모델 카드는 데이터 과학자, 제품 팀, 규정 준수 검토자 및 운영 엔지니어 간의 인수인계를 개선합니다. IBM AI Factsheets와 같은 시스템은 개발, 승인, 배포 및 모니터링 전반에 걸쳐 모델 메타데이터를 수집하여 이러한 접근 방식을 확장합니다.

관련 문서 및 주요 차이점#

관련 산출물은 여러 가지이며, 각각 목적이 다릅니다.

• 데이터 카드: 데이터셋의 출처, 구성, 수집 과정, 접근 조건, 의도된 사용 및 제한 사항을 설명합니다. 모델 카드는 학습된 모델에 초점을 맞추지만, 관련 데이터셋 문서를 참조해야 합니다.
• 모델 레지스트리: 모델 아티팩트, 버전, 계보 및 배포 상태를 저장하고 관리합니다. MLflow 모델 레지스트리 워크플로는 이러한 운영상의 역할을 보여줍니다. 모델 카드는 의미와 위험을 전달하고, 모델 레지스트리는 모델 자산을 관리합니다. 두 가지를 연동할 수 있습니다.
• 시스템 카드: 여러 모델, 프롬프트, 검색 구성 요소, 보호 장치, 인터페이스 및 사람의 프로세스를 포함할 수 있는 전체 AI 시스템을 문서화합니다. 모델 카드는 범위가 모델 수준으로 더 좁습니다.
• 설명 가능성 보고서: 모델이 특정 출력을 생성한 이유를 조사합니다. 모델 카드는 전반적인 동작과 제한 사항을 요약하지만, 예측별 설명을 대체하지는 않습니다.

실제 적용 사례#

• 제조업 시각 검사: 공장에서는 결함 감지를 위해 컴퓨터 비전 모델을 배포할 수 있습니다. 모델 카드에는 지원되는 결함 클래스, 카메라 설치 위치, 조명 관련 가정, 희귀 결함에 대한 성능, 최소 객체 크기 및 엣지 디바이스 지연 시간을 기재할 수 있습니다. 반사 조명 아래에서 긁힘을 자주 놓친다면, 해당 제한 사항을 문서화하여 작업자가 수동 검토를 요구하거나 학습 이미지를 추가로 수집하도록 할 수 있습니다.

• 임상 영상 지원: 의료 영상 모델의 카드에는 평가에 사용된 스캔 유형, 장비, 환자 집단 및 기관을 명시할 수 있습니다. 하위 그룹별 성능을 보고하고, 해당 출력은 자격을 갖춘 임상의를 지원하는 것이며 독립적으로 진단을 결정하지 않는다는 점을 분명히 할 수 있습니다. 이러한 맥락이 누락되면 병원에서 지원되지 않는 장비나 환자 집단에 모델을 사용하여 신뢰할 수 없는 권고가 나올 위험이 커질 수 있습니다.

타사 모델을 선택할 때도 모델 카드를 접할 수 있습니다. 예를 들어, Microsoft Foundry 모델 카탈로그 문서는 모델 세부 정보, 벤치마크, 지원되는 데이터 유형, 라이선스 및 배포 정보를 포함하는 카드를 설명합니다.

모델 카드 작성 및 유지 관리#

배포 후가 아니라 프로젝트 계획 단계에서 카드 작성을 시작합니다. 데이터셋 버전, 학습 설정, 평가 조건 및 검토자 결정 등 근거를 생성하는 즉시 기록합니다. Ultralytics YOLO26 객체 감지 모델의 경우, 문서화된 검증 워크플로를 사용해 평가 섹션에 포함할 지표를 생성할 수 있습니다.

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

이러한 값은 모델 버전, 데이터셋, 분할, 이미지 크기, 하드웨어 및 평가 구성을 함께 명시해야 의미가 있습니다. 팀은 Ultralytics Platform을 사용해 데이터셋에 주석을 달고, 학습 실행을 추적하고, 모델을 배포하고, 엔드포인트를 모니터링하면서 카드 업데이트에 필요한 근거를 유지할 수 있습니다.

모델 카드는 버전이 관리되는 지속적으로 갱신되는 문서여야 합니다. 모델, 데이터셋, 평가 프로세스, 배포 환경 또는 알려진 제한 사항이 변경될 때마다 업데이트합니다. 무엇보다도 모델을 학습한 팀만이 아니라 모델을 사용할지, 어떻게 사용할지 결정하는 사람들을 위해 작성해야 합니다.