Model Card

모델 카드는 AI 또는 머신러닝 모델의 기능, 개발 및 평가 방법, 권장 사용처, 사용자가 이해해야 할 한계점이나 위험성을 설명하는 구조화된 문서입니다. 이는 개발자, 검토자, 배포자, 그리고 영향을 받는 이해관계자를 위한 실용적인 정보 시트 역할을 하며, 소스 코드나 모델 내부 구조에 직접 접근하지 않고도 AI의 투명성을 지원합니다. 이 맥락에서 모델 카드는 패션 모델의 전문 포트폴리오를 뜻하는 "콤프 카드(comp card)"과는 관련이 없습니다.

모델 카드에 포함되는 내용#

유용한 모델 카드는 기술적 증거와 평이한 언어로 작성된 가이드를 결합합니다. 문서의 상세 정도는 모델의 영향력에 따라 달라져야 합니다. 예를 들어 실험용 이미지 분류기는 간단한 카드로 충분할 수 있지만, 헬스케어이나 금융 결정에 영향을 미치는 모델은 더 자세한 문서화가 필요합니다.

일반적인 구성 요소는 다음과 같습니다:

• 목적, 소유권 및 버전: 모델 식별 정보, 책임 팀, 릴리스 버전, 태스크, 지원되는 입력 및 출력, 연락처 또는 유지보수 정보를 명시합니다.
• 학습 데이터 및 개발 컨텍스트: 데이터 소스, 수집 조건, 라벨링 관행, 전처리, 모델 아키텍처, 학습 절차, 그리고 중요한 가정들을 설명합니다. 민감하거나 독점적인 데이터는 공개하지 않고 요약할 수 있습니다.
• 평가 및 성능 지표: 명확히 식별된 검증 또는 테스트 데이터셋에 대한 지표를 보고합니다. 객체 검출의 경우 정밀도, 재현율, 평균 정밀도(mAP), 추론 지연 시간, 그리고 개별 클래스나 의미 있는 데이터 서브셋에 대한 결과를 포함할 수 있습니다.
• 권장 사용처 및 제외 사항: 적합한 애플리케이션, 예상 운영 조건, 필수적인 인간의 모니터링, 그리고 모델이 설계되지 않은 시나리오를 설명합니다.
• 한계점 및 위험성: 알려진 실패 모드, 불확실성, 프라이버시 우려, 보안 고려사항, 그리고 가능한 데이터셋 편향을 문서화합니다. 또한 잘못된 예측으로 인해 발생할 수 있는 잠재적 결과도 명시해야 합니다.

Amazon SageMaker Model Cards 문서는 권장 사용처, 학습 세부정보, 평가, 위험 등급, 권고사항을 다루는 구조화된 라이프사이클 기록의 예를 제공합니다. Google DeepMind 모델 카드와 같은 공개 컬렉션은 카드 기능, 안전성 평가, 그리고 한계점을 더 넓은 청중에게 전달하는 방법을 보여줍니다.

모델 카드가 중요한 이유#

모델 카드는 팀이 모델을 도입하거나 배포하기 전에 정보에 입각한 결정을 내리도록 돕습니다. 인상적인 대표 지표는 희귀 클래스, 특이한 환경, 또는 특정 사용자 그룹에서의 약한 성능을 감출 수 있습니다. 평가 데이터셋, 테스트 조건, 그룹별 결과를 문서화함으로써 카드는 독자에게 이러한 수치를 해석하는 데 필요한 맥락을 제공합니다.

또한 거버넌스와 책임성을 지원합니다. NIST AI 위험 관리 프레임워크는 AI 라이프사이클 전반에 걸쳐 신뢰성을 관리하는 것의 중요성을 강조하며, OECD 투명성 및 설명 가능성 원칙은 AI 기능과 한계에 대한 의미 있는 정보를 요구합니다. 모델 카드는 이러한 목표를 위한 실용적인 산출물을 제공합니다.

조직 내에서 모델 카드는 데이터 사이언티스트, 제품 팀, 컴플라이언스 검토자, 그리고 운영 엔지니어 간의 인수인계를 개선합니다. IBM AI Factsheets와 같은 시스템은 개발, 승인, 배포, 모니터링 전반에 걸쳐 모델 메타데이터를 수집함으로써 이 접근법을 확장합니다.

관련 문서 및 주요 차이점#

여러 관련 산출물이 각기 다른 목적을 수행합니다:

• 데이터 카드: 데이터셋의 기원, 구성, 수집 프로세스, 접근 조건, 권장 사용처, 그리고 한계를 설명합니다. 모델 카드는 관련 데이터셋 문서를 참조해야 하지만, 학습된 모델 자체에 초점을 맞춥니다.
• 모델 레지스트리: 모델 아티팩트, 버전, 계보, 배포 상태를 저장하고 관리합니다. MLflow 모델 레지스트리 워크플로가 이러한 운영 역할을 잘 보여줍니다. 모델 카드는 의미와 위험을 전달하며, 레지스트리는 모델 자산을 관리합니다. 이 둘은 서로 연결될 수 있습니다.
• 시스템 카드: 여러 모델, 프롬프트, 검색(retrieval) 컴포넌트, 안전 장치, 인터페이스, 그리고 인간의 프로세스를 포함할 수 있는 전체 AI 시스템을 문서화합니다. 모델 카드는 그보다 범위가 좁은 모델 수준에 초점을 맞춥니다.
• 설명 가능성 보고서: 모델이 특정 출력을 생성한 이유를 조사합니다. 모델 카드는 전반적인 동작과 한계를 요약하지만, 예측 수준의 설명을 대체하지는 않습니다.

실제 애플리케이션 사례#

• 제조업 시각 검사: 공장에서는 결함 검출을 위해 컴퓨터 비전 모델을 배포할 수 있습니다. 해당 모델 카드는 지원되는 결함 클래스, 카메라 배치, 조명 가정, 희귀 결함에 대한 성능, 최소 객체 크기, 그리고 에지 기기 지연 시간을 나열할 수 있습니다. 반사 조명 환경에서 스크래치가 자주 누락되는 경우, 해당 한계를 문서화하면 운영자가 수동 검토를 요구하거나 추가 학습 이미지를 수집하는 데 도움이 됩니다.

• 임상 영상 지원: 의료 영상 모델의 카드는 평가 과정에서 나타난 스캔 유형, 장비, 환자 군집, 그리고 기관을 식별할 수 있습니다. 하위 그룹 성능을 보고하고, 출력이 독립적으로 진단을 내리기보다는 자격을 갖춘 임상의를 보조하는 역할을 한다는 점을 명확히 할 수 있습니다. 이 맥락이 누락되면 병원이 지원되지 않는 장비나 환자 군집에 모델을 사용하여 신뢰할 수 없는 권고사항의 위험이 높아질 수 있습니다.

모델 카드는 서드파티 모델을 선택할 때도 마주하게 됩니다. 예를 들어 Microsoft Foundry 모델 카탈로그 문서는 모델 세부정보, 벤치마크, 지원되는 데이터 타입, 라이선스, 배포 정보를 담고 있는 카드를 설명합니다.

모델 카드 생성 및 유지보수#

배포 후가 아니라 프로젝트 기획 단계에서 카드를 시작하세요. 데이터셋 버전, 학습 설정, 평가 조건, 검토자의 결정을 포함하여 증거가 생성되는 대로 기록합니다. Ultralytics YOLO26 객체 검출 모델의 경우, 문서화된 검증 워크플로를 통해 평가 섹션에 필요한 지표를 생성할 수 있습니다:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

이러한 값은 모델 버전, 데이터셋, 데이터 분할(split), 이미지 크기, 하드웨어, 평가 설정이 함께 제공될 때만 의미가 있습니다. 팀은 Ultralytics Platform을 사용하여 데이터셋 라벨링, 학습 실행 추적, 모델 배포, 엔드포인트 모니터링을 수행하는 동시에 카드를 업데이트하는 데 필요한 증거를 유지할 수 있습니다.

모델 카드는 버전이 관리되는 살아있는 문서여야 합니다. 모델, 데이터셋, 평가 프로세스, 배포 환경, 또는 알려진 한계가 변경될 때마다 업데이트하세요. 가장 중요한 것은, 모델을 학습시킨 팀만을 위해서가 아니라 모델을 사용할지 여부와 방법을 결정하는 사람들을 위해 작성해야 합니다.