AI 안전

AI 안전은 인공지능(AI)의 전담 분야로 AI 시스템이 의도하지 않은 피해를 일으키지 않고 안정적이고 예측 가능하게 작동하도록 보장하는 데 중점을 둡니다. 딥 러닝 딥 러닝(DL) 모델이 더욱 자율화되고 중요 인프라에 통합됨에 따라 시스템 장애로 인한 잠재적 결과가 크게 증가하고 있습니다. AI 안전의 AI 안전의 주요 목표는 기술적 결함, 예기치 않은 행동 또는 행동 또는 AI의 목표와 인간의 가치 사이의 불일치로 인해 발생하는 위험을 식별하고 분석하며 완화하는 것입니다. 이 분야에는 엄격한 모델 테스트부터 엄격한 모델 테스트에서부터 시스템 동작에 대한 수학적 보증 개발까지 광범위한 관행을 포괄합니다.

AI 안전의 핵심 요소

신뢰할 수 있는 시스템을 구축하기 위해 연구자와 엔지니어는 다음과 같은 몇 가지 기본 요소에 집중합니다. 머신 러닝(ML) 모델의 올바른 작동 보장하는 몇 가지 기본 요소에 집중합니다.

• 견고성: 견고한 시스템은 예기치 않은 데이터나 악조건이 발생하더라도 성능을 유지해야 합니다. 성능을 유지해야 합니다. 여기에는 다음과 같은 방어가 포함됩니다. 악의적인 입력으로 모델을 속이려는 모델을 속이기 위해 만들어진 악의적인 공격에 대한 방어가 포함됩니다. 예를 들어 컴퓨터 비전(CV) 시스템은 단순히 스티커나 조명이 나쁘다는 이유로 정지 표지판을 잘못 분류해서는 안 됩니다.
• 정렬: 이는 목표가 인간의 의도를 정확하게 반영하는 설계하는 과제를 말합니다. 모델이 손실 함수에서 높은 점수를 얻기 위해 '지름길'을 찾는 경우 정렬이 잘못될 수 있습니다. 안전 제약을 위반하면서 손실 함수에서 높은 점수를 얻기 위해 "지름길" 을 찾으면 정렬이 잘못될 수 있습니다. 인간 호환 AI 센터에서 광범위하게 연구한 개념입니다.
• 해석 가능성: 일명 설명 가능한 AI(XAI)라고도 하는 이 원칙은 은 인간이 이해할 수 있는 모델을 만드는 것을 강조합니다. 의사 결정 시스템이 실패하는 경우 엔지니어는 다음을 수행할 수 있어야 합니다. 내부 모델 가중치 또는 활성화 검사 맵을 검사하여 오류를 진단하고 재발을 방지할 수 있어야 합니다.
• 모니터링: 지속적 모델 모니터링은 모델에서 발생하는 데이터 드리프트, 즉 모델이 실제 세계에서 접하는 데이터가 실제 세계에서의 데이터가 학습 데이터와 달라져 잠재적으로 안전하지 않은 예측으로 이어질 수 있습니다.

실제 애플리케이션

AI 안전은 단순한 이론이 아니라, 자동차 및 의료 분야에서 AI를 배포하기 위한 필수 요건입니다. 중요한 요구 사항입니다.

1. 자율 주행: 자율 주행 차량은 보행자를 식별하기 위해 물체 감지 모델에 의존하여 보행자를 식별합니다, 다른 차량 및 장애물을 식별합니다. 여기서 안전 프로토콜에는 카메라와 함께 LiDAR 및 레이더를 사용하는 이중화 및 "불확실성 추정": AI가 물체에 대해 확실하지 않은 경우 차량이 속도를 줄이거나 사람의 개입을 요청합니다. 사람의 개입을 요청합니다. Waymo와 같은 조직은 이러한 인식을 검증하기 위해 자세한 안전 방법론을 발표하여 이러한 인식 시스템을 검증합니다.
2. 의료 진단: In 의료 영상 분석, AI 보조 영상의학과 전문의는 정확도를 극대화하는 동시에 최소화해야 합니다. 안전 메커니즘에는 종종 AI가 자율적으로 최종 진단을 내리는 대신 의사의 검토를 위해 최종 진단을 내리는 대신 의사가 검토해야 할 잠재적 문제만 표시하여 환자의 안전을 보장하는 강조된 대로 환자 안전이 우선시됩니다. 의료 솔루션에서의 AI.

코드에서 안전 임계값 구현하기

배포 시 안전을 강화하는 기본적인 방법 중 하나는 엄격한 신뢰도 임계값을 구현하는 것입니다. 신뢰도가 낮은 예측을 무시함으로써 신뢰도가 낮은 예측을 무시함으로써 개발자는 AI 에이전트가 약하거나 노이즈가 많은 데이터에 대해 작동하는 것을 방지할 수 있습니다.

다음 예는 다음을 사용하여 예측을 필터링하는 방법을 보여줍니다. Ultralytics YOLO11 모델을 사용하여 예측을 필터링하여 불확실성이 높은 탐지만 처리되도록 하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

AI 안전 vs. AI 윤리

이 용어는 종종 같은 의미로 사용되지만, 책임감 있는 AI 개발의 각기 다른 측면을 다루고 있습니다. 책임감 있는 AI 개발의 여러 측면을 다룹니다.

• AI 안전은 주로 기술적인 측면이 강합니다. "이 시스템이 설계된 대로 작동하여 충돌하거나 물리적 사고를 일으키지 않고 설계된 대로 작동할 것인가?"를 묻습니다. 신뢰성, 제어 및 오류 예방을 다루며, 민간 항공 분야의 안전 엔지니어링과 유사합니다. 안전 엔지니어링과 유사합니다.
• AI 윤리는 사회적이며 도덕적입니다. "이 시스템은 공정한가, 그리고 우리는 이 시스템을 구축해야 하는가?"라는 질문을 던집니다. 알고리즘 편향과 같은 문제에 중점을 둡니다, 데이터 프라이버시, 자동화가 사회경제적으로 미치는 자동화. 더 깊은 인사이트를 얻으려면 다음 용어집 항목을 살펴보세요. AI 윤리.

다음과 같은 프레임워크는 NIST AI 위험 관리 프레임워크와 같은 프레임워크는 조직이 안전과 윤리적 위험을 모두 해결할 수 있는 가이드라인을 제공합니다. 모델이 다음과 같은 방향으로 진화함에 따라 인공 일반 지능(AGI)으로 발전함에 따라, 다음과 같은 기관의 안전 연구자들과 생명의 미래 연구소와 업계 개발자 간의 협력이 점점 더 중요해지고 있습니다. 기술이 인류에게 계속 유익하도록 보장하기 위해