Statistical AI

통계적 AI는 규칙을 직접 작성해 인코딩하는 대신 데이터에서 패턴과 확률을 추정해 시스템을 구축하는 인공지능 접근 방식입니다. 통계적 시스템은 불확실성을 명시적으로 표현하고, 예제를 바탕으로 매개변수를 맞추며, 접하지 못한 데이터에서 얼마나 잘 작동하는지를 기준으로 평가합니다. 스팸 필터와 음성 인식기부터 객체 탐지기, 모든 가능한 다음 토큰에 확률을 할당하는 대규모 언어 모델(LLM)에 이르기까지 현대 AI는 거의 모두 이 방식으로 작동합니다. 이 용어는 주로 해당 분야의 초기 수십 년을 지배했던 규칙 및 논리 기반 전통인 기호 AI와 대조할 때 사용됩니다.

규칙에서 확률로#

1950년대부터 1980년대까지 대부분의 AI 연구는 기호 방식을 추구했습니다. 논리, 탐색, 그리고 지식 엔지니어가 if-then 규칙으로 지식을 기록하는 전문가 시스템이 여기에 포함됩니다. 이러한 시스템은 범위가 좁고 잘 정의된 영역에서는 작동했지만, 잡음이 있거나 모호한 입력에는 실패했고 새로운 상황마다 새 규칙이 필요했습니다. 1980년대와 1990년대에는 확률적 방법이 여러 분야에서 차례로 주류가 되었습니다. 은닉 마르코프 모델은 음성 인식의 기반이 되었고, Judea Pearl이 1988년에 출간한 베이지안 네트워크 저서는 확률적 추론을 실용화했습니다. 이 업적은 이후 2011년 튜링상으로 인정받았습니다. IBM 연구자들은 1990년에 기계 번역의 통계적 접근 방식을 발표했고, 1995년에는 서포트 벡터 머신이 등장했습니다. 2012년 이후 딥러닝은 같은 접근 방식을 사람이 설계한 특징에서 원시 픽셀, 오디오, 텍스트로 확장했습니다.

핵심 개념#

• 확률 모델: 믿음은 확률 분포로 표현하며, 베이즈 정리는 사전 믿음에 새로운 증거의 가능도를 반영해 사후 믿음을 계산합니다. 이와 같은 갱신 방식은 스팸 필터, 진단 모델, 객체 추적기의 기반입니다.
• 추정으로서의 학습: 학습은 관측된 데이터가 가장 높은 확률을 갖도록 매개변수를 선택합니다. 대부분의 모델에서는 이를 손실 함수를 최소화하는 것과 같으며, 대개 그래디언트 하강법을 사용합니다.
• 일반화: 유연한 모델은 학습 세트의 노이즈에 맞춰질 수 있으므로 홀드아웃 데이터로 성능을 측정합니다. 편향-분산 절충은 데이터에 비해 지나치게 단순하거나 지나치게 유연한 모델 간의 균형을 설명합니다.
• 단계별 신뢰도: 예측에는 확률이 함께 제공되며, 이를 후속 시스템에서 임계값으로 거르거나 순위를 매기거나 다른 증거와 결합할 수 있습니다.

나이브 베이즈 스팸 필터는 이러한 개념을 몇 줄의 코드로 보여줍니다. 각 단어가 스팸과 일반 메일에 얼마나 자주 나타나는지 추정한 다음, 베이즈 정리로 이 추정치를 결합해 새 메시지의 점수를 계산합니다.

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Labeled examples replace hand-written rules: 1 = spam, 0 = not spam
messages = ["win a free prize now", "claim your free cash reward", "limited offer, click now to win"]
messages += ["meeting moved to monday", "can you review my draft today", "lunch with the team on friday"]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then estimate each word's probability under each class
vectorizer = CountVectorizer()
model = MultinomialNB()
model.fit(vectorizer.fit_transform(messages), labels)

for text in ["free prize inside", "draft for monday", "free lunch on friday"]:
    spam_probability = model.predict_proba(vectorizer.transform([text]))[0, 1]
    print(f"{text!r}: P(spam) = {spam_probability:.2f}")

"free prize inside"는 스팸 확률 0.86, "draft for monday"는 0.21을 기록합니다. 두 클래스의 단어가 섞인 "free lunch on friday"는 0.29입니다. 모델은 레이블이 지정된 메시지 여섯 개만으로 "free"가 스팸을 나타낸다는 사실을 학습했습니다.

통계적 방법의 계열#

통계적 AI는 소규모 확률 모델부터 매개변수가 수십억 개인 딥 네트워크까지 아우르며, 각 계열은 내장 구조와 데이터 사용량 사이에서 서로 다른 절충점을 갖습니다. 그래픽 모델은 의존성을 명시적으로 인코딩해 적은 데이터로 작동합니다. k-최근접 이웃 같은 고전적 방법과 XGBoost, LightGBM 같은 그래디언트 부스팅 트리는 특징 테이블에서 학습하며, 딥 네트워크는 원시 입력에서 자체적으로 특징을 학습합니다.

통계적 AI와 관련 용어 비교#

• 기호 AI: 전문가 시스템의 if-then 문장처럼 지식을 명시적인 기호와 규칙으로 표현하고 논리적 추론으로 결론을 도출합니다. 추론 과정을 단계별로 추적할 수 있고 학습 데이터도 필요하지 않지만, 규칙이 다루지 않는 입력에는 대응하지 못합니다.
• 머신러닝: 통계적 AI의 핵심 영역입니다. 두 용어는 거의 같은 의미로 쓰이며, "통계적 AI"는 주로 데이터 기반 방식과 기호 방식을 대조할 때 사용됩니다.
• 신경-기호 AI: 학습된 모델과 기호 추론을 결합합니다. 예를 들어 LLM이 계산기, 데이터베이스 쿼리 또는 정리 증명기를 호출하는 방식입니다.
• 퍼지 논리: "방이 따뜻하다"처럼 모호한 진술에 0과 1 사이의 진릿값을 할당합니다. 이는 사건이 발생할 확률과 구별되는 모호성의 척도입니다.

실제 적용 사례#

• 스팸 필터링: Paul Graham의 2002년 에세이 스팸 대응 계획(A Plan for Spam)은 사용자별 메일에서 단어 확률을 학습하는 베이지안 필터를 널리 알렸습니다. 오늘날의 필터는 같은 아이디어를 훨씬 더 많은 신호에 적용합니다.
• 기계 번역: Google 번역은 병렬 텍스트에서 구문 번역 확률을 학습하는 통계적 기계 번역을 기반으로 2006년에 출시되었으며, 2016년에 신경망 기계 번역으로 전환했습니다.
• 텍스트 생성: LLM은 매 단계마다 어휘에 대한 확률 분포에서 샘플링해 텍스트를 생성합니다. 온도 설정은 각 샘플을 추출하기 전에 분포를 더 뾰족하게 또는 더 평평하게 조정합니다.
• 시각 인식: 객체 탐지기는 처음부터 끝까지 통계 모델로 구성됩니다. Ultralytics YOLO26은 레이블이 지정된 이미지의 손실을 최소화해 가중치를 학습하고, 각 바운딩 박스에 신뢰도 점수를 함께 보고하며, 예측 모드에서는 conf 임계값보다 낮은 바운딩 박스를 제거합니다. 기본값은 0.25입니다.