서포트 벡터 머신 (SVM)

SVM(Support Vector Machine)은 분류 및 회귀 작업 모두에 사용되는 강력하고 다재다능한 지도 학습 알고리즘입니다. 핵심적으로 SVM은 데이터 포인트를 서로 다른 클래스로 가장 잘 분리하는 최적의 초평면 또는 결정 경계를 찾습니다. SVM을 특히 효과적으로 만드는 것은 분리 초평면과 모든 클래스의 가장 가까운 데이터 포인트 사이의 거리인 마진을 최대화하려는 목표입니다. Cortes와 Vapnik의 기본 논문에 자세히 설명된 이 원칙은 모델의 일반화 능력을 향상시켜 과적합되기 쉽지 않도록 합니다.

SVM 작동 방식

이 알고리즘은 각 데이터 항목을 n차원 공간(여기서 n은 특징의 수)의 점으로 플로팅하여 작동합니다. 그런 다음 클래스 간에 가장 잘 분리되는 초평면을 찾아 분류를 수행합니다.

• Hyperplane(초평면): 이는 결정 경계입니다. 특징이 두 개인 데이터 세트에서는 선이고, 세 개일 때는 평면입니다. 특징이 더 많아지면 초평면이 됩니다.
• 서포트 벡터(Support Vectors): 초평면에 가장 가까이 있는 데이터 포인트입니다. 이들은 마진을 정의하고, 제거하면 초평면의 위치가 바뀌기 때문에 매우 중요합니다. 서포트 벡터에 대한 훌륭한 시각화 자료는 스탠포드의 CS229 강의 노트에서 확인할 수 있습니다.
• 마진: 마진은 서포트 벡터와 초평면 사이의 간격입니다. SVM의 목표는 이 마진을 최대화하는 초평면을 찾아 가능한 가장 강력한 분리를 생성하는 것입니다.
• 커널 트릭: 선형적으로 분리할 수 없는 데이터의 경우 SVM은 커널 트릭이라는 기술을 사용합니다. 이 강력한 방법은 새로운 공간에서 데이터의 좌표를 명시적으로 계산하지 않고도 선형 분리기를 찾을 수 있는 더 높은 차원의 공간으로 데이터를 변환하는 것을 포함합니다. RBF(Radial Basis Function)와 같은 널리 사용되는 커널은 매우 복잡한 비선형 관계를 처리할 수 있습니다. 자세한 내용은 SVM 커널 가이드를 참조하십시오.

실제 애플리케이션

SVM은 특히 고차원 데이터 문제에 대해 많은 영역에서 효과적입니다.

• 생물 정보학: 유전체학과 단백질체학에서 SVM은 단백질을 분류하고 유전자 발현 데이터를 분석하는 데 사용됩니다. 예를 들어, 마이크로어레이 데이터를 기반으로 암 하위 유형을 식별하는 데 도움이 될 수 있으며, 이는 수천 개의 특징을 포함하는 작업입니다. 따라서 의료 AI에서 중요한 도구입니다.
• Image Classification(이미지 분류): 딥 러닝 신경망이 우세하기 전에는 SVM이 이미지 분류를 위한 최고의 성능 모델이었습니다. SVM은 MNIST와 같은 데이터 세트에서 손으로 쓴 숫자 인식 및 Caltech-101에서 객체 인식과 같은 작업에 성공적으로 사용되었습니다.
• 텍스트 분류: 자연어 처리(NLP)에서 SVM은 스팸 감지 및 감성 분석과 같은 작업에 효과적입니다. 텍스트 벡터화 방법으로 생성된 고차원 특징 공간을 효율적으로 관리할 수 있습니다.

SVM 대 다른 알고리즘

로지스틱 회귀와 같은 더 간단한 알고리즘과 비교했을 때, SVM은 단순히 경계를 분리하는 것보다 마진을 최대화하는 것을 목표로 하며, 이는 더 나은 일반화로 이어질 수 있습니다. 의사 결정 트리 또는 랜덤 포레스트와 같은 트리 기반 방법과는 달리, SVM은 단일 최적 초평면(고차원 공간일 수 있음)을 구성합니다. 딥러닝 모델인 Ultralytics YOLO는 컴퓨터 비전(CV)의 픽셀과 같은 원시 데이터로부터 자동 특징 추출에 탁월하지만, SVM은 종종 신중한 특징 엔지니어링이 필요하지만 특징이 잘 정의된 작은 데이터 세트나 특정 유형의 구조화된 데이터에서 매우 뛰어난 성능을 보일 수 있습니다. 이러한 데이터 세트는 UCI 머신러닝 저장소에서 많이 찾을 수 있습니다.

일반적인 구현으로는 LibSVM과 scikit-learn의 SVM 모듈이 있습니다. SVM은 일반적으로 PyTorch 또는 TensorFlow와 같은 최신 CV 프레임워크의 핵심은 아니지만 더 광범위한 워크플로우에 통합될 수 있습니다. 이러한 모델과 다양한 다른 모델을 학습하고 관리하는 것은 데이터 레이블링에서 하이퍼파라미터 튜닝 및 최종 모델 배포에 이르기까지 MLOps 수명 주기를 간소화하는 Ultralytics HUB와 같은 플랫폼을 사용하여 간소화할 수 있습니다.