SVM(서포트 벡터 머신)

서포트 벡터 머신(SVM)은 분류와 회귀 작업 모두에 사용되는 강력하고 다재다능한 지도 학습 알고리즘입니다. SVM의 핵심은 데이터 포인트를 서로 다른 클래스로 가장 잘 분리하는 최적의 하이퍼플레인 또는 결정 경계를 찾는 것입니다. SVM이 특히 효과적인 이유는 분리 하이퍼플레인과 모든 클래스의 가장 가까운 데이터 포인트 사이의 거리인 마진을 최대화하려는 목표 때문입니다. 코르테스와 바프닉의 기초 논문에 자세히 설명된 이 원리는 모델의 일반화 능력을 향상시켜 과적합의 가능성을 낮추는 데 도움이 됩니다.

Svms 작동 방식

알고리즘은 각 데이터 항목을 n차원 공간에 점으로 표시하는 방식으로 작동합니다(여기서 n은 특징의 수입니다). 그런 다음 클래스 간에 가장 잘 구분되는 하이퍼플레인을 찾아 분류를 수행합니다.

• 하이퍼플레인: 의사 결정 경계입니다. 기능이 2개인 데이터 집합에서는 선이고, 3개인 경우 평면입니다. 기능이 더 많으면 하이퍼플레인이 됩니다.
• 서포트 벡터: 하이퍼평면에 가장 가까운 데이터 포인트입니다. 여백을 정의하기 때문에 매우 중요하며, 이를 제거하면 하이퍼평면의 위치가 변경됩니다. 서포트 벡터에 대한 훌륭한 시각화는 스탠퍼드대학교의 CS229 강의 노트에서 찾을 수 있습니다.
• 마진: 마진은 서포트 벡터와 하이퍼플레인 사이의 간격을 말합니다. SVM의 목표는 이 마진을 최대화하여 가능한 가장 강력한 분리를 생성하는 하이퍼플레인을 찾는 것입니다.
• 커널 트릭: 선형적으로 분리할 수 없는 데이터의 경우, SVM은 커널 트릭이라는 기법을 사용합니다. 이 강력한 방법은 새로운 공간에서 데이터의 좌표를 명시적으로 계산하지 않고도 선형 구분자를 찾을 수 있는 더 높은 차원의 공간으로 데이터를 변환하는 것을 포함합니다. 방사형 기저 함수(RBF)와 같이 널리 사용되는 커널은 매우 복잡한 비선형 관계를 처리할 수 있습니다. 자세한 내용은 SVM 커널 가이드를 참조하세요.

실제 애플리케이션

SVM은 다양한 영역에서 효과적이며, 특히 고차원 데이터 문제에 효과적입니다.

• 생물정보학: 유전체학 및 단백질체학에서 SVM은 단백질을 분류하고 유전자 발현 데이터를 분석하는 데 사용됩니다. 예를 들어, 수천 개의 특징이 포함된 마이크로어레이 데이터를 기반으로 암 하위 유형을 식별하는 데 도움을 줄 수 있습니다. 따라서 의료용 AI에서 중요한 도구로 활용되고 있습니다.
• 이미지 분류: 심층 신경망이 지배하기 전에는 SVM이 이미지 분류에 있어 최고의 성능을 자랑하는 모델이었습니다. MNIST와 같은 데이터 세트의 필기 숫자 인식, Caltech-101의 물체 인식과 같은 작업에 성공적으로 사용되었습니다.
• 텍스트 분류: 자연어 처리(NLP)에서 SVM은 스팸 탐지 및 감정 분석과 같은 작업에 효과적입니다. 텍스트 벡터화 방법으로 생성된 고차원 특징 공간을 효율적으로 관리할 수 있습니다.

Svm 대 다른 알고리즘

로지스틱 회귀와 같은 단순한 알고리즘에 비해 SVM은 단순히 구분 경계를 찾는 것이 아니라 마진을 극대화하는 것을 목표로 하므로 일반화가 더 잘 이루어질 수 있습니다. 의사 결정 트리나 랜덤 포레스트와 같은 트리 기반 방법과 달리, SVM은 고차원 공간에서 최적의 단일 하이퍼플레인을 구축합니다. Ultralytics YOLO와 같은 최신 딥러닝 모델은 원시 데이터( 컴퓨터 비전(CV)의 픽셀 등)에서 자동 특징 추출에 탁월하지만, SVM은 종종 세심한 특징 엔지니어링이 필요하지만 특징이 잘 정의된 소규모 데이터 세트나 특정 유형의 구조화된 데이터에서 탁월한 성능을 발휘할 수 있습니다. 이러한 데이터 세트는 UCI 머신 러닝 리포지토리에서 많이 찾을 수 있습니다.

널리 사용되는 구현으로는 LibSVM과 scikit-learn의 SVM 모듈이 있습니다. SVM은 일반적으로 PyTorch나 TensorFlow와 같은 최신 CV 프레임워크의 핵심은 아니지만, 광범위한 워크플로우에 통합될 수 있습니다. 데이터 라벨링부터 하이퍼파라미터 튜닝, 최종 모델 배포에 이르는 MLOps 수명 주기를 간소화하는 Ultralytics HUB와 같은 플랫폼을 사용하여 이러한 모델을 다른 다양한 모델과 함께 훈련하고 관리하는 작업을 간소화할 수 있습니다.