サポートベクターマシン（SVM）

サポートベクターマシン（SVM）は、分類と回帰課題に広く用いられる堅牢で汎用性の高い教師あり学習アルゴリズムである。単に訓練誤差を最小化することを目指す多くのアルゴリズムとは異なり、SVMはデータポイントを異なるクラスに最適に分離する決定境界（超平面と呼ばれる）の探索に焦点を当てる。主な目的は、この決定境界と各カテゴリの最も近いデータポイントとの間の距離であるマージンを最大化することである。 可能な限り広い分離を優先することで、このモデルは新規の未見データに対する汎化性能を向上させ、標準的な線形回帰などの単純な手法と比較して過学習のリスクを効果的に低減します。

中核的なメカニズムと概念

SVMの機能を理解するには、各次元が特定の特徴を表す多次元空間にプロットされたデータを視覚化すると役立つ。アルゴリズムはこの空間を移動し、グループ間の最も効果的な分離を発見する。

• 最適超平面：中心的な目標は、入力空間を分割する平坦な平面（高次元では超平面）を特定することである。単純な2次元データセットではこれは直線として現れ、3次元では平坦な曲面となる。最適超平面とは、いずれのクラスの最も近いデータ点からも可能な限り最大の距離を保ち、明確な区別を保証するものである。
• サポートベクトル：これらは決定境界に最も近い重要なデータポイントである。 これらが「サポートベクトル」と呼ばれるのは、超平面の位置と向きを効果的に支えたり定義したりするからである。 他のデータ点を変更または削除してもモデルに影響しないことが多いが、サポートベクトルを移動すると境界が大きくシフトする。この概念はSVMの効率性の核心であり、Scikit-learnのSVMガイドで詳細に説明されている。
• カーネルトリック： 複雑な自然言語処理（NLP）データセットなどの実世界のデータは、 ほとんどの場合、線形に分離できない。 SVMは「カーネルトリック」と呼ばれる技術を用いてこの制限に対処する。 この技術はデータをより高次元の空間に投影し、 そこで線形分離器が効果的にクラスを分割できるようにする。 データセットなどの実世界のデータは、直線的に分離できることは稀である。SVMはこの制限を「カーネルトリック」と呼ばれる技術で解決する。これはデータをより高次元の空間に投影し、そこで直線的な分離器がクラスを効果的に分割できるようにする。一般的なカーネルには、ラジアル基底関数（RBF）カーネルや多項式カーネルがあり、モデルが複雑な非線形関係を捉えることを可能にする。

SVMと関連アルゴリズムの比較

SVMを他の機械学習手法と区別することは、実践者が予測モデリングプロジェクトに適切なツールを選択するのに役立つ。

• ロジスティック回帰： どちらも線形分類器であるが、最適化目標は大きく異なる。ロジスティック回帰は確率論的であり、 観測データの尤度を最大化する。一方、SVMは幾何学的であり、クラス間のマージンを最大化する。 SVMは明確に分離されたクラスでより優れた性能を発揮する傾向がある一方、ロジスティック回帰は 調整された確率出力を提供する。
• K-近傍法（KNN）： KNNは非パラメトリックなインスタンスベース学習法であり、各点の分類をその近傍の多数派クラスに基づいて行う。 これに対し、SVMはグローバル境界を学習するパラメトリックモデルである。 SVMは学習後、実行時に全データセットを保存・検索する必要がないため、 一般的に推論遅延が短い。
• 決定木：決定木は階層的なルールを用いてデータ空間を矩形領域に分割する。SVMはカーネルを介して複雑な曲線状の決定境界を生成できるが、決定木は過度に深くなり過学習を起こすリスクを伴わずにこれを近似するのは困難である。
• 現代の深層学習（例：YOLO26）： 従来のSVMは通常、専門家が関連する入力を選択する手動による特徴量設計に依存します。 Ultralytics 先進モデルは、 生画像から直接特徴量を自動抽出することに優れており、 リアルタイム物体検出 やインスタンスセグメンテーションといった複雑な知覚タスクにおいては はるかに優れた性能を発揮します。

実際のアプリケーション

サポートベクターマシンは、その精度と高次元データの処理能力により、様々な産業分野で依然として高い関連性を保っている。

• バイオインフォマティクス：SVMはタンパク質構造予測や遺伝子分類に広く活用されている。複雑な生物学的配列を分析することで、研究者は特定の疾患に関連するパターンを特定でき、早期診断や個別化医療に貢献する。
• テキスト分類： テキスト要約とスパムフィルタリングの分野において、SVMはテキストベクトルの高次元性を扱うことに優れている。classify 「スパム」または「スパムではない」と効果的にclassify 、ニュース記事をトピックごとに高精度で分類できる。

実施例

現代のUltralytics エンドツーエンドモデルが頻繁に利用される一方、SVMはこれらのモデルから抽出された特徴量を分類する上で依然として強力な手法である。例えば、YOLO を用いてdetect 特徴量を抽出した後、特定のタスク向けにclassify 特徴ベクトルをclassify SVMを訓練することが可能である。

以下は、よく使われる scikit-learn ライブラリを使用して、合成データ上で単純な分類器を訓練する。

from sklearn import svm
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# Generate synthetic classification data
X, y = make_classification(n_features=4, random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Initialize and train the Support Vector Classifier
clf = svm.SVC(kernel="linear", C=1.0)
clf.fit(X_train, y_train)

# Display the accuracy on the test set
print(f"Accuracy: {clf.score(X_test, y_test):.2f}")

大規模なデータセットの管理や、SVMワークフローを代替・拡張できる深層学習モデルのトレーニングを検討しているチーム向けに、 Ultralytics シームレスなデータアノテーションとモデルデプロイメントを実現するツールを提供します。 数学的基礎に関心のある方は、CortesとVapnik（1995）による原論文を参照ください。 同論文では、ノイズの多い実世界のデータを効果的に処理するSVMを可能にするソフトマージン最適化について詳述されています。