Unsupervised Learning

Обучение без учителя — это тип машинного обучения, при котором алгоритм находит закономерности в неразмеченных данных без вмешательства человека. В отличие от обучения с учителем, которое опирается на размеченные пары входных и выходных данных для тренировки модели, обучение без учителя работает с данными, не имеющими исторических меток. Система по сути пытается обучить себя сама, обнаруживая скрытые структуры, закономерности или связи внутри входных данных. Этот подход особенно ценен, поскольку подавляющее большинство генерируемых сегодня данных — изображения, видео, текст и журналы датчиков — являются неструктурированными и неразмеченными.

Link to this sectionКак работает обучение без учителя#

В сценариях без учителя алгоритм предоставлен самому себе для поиска интересных структур в данных. Цель часто состоит в моделировании базового распределения данных или в получении знаний о самих данных. Поскольку во время обучения нет «правильных ответов», модель невозможно оценить по точности в традиционном смысле. Вместо этого эффективность часто измеряется тем, насколько хорошо модель снижает размерность или группирует похожие точки данных.

Эта методология отражает то, как люди часто усваивают новые концепции. Например, ребенок может отличить собак от кошек, наблюдая за их разными формами и поведением, не зная при этом изначально названий «собака» и «кошка». Подобным образом алгоритмы без учителя группируют информацию на основе присущих ей сходств. Эта способность является фундаментальной для разработки искусственного общего интеллекта (AGI), так как она позволяет системам адаптироваться к новым средам без постоянного контроля со стороны человека.

Link to this sectionОсновные методы в обучении без учителя#

Обучение без учителя включает несколько различных техник, каждая из которых подходит для разных типов задач анализа данных:

• Кластеризация: Это наиболее распространенное применение, где алгоритм группирует похожие друг на друга точки данных. Популярным методом является K-Means кластеризация, которая разбивает данные на k отдельных групп на основе сходства характеристик. Это широко используется в сегментации рынка для выявления групп клиентов с похожим покупательским поведением.
• Снижение размерности: Высокоразмерные данные могут быть сложными и требовательными к вычислительным ресурсам. Такие методы, как метод главных компонент (PCA), уменьшают количество переменных в наборе данных, сохраняя при этом его основную информацию. Это упрощает визуализацию данных и ускоряет обучение других моделей машинного обучения.
• Обнаружение аномалий: Изучив, как выглядят «нормальные» данные, модели без учителя могут выявлять выбросы, которые существенно отклоняются от нормы. Это критически важно для обнаружения мошенничества в финансах, где необычные шаблоны транзакций вызывают оповещения о безопасности.
• Обучение ассоциативным правилам: Эта техника обнаруживает интересные связи между переменными в больших базах данных. Она широко используется в анализе рыночной корзины, помогая ритейлерам понять, что клиенты, покупающие хлеб, также склонны покупать масло.

Link to this sectionОбучение без учителя vs. Обучение с учителем#

Важно отличать обучение без учителя от обучения с учителем. Главное различие заключается в используемых данных. Обучение с учителем требует размеченного набора данных, что означает, что каждый пример для тренировки связан с правильным ответом (например, изображение кошки с меткой «кошка»). Модель учится сопоставлять входные данные с выходными для минимизации ошибки.

Напротив, обучение без учителя использует неразмеченные данные. Здесь нет обратной связи, сообщающей модели, верен ли её ответ. Существует промежуточный вариант, называемый частично обученным обучением (semi-supervised learning), который сочетает небольшое количество размеченных данных с большим объемом неразмеченных для повышения точности обучения; это часто используется, когда разметка данных стоит дорого или занимает много времени.

Link to this sectionРеальные приложения#

Обучение без учителя лежит в основе многих технологий, с которыми мы сталкиваемся ежедневно. Вот два конкретных примера:

1. Сегментация клиентов в ритейле: Платформы электронной коммерции анализируют миллионы взаимодействий пользователей без заранее определенных категорий. Используя алгоритмы кластеризации, они выявляют отдельные типы пользователей — например, «охотники за скидками по выходным» или «техноэнтузиасты». Это позволяет проводить высокоперсонализированные маркетинговые кампании и использовать рекомендательные системы, значительно улучшая пользовательский опыт.

2. Анализ геномных последовательностей: В биоинформатике исследователи используют обучение без учителя для анализа генетических данных. Алгоритмы кластеризуют последовательности ДНК, чтобы найти схожие генетические маркеры или мутации в различных популяциях. Это помогает в понимании эволюционных связей и выявлении генетической предрасположенности к заболеваниям без необходимости предварительного знания каждой конкретной функции гена.

Link to this sectionПример кода: Кластеризация с Scikit-Learn#

Хотя Ultralytics YOLO26 в первую очередь является платформой для обучения с учителем для обнаружения объектов, методы обучения без учителя часто используются на этапах предварительной обработки, например, при анализе распределения anchor box или кластеризации признаков набора данных. Ниже приведен простой пример использования sklearn для выполнения K-Means кластеризации, фундаментального метода обучения без учителя.

import numpy as np
from sklearn.cluster import KMeans

# Generate synthetic data: 10 points with 2 features each
X = np.array([[1, 2], [1, 4], [1, 0], [10, 2], [10, 4], [10, 0]])

# Initialize KMeans with 2 clusters (k=2)
kmeans = KMeans(n_clusters=2, random_state=0, n_init="auto")

# Fit the model to the data (no labels provided!)
kmeans.fit(X)

# Predict which cluster each point belongs to
print(f"Labels: {kmeans.labels_}")
# Output will group the first 3 points together (0) and the last 3 together (1)

Link to this sectionРоль обучения без учителя в глубоком обучении#

Современное глубокое обучение (DL) все чаще интегрирует принципы обучения без учителя. Техники, такие как самообучение (Self-Supervised Learning, SSL), позволяют моделям генерировать собственные контролирующие сигналы на основе данных. Например, в обработке естественного языка (NLP) такие модели, как GPT-4, предварительно обучаются на огромных объемах текста, чтобы предсказывать следующее слово в предложении, фактически изучая структуру языка без явных меток.

Аналогично, в компьютерном зрении (CV) автокодировщики используются для изучения эффективных представлений данных. Эти нейронные сети сжимают изображения в низкоразмерное представление, а затем восстанавливают их. Этот процесс обучает сеть наиболее важным особенностям визуальных данных, что полезно для таких задач, как шумоподавление изображений и генеративное моделирование.

Для тех, кто хочет управлять наборами данных для тренировки, платформа Ultralytics предлагает инструменты для визуализации распределения данных, которые помогают выявить кластеры или аномалии до начала процесса обучения с учителем. Понимание структуры твоих данных через исследование без учителя часто является первым шагом к созданию надежных решений в области ИИ.