Backbone (Опорная сеть)

Backbone (основная сеть) — это ключевой компонент модели глубокого обучения, особенно в компьютерном зрении (CV). Он служит основной сетью извлечения признаков. Его основная задача — брать необработанные входные данные, такие как изображение, и преобразовывать их в набор высокоуровневых признаков или карт признаков, которые можно использовать для последующих задач, таких как обнаружение объектов, сегментация изображений или классификация. Backbone можно рассматривать как часть нейронной сети (NN), которая учится «видеть» и понимать фундаментальные закономерности — такие как края, текстуры, формы и объекты — внутри изображения.

Как работают Backbones

Бэкбон обычно представляет собой глубокую сверточную нейронную сеть (CNN), которая была предварительно обучена на крупномасштабном наборе данных для классификации изображений, таком как ImageNet. Этот процесс предварительного обучения, форма трансферного обучения, учит сеть распознавать обширную библиотеку общих визуальных признаков. При создании модели для новой задачи разработчики часто используют эти предварительно обученные бэкбоны вместо того, чтобы начинать с нуля. Этот подход значительно сокращает время обучения и объем необходимых размеченных данных, при этом часто улучшая производительность модели. Признаки, извлеченные бэкбоном, затем передаются в «шею» и «голову» сети, которые выполняют дальнейшую обработку и генерируют окончательный результат. Выбор бэкбона часто включает в себя компромисс между точностью, размером модели и задержкой вывода, что имеет решающее значение для достижения производительности в реальном времени.

Общие архитектуры Backbones

Дизайн базовых сетей развивался с годами, и каждая новая архитектура предлагала улучшения в эффективности и производительности. Некоторые из наиболее влиятельных архитектур базовых сетей включают в себя:

• Остаточные сети (ResNet): В моделях ResNet, разработанных Microsoft Research, используются "пропущенные соединения", позволяющие сети обучаться остаточным функциям. Это новшество позволило обучать гораздо более глубокие сети, не страдая от проблемы исчезающего градиента.
• EfficientNet: Разработанное Google AI, это семейство моделей использует метод составного масштабирования для равномерной балансировки глубины, ширины и разрешения сети. Это приводит к созданию моделей, которые являются одновременно высокоточными и вычислительно эффективными.
• Трансформатор зрения (ViT): Адаптируя успешную архитектуру Transformer из NLP к зрению, ViT рассматривают изображение как последовательность патчей и используют самовнимание для захвата глобального контекста, предлагая другой подход по сравнению с локальными рецептивными полями CNN.
• CSPNet (Cross Stage Partial Network): Эта архитектура, описанная в оригинальной статье, улучшает обучение за счет интеграции карт признаков с начала и конца сетевого этапа, что улучшает распространение градиента и уменьшает вычислительные узкие места. Это ключевой компонент во многих моделях Ultralytics YOLO.

Backbone (основная часть сети) в сравнении с Head (головой) и Neck (шейкой)

В типичной архитектуре обнаружения объектов модель состоит из трех основных частей:

1. Backbone (основная сеть): Ее роль заключается в извлечении признаков из входного изображения, создавая карты признаков в различных масштабах.
2. Neck (Шея сети): Этот компонент находится между backbone и head. Он уточняет и агрегирует карты признаков из backbone, часто объединяя признаки из разных слоев для построения более богатого представления. Распространенным примером является Feature Pyramid Network (FPN).
3. Детекторная головка: Это последняя часть сети, которая получает уточненные характеристики от шеи и выполняет задачу обнаружения. Она предсказывает ограничительные рамки, метки классов и баллы доверия для объектов на изображении.

Таким образом, бэкбон является основой, на которой строится остальная часть модели обнаружения. Такие модели, как YOLOv8 и YOLO11, интегрируют мощные бэкбоны для обеспечения высококачественного извлечения признаков, что необходимо для их современной производительности в различных задачах. Вы можете изучить различные сравнения моделей YOLO, чтобы увидеть, как архитектурные решения влияют на производительность.

Применение в реальном мире

Backbone — это фундаментальные компоненты во множестве AI-приложений:

1. Автономное вождение: Системы для самоуправляемых автомобилей в значительной степени полагаются на надежные магистрали (например, варианты ResNet или EfficientNet) для обработки данных, поступающих от камер и датчиков LiDAR. Извлеченные функции позволяют обнаруживать и классифицировать транспортные средства, пешеходов, светофоры и линии движения, что имеет решающее значение для безопасной навигации и принятия решений, как это показано в системах, разработанных такими компаниями, как Waymo.
2. Анализ медицинских изображений: В решениях ИИ для здравоохранения магистрали используются для анализа медицинских снимков, таких как рентгеновские, компьютерные или магнитно-резонансные томографы. Например, такая магистраль, как DenseNet, может извлекать особенности из рентгеновского снимка грудной клетки, чтобы помочь обнаружить признаки пневмонии, или из компьютерной томографии, чтобы выявить потенциальные опухоли(соответствующее исследование в журнале Radiology: AI). Это помогает радиологам в диагностике и планировании лечения. Модели Ultralytics, такие как YOLO11, могут быть адаптированы для решения таких задач, как обнаружение опухолей, за счет использования мощных магистралей.

Вы можете упростить процесс использования мощных backbones для своих проектов, используя такие платформы, как Ultralytics HUB, которая упрощает управление наборами данных и обучение пользовательских моделей.