Остаточные сети (ResNet)

Остаточные сети, широко известные как ResNet, - это революционный тип архитектуры нейронных сетей (НС), оказавший глубокое влияние на область глубокого обучения. Представленная Каймингом Хе и др. в 2015 году в работе"Глубокое остаточное обучение для распознавания изображений", ResNet позволила эффективно обучать чрезвычайно глубокие нейронные сети, состоящие из сотен и даже тысяч слоев. Это было достигнуто благодаря внедрению "остаточных блоков" с "пропущенными связями" - простой, но мощной концепции, которая позволяет смягчить проблему исчезающего градиента, обычно поражающую очень глубокие сети.

Как работает сеть ResNet

Основная инновация ResNet заключается в использовании пропущенных соединений или коротких путей. В традиционной конволюционной нейронной сети (CNN) каждый слой передает свой выход непосредственно следующему слою в последовательности. По мере углубления сети становится все труднее ее обучать, а градиенты распространяются обратно в процессе обучения. Это может привести к тому, что добавление новых слоев фактически ухудшает производительность модели.

ResNet решает эту проблему, позволяя добавлять вход слоя (или блока слоев) к его выходу. Это пропускное соединение создает альтернативный путь для градиента, обеспечивая эффективное обучение даже очень глубоких сетей. Такая структура позволяет сети обучаться остаточным функциям - по сути, слоям нужно изучать только изменения или остатки от входных данных, а не все преобразование. Если слой не приносит пользы, сеть может легко научиться игнорировать его, направляя его веса к нулю, что позволяет передавать тождественное отображение через пропущенное соединение.

ResNet в сравнении с другими архитектурами

• Стандартные CNN: В отличие от стандартных последовательных CNN, ResNet могут расти гораздо глубже без потери производительности благодаря остаточному обучению. Такая глубина позволяет им изучать более сложные характеристики и достигать более высокой точности при решении сложных задач.
• U-Net: В сети U-Net также используются пропускные соединения, но их назначение иное. В U-Net пропускные соединения связывают слои от пути нисходящей выборки к пути восходящей выборки, чтобы восстановить пространственную информацию для точной сегментации изображения. В ResNet соединения обычно короче и предназначены для улучшения градиентного потока и создания более глубоких архитектур.

Применение в реальном мире

Мощные возможности ResNet по извлечению признаков делают его популярным выбором в качестве основы для многих сложных задач компьютерного зрения.

• Анализ медицинских изображений: В ИИ для здравоохранения архитектуры ResNet используются для анализа медицинских снимков, таких как рентгеновские, компьютерные и магнитно-резонансные томографы. Например, модель на основе ResNet может быть обучена на наборе данных снимков мозга, чтобы помочь радиологам в раннем обнаружении опухолей, повышая точность и скорость диагностики.
• Автономное вождение: Системы в самоуправляемых автомобилях полагаются на надежные основы для восприятия в реальном времени. ResNet часто используется для обработки входных данных с камеры для обнаружения объектов, идентификации пешеходов, транспортных средств и дорожных знаков, что очень важно для систем безопасной навигации, разработанных такими компаниями, как Waymo.

Инструменты и реализация

Архитектуры ResNet широко реализованы в основных фреймворках глубокого обучения, таких как PyTorch и TensorFlow. Предварительно обученные модели, часто обучаемые на крупномасштабном наборе данных ImageNet, легко доступны через такие библиотеки, как torchvision, что облегчает эффективное трансферное обучение для пользовательских приложений. Такие платформы, как Ultralytics HUB, позволяют пользователям использовать различные архитектуры, в том числе модели на основе ResNet, для обучения пользовательских моделей для своих конкретных нужд. Хотя ResNet задала высокую производительность, впоследствии были разработаны новые архитектуры, такие как EfficientNet, обеспечивающие более высокую эффективность. Дополнительные образовательные ресурсы по CNN можно найти на курсе CS231n в Стэнфорде или на курсах таких провайдеров, как DeepLearning.AI.