Остаточные сети (ResNet)

Остаточные сети, широко известные как ResNet, представляют собой новаторский тип архитектуры нейронных сетей (NN), оказавший глубокое влияние на область глубокого обучения. Представленные Kaiming He и др. в их статье 2015 года "Deep Residual Learning for Image Recognition", ResNet позволили эффективно обучать чрезвычайно глубокие нейронные сети, состоящие из сотен или даже тысяч слоев. Это было достигнуто за счет введения "остаточных блоков" с "пропусками", простой, но мощной концепции, которая смягчает проблему исчезающего градиента, которая обычно поражает очень глубокие сети.

Как работает ResNet

Основная инновация ResNet заключается в использовании пропускных соединений или «коротких путей». В традиционной сверточной нейронной сети (CNN) каждый слой передает свой выходной сигнал непосредственно следующему слою в последовательности. По мере углубления сети становится все труднее обучать сеть и распространять градиенты обратно во время обучения. Это может привести к ситуации, когда добавление дополнительных слоев фактически ухудшает производительность модели.

ResNet решает эту проблему, позволяя добавлять вход слоя (или блока слоев) к его выходу. Это соединение в обход создает альтернативный путь для прохождения градиента, гарантируя, что даже очень глубокие сети могут быть эффективно обучены. Эта структура позволяет сети изучать остаточные функции — по сути, слоям нужно только изучать изменения или остатки от входа, а не все преобразование. Если слой не является полезным, сеть может легко научиться игнорировать его, направляя его веса к нулю, позволяя отображению идентичности проходить через соединение в обход.

ResNet в сравнении с другими архитектурами

• Стандартные CNN: В отличие от стандартных последовательных CNN, ResNet могут быть гораздо глубже без потери производительности благодаря остаточному обучению. Эта глубина позволяет им изучать более сложные функции и достигать более высокой точности в сложных задачах.
• U-Net: Хотя U-Net также использует пропускные соединения, ее цель иная. В U-Net пропускные соединения связывают слои из пути понижающей дискретизации с путем повышающей дискретизации, чтобы восстановить пространственную информацию для точной сегментации изображений. В ResNet соединения обычно короче и предназначены для улучшения потока градиента и обеспечения более глубоких архитектур.

Применение в реальном мире

Мощные возможности извлечения признаков ResNet делают его популярным выбором в качестве основы для многих сложных задач компьютерного зрения.

• Анализ медицинских изображений: В ИИ для здравоохранения архитектуры ResNet используются для анализа медицинских снимков, таких как рентгеновские снимки, КТ и МРТ. Например, модель на основе ResNet может быть обучена на наборе данных сканов головного мозга, чтобы помочь радиологам в раннем обнаружении опухолей, повышая точность и скорость диагностики.
• Автономное вождение: Системы в самоуправляемых автомобилях полагаются на надежные базовые модели для восприятия в реальном времени. ResNet часто используется для обработки входных данных с камеры для обнаружения объектов, идентификации пешеходов, транспортных средств и дорожных знаков, что имеет решающее значение для безопасных навигационных систем, разработанных такими компаниями, как Waymo.

Инструменты и реализация

Архитектуры ResNet широко реализованы в основных фреймворках глубокого обучения, таких как PyTorch и TensorFlow. Предварительно обученные модели, часто обученные на масштабном наборе данных ImageNet, легко доступны через библиотеки, такие как torchvision, что облегчает эффективное перенос обучения для пользовательских приложений. Платформы, такие как Ultralytics HUB, позволяют пользователям использовать различные архитектуры, включая модели на основе ResNet, для обучения пользовательских моделей для своих конкретных потребностей. В то время как ResNet установила прочную основу для производительности, с тех пор были разработаны новые архитектуры, такие как EfficientNet, чтобы предложить лучшую эффективность. Вы можете найти больше образовательных ресурсов по CNN на курсе CS231n Стэнфорда или на курсах от таких поставщиков, как DeepLearning.AI.