Convolutional Neural Network (CNN)

합성곱 신경망(CNN)은 주로 이미지와 같은 격자형 데이터를 입력 위로 이동하는 작고 학습 가능한 필터로 처리하는 딥러닝 아키텍처입니다. 각 필터는 모든 위치에서 동일한 가중치를 재사용하므로 CNN은 완전 연결 네트워크보다 훨씬 적은 파라미터를 사용하면서 위치에 관계없이 에지나 바퀴 같은 패턴을 감지합니다. 계층을 쌓으면 앞쪽 계층의 에지와 텍스처부터 더 깊은 계층의 객체 부분과 전체 객체까지 특징 계층 구조가 형성됩니다. CNN은 2012년 AlexNet이 ImageNet 챌린지에서 우승한 이후 컴퓨터 비전의 발전을 이끌어 왔으며, 현재도 엣지 하드웨어에서 실시간 비전을 구현할 때 가장 널리 선택되는 모델입니다.

CNN의 작동 방식#

CNN은 몇 가지 계층 유형을 여러 단계에 걸쳐 반복하며, 각 단계는 이전 단계보다 낮은 해상도에서 작동합니다:

• 컨볼루션 계층: 각 계층은 일반적으로 3×3 크기의 학습 가능한 필터 집합을 입력의 높이와 너비에 걸쳐 이동시킵니다. 필터 하나가 출력 특징 맵의 채널 하나를 생성하므로 필터 64개를 사용하는 계층은 채널 64개를 출력합니다.
• 정규화 및 활성화: 배치 정규화는 학습 중 각 계층의 출력이 안정적인 범위에 있도록 유지하며, ReLU 또는 SiLU와 같은 비선형 활성화 함수를 사용하면 계층을 쌓아 하나 이상의 선형 변환을 표현할 수 있습니다.
• 다운샘플링: 최대 풀링 또는 스트라이드 2 컨볼루션은 높이와 너비를 절반으로 줄여 이후 계층의 수용 영역을 확장하고 연산량을 줄입니다. 많은 최신 설계는 주로 스트라이드 컨볼루션을 사용해 다운샘플링합니다.
• 헤드: 이미지 분류에서는 전역 평균 풀링이 최종 채널을 각각 숫자 하나로 축소하고, 완전 연결 계층이 그 숫자를 클래스 점수로 매핑합니다. 검출 및 세그멘테이션 모델은 이 헤드를 계층으로 대체해 박스 또는 픽셀별 마스크를 예측합니다.

CNN의 주요 특성#

세 가지 특성이 컨볼루션이 이미지에 적합한 이유를 설명합니다. 국소 연결성은 각 출력이 입력의 작은 주변 영역에만 의존하게 하며, 이는 인접 픽셀 간 강한 상관관계에 부합합니다. 가중치 공유를 통해 필터 하나가 이미지 전체에서 사용되므로 입력 크기에 상관없이 파라미터 수가 동일하게 유지됩니다. 이동 등변성은 입력을 이동하면 특징 맵도 같은 만큼 이동하게 하므로 한쪽 모서리에서 학습한 패턴을 어디서나 인식할 수 있습니다. 풀링 계층은 여기에 작은 이동에 대한 어느 정도의 내성을 더합니다. 이러한 특성이 함께 CNN의 귀납적 편향, 즉 트랜스포머보다 적은 이미지로 학습할 수 있게 해주는 내재된 가정을 형성합니다.

아래 PyTorch 코드 조각은 동일한 224×224 RGB 이미지에 적용한 컨볼루션 계층과 완전 연결 계층을 비교합니다.

import torch
from torch import nn

image = torch.randn(1, 3, 224, 224)

# 64 learnable 3x3 filters, each reused at every position of the RGB image
conv = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, padding=1)

# A fully connected layer mapping the same flattened image to only 64 numbers
dense = nn.Linear(3 * 224 * 224, 64)

conv_params = sum(p.numel() for p in conv.parameters())
dense_params = sum(p.numel() for p in dense.parameters())
print(f"Conv2d: output {tuple(conv(image).shape)}, {conv_params:,} parameters")
print(f"Linear: output {tuple(dense(image.flatten(1)).shape)}, {dense_params:,} parameters")

Conv2d: output (1, 64, 224, 224), 1,792 parameters과 Linear: output (1, 64), 9,633,856 parameters을 출력합니다. 가중치 공유를 통해 컨볼루션은 파라미터 1,792개로 전체 해상도의 특징 맵 64개를 생성하지만, 완전 연결 계층은 숫자 64개만 출력하는 데 5,376배 많은 파라미터가 필요합니다.

주요 CNN 아키텍처#

• LeNet-5 (1998): Yann LeCun이 손글씨 숫자 판독을 위해 개발한 네트워크는 컨볼루션과 풀링 계층을 번갈아 쌓은 뒤 완전 연결 계층을 배치하는 구조를 확립했으며, 은행 수표 판독에 상업적으로 도입되었습니다.
• AlexNet (2012): 두 개의 GPU에서 ReLU 활성화와 드롭아웃을 사용해 학습했으며, ILSVRC 2012 챌린지에서 top-5 테스트 오류율 15.3%로 우승했습니다. 2위 모델의 오류율은 26.2%였습니다.
• VGG (2014): 작은 3×3 컨볼루션을 16~19개의 가중치 계층 깊이까지 쌓으면 ImageNet 정확도가 크게 향상된다는 점을 보여주었습니다.
• ResNet (2015): 잔차 연결을 통해 최대 152개 계층으로 이루어진 네트워크를 학습할 수 있었으며, ResNet 앙상블이 ILSVRC 2015에서 우승했습니다.
• U-Net (2015): 스킵 연결을 갖춘 인코더-디코더 CNN으로, 생물의학 이미지 세그멘테이션의 표준 아키텍처가 되었습니다.
• ConvNeXt (2022): 트랜스포머 시대의 설계 방식을 적용해 현대화한 ResNet으로, ImageNet top-1 정확도 87.8%를 달성하고 COCO 검출에서 Swin Transformer보다 우수한 성능을 보입니다.

CNN의 활용 분야#

• 객체 검출: 단일 단계 CNN 검출기는 한 번의 순전파로 객체를 찾고 분류하므로 카메라, 휴대폰 및 임베디드 보드에서 비디오를 처리할 만큼 빠릅니다.
• 의료 영상 분석: U-Net 스타일 CNN은 각 픽셀의 라벨이 중요한 CT 및 MRI 스캔에서 장기, 종양 및 병변을 세그멘테이션합니다.
• 자세 추정: CNN은 스포츠 분석, 인체공학 및 피트니스 앱을 위해 신체 키포인트를 예측합니다.
• 이미지 이외의 신호: 1차원 컨볼루션은 오디오 파형과 센서 시계열을 처리하며, 2차원 CNN은 음성 인식에서 스펙트로그램을 분류합니다.

CNN과 Vision Transformer 비교#

비전 트랜스포머(ViT)는 이미지를 패치로 나누고 셀프 어텐션을 사용해 모든 패치를 서로 연결하므로 첫 번째 계층부터 전역 문맥을 확보합니다. 귀납적 편향이 약한 데에는 대가가 따릅니다. 원래 ViT는 ImageNet만으로 학습했을 때 비슷한 크기의 ResNet보다 성능이 낮았으며, 1,400만~3억 개 이미지로 사전 학습한 뒤에야 ResNet과 비슷하거나 더 나은 성능을 보였습니다. 어텐션 연산 비용은 패치 수의 제곱에 따라 증가해 고해상도 입력의 처리 비용이 커지는 반면, 컨볼루션 연산 비용은 픽셀 수에만 선형적으로 증가합니다. 따라서 현재 많은 모델은 두 방식을 결합해 고해상도에서는 컨볼루션 단계를 유지하고 특징 맵이 작아지는 지점에 어텐션을 추가합니다. YOLO26도 이 패턴을 따릅니다. Conv 블록(컨볼루션, 배치 정규화 및 SiLU)과 C3k2 블록이 대부분의 연산을 수행하고, 멀티헤드 셀프 어텐션은 스트라이드 32 특징 맵에서만 실행됩니다. 640×640 이미지의 경우 이는 20×20 그리드입니다.