Neural Network (NN)

신경망(NN)은 인공 신경망(ANN)이라고도 하며, 뉴런이라는 단순하고 연결된 단위의 레이어로 구성된 머신 러닝(ML) 모델입니다. 각 뉴런은 입력에 가중치를 곱하고 편향을 더한 뒤, 그 합에 비선형 활성화 함수를 적용합니다. 네트워크는 출력이 학습 데이터의 예시와 일치할 때까지 가중치와 편향을 조정하며 학습하므로, 동작 방식은 데이터에서 학습됩니다. 설계는 생물학적 뉴런에서 대략적인 영감을 얻었지만, 현대 네트워크는 학습 가능한 대규모 수학 함수로 이해하는 것이 적절합니다. 레이어가 많은 네트워크를 다루는 딥러닝(DL)은 컴퓨터 비전, 음성 인식, 대규모 언어 모델(LLM)의 기반입니다.

신경망의 계산 방식#

뉴런은 레이어로 구성됩니다. 입력 레이어는 픽셀 값이나 센서 판독값과 같은 데이터를 받고, 하나 이상의 은닉 레이어가 데이터를 변환하며, 출력 레이어는 클래스 점수나 예측값 등의 예측 결과를 생성합니다. 완전 연결 레이어에서는 각 뉴런이 이전 레이어의 모든 출력을 받으므로 레이어 전체가 행렬 곱셈 후 원소별 활성화를 적용하는 연산이 됩니다. 모든 레이어에 순서대로 데이터를 전달하는 과정을 순전파라고 합니다. 활성화 함수 덕분에 깊이가 유용해집니다. 활성화 함수가 없으면 레이어를 쌓아도 하나의 선형 함수로 축약됩니다. 활성화 함수가 있으면 너비가 충분한 은닉 레이어 하나만으로도 임의의 연속 함수를 임의의 정확도로 근사할 수 있습니다. 이를 보편 근사 정리라고 합니다.

아래 PyTorch 예시는 뉴런 하나를 직접 계산한 다음 뉴런 네 개로 이루어진 전체 레이어를 한 번에 계산합니다:

import torch
from torch import nn

torch.manual_seed(1)
x = torch.tensor([0.5, -1.0, 2.0])  # one example with three input features

# A layer of four neurons: each has three weights and one bias
layer = nn.Linear(in_features=3, out_features=4)

# Neuron 0 by hand: weighted sum of inputs plus bias, then a ReLU activation
z = (layer.weight[0] * x).sum() + layer.bias[0]
print(f"Neuron 0 by hand: {torch.relu(z).item():.4f}")

# The layer computes all four neurons at once as one matrix multiplication
outputs = torch.relu(layer(x))
print(f"All four neurons: {[round(v, 4) for v in outputs.tolist()]}")

Neuron 0 by hand: 0.3906과 All four neurons: [0.3906, 1.1465, 0.0, 0.0]을 출력합니다. 직접 계산한 결과는 레이어의 첫 번째 뉴런과 일치하며, ReLU 활성화 함수는 가중치 합이 음수인 두 뉴런을 0으로 설정합니다. 레이어에는 학습 가능한 값이 16개 저장되어 있으며, 가중치 12개와 편향 4개로 구성됩니다. 실제 네트워크는 이와 같은 레이어를 쌓아 파라미터를 수백만 개 또는 수십억 개까지 구성합니다.

신경망의 학습 방식#

학습은 무작위 가중치에서 시작해 단순한 반복 과정을 수행합니다. 레이블이 지정된 예제의 배치가 네트워크를 순전파하고, 손실 함수가 예측이 레이블에서 얼마나 벗어났는지 측정합니다. 역전파는 연쇄 법칙을 적용해 각 가중치가 오차에 기여한 정도를 계산하며, 확률적 경사 하강법(SGD)이나 Adam 같은 옵티마이저가 모든 가중치를 손실을 낮추는 방향으로 조금씩 조정합니다. 학습 세트를 한 번 모두 통과하는 것을 에포크라고 합니다. 일반적으로 별도로 확보한 검증 데이터의 손실이 더 이상 개선되지 않으면 학습을 중지합니다. 그 시점 이후에도 학습 세트에 계속 맞추면 네트워크가 과적합되기 시작하기 때문입니다.

처음부터 학습하려면 일반적으로 대규모 레이블 데이터셋이 필요하며, 전이 학습은 대규모 데이터셋으로 사전 학습한 가중치에서 시작해 필요한 데이터의 양을 줄입니다. 학습된 수백만 개의 가중치는 해석하기도 어려워 설명 가능한 AI(XAI) 연구를 촉진합니다.

주요 신경망 유형#

아키텍처라고 하는 뉴런의 연결 방식에 따라 네트워크가 효과적으로 처리할 수 있는 데이터가 달라집니다:

• 피드포워드 네트워크: 데이터를 한 방향으로 전달하는 완전 연결 계층으로, 다층 퍼셉트론(MLP)이라고도 합니다. 표 형식 데이터에 적합하며 더 큰 모델을 구성하는 빌딩 블록으로 사용됩니다.
• 합성곱 신경망(CNN): 작은 공유 필터를 합성곱을 사용해 이미지 위로 이동시키는 방식으로, 컴퓨터 비전 분야의 표준 설계입니다. 잔차 연결을 사용하면 수백 개의 계층으로 확장할 수 있습니다.
• 순환 신경망(RNN): 은닉 상태를 유지하면서 시퀀스를 한 단계씩 처리하며, 장기 기억을 위해 LSTM 및 GRU와 같은 게이트 방식이 사용됩니다.
• Transformer: 셀프 어텐션을 사용해 시퀀스의 각 요소를 다른 모든 요소와 병렬로 연결합니다. LLM과 비전 Transformer의 기반이 됩니다.
• 스파이킹 신경망(SNN): 시간에 따라 이산적인 스파이크로 정보를 전달해 생물학적 뉴런에 더 가깝게 동작하며, 뉴로모픽 칩에서 효율적으로 실행됩니다.

현재 대부분의 모델은 이러한 설계를 조합합니다. YOLO26은 가장 낮은 해상도의 특성 맵에 셀프 어텐션 블록을 적용한 합성곱 네트워크이며, 나노 객체 탐지 모델은 약 240만 개의 파라미터를 사용해 640×640 이미지에서 단일 순전파만으로 객체의 위치를 찾고 분류합니다.

신경망과 관련 용어 비교#

• 딥러닝: 은닉 계층이 한두 개 있는 신경망은 얕은 신경망이며, 딥러닝은 여러 계층으로 구성된 네트워크를 학습하는 방법입니다. 이러한 네트워크는 원시 데이터에서 자체적으로 특성의 계층 구조를 학습합니다. 모든 딥러닝 모델은 신경망입니다.
• 머신러닝: 신경망은 머신러닝 모델의 한 계열이며, 의사결정 트리, 서포트 벡터 머신, 그래디언트 부스팅 트리도 여기에 속합니다. 이 모델들은 여전히 표 형식 데이터에서 강력한 성능을 보입니다.
• 생물학적 신경망: 실제 뉴런은 시간에 맞춰 발생하는 전기 스파이크로 소통하고 인공 뉴런이 모델링하지 않는 화학적 과정으로 적응합니다. 스파이킹 신경망은 표준 신경망보다 이러한 동작을 더 많이 재현합니다.

간략한 역사#

Warren McCulloch와 Walter Pitts는 1943년에 입력된 이진값의 합이 임계값을 넘으면 활성화되는 단위인 뉴런의 수학적 모델을 설명했습니다. Frank Rosenblatt의 1958년 퍼셉트론은 예제를 통해 이러한 단위의 가중치를 학습했지만, 1969년 Marvin Minsky와 Seymour Papert는 단일 계층 퍼셉트론이 XOR 함수조차 계산할 수 없음을 보였고 관심은 시들해졌습니다. 다층 네트워크는 XOR을 해결하며, 1986년 David Rumelhart, Geoffrey Hinton, Ronald Williams는 역전파가 은닉 계층을 학습시켜 유용한 내부 표현을 학습하게 한다는 것을 보였습니다. 2012년 AlexNet이 GPU 두 개로 학습되어 ImageNet 대회에서 상위 5개 오류율 15.3%로 차순위 모델의 26.2%를 크게 앞서면서 딥 네트워크가 컴퓨터 비전 분야를 주도하기 시작했습니다.