CNN과 공간 구조

convolution

정의. 2차원 합성곱 층은 입력 $\mathbf{x} \in \mathbb{R}^{C_{\text{in}} \times H \times W}$에 kernel $\mathbf{w} \in \mathbb{R}^{C_{\text{out}} \times C_{\text{in}} \times k \times k}$를 미끄러뜨리며 적용한다.

출력 채널 $o$마다 kernel이 하나씩 있고, 각 kernel은 모든 입력 채널을 한꺼번에 본다. 딥러닝 라이브러리가 "convolution"이라 부르는 연산은 신호처리의 합성곱과 달리 kernel을 뒤집지 않는 상호상관(cross-correlation)이다. kernel은 학습되므로 뒤집느냐는 표현력에 차이가 없지만, 신호처리 코드(np.convolve, scipy.signal.convolve2d)와 결과를 비교할 때는 이 차이를 기억해야 한다.

네 가지 조절 인자. 합성곱의 동작은 네 값으로 정해진다.

출력 크기. 한 축의 입력 길이가 $n$이면 출력 길이는

이다. 분자의 $d(k-1)+1$은 dilation을 반영한 창의 실제 폭이고, 내림은 마지막 창이 입력을 벗어나는 위치를 계산하지 않는다는 뜻이다. stride 1에서 입력과 출력의 길이를 같게 하는 "same" padding은 $p = d(k-1)/2$다($k$가 홀수일 때 정수).

아래 셀은 이 정의를 그대로 옮긴 conv2d를 만들고, 네 가지 설정에서 출력 shape이 공식과 같은지, 그리고 scipy.signal.correlate2d와 같은 값을 내는지 확인한다.

import numpy as np
from scipy.signal import correlate2d

def out_size(n, k, s=1, p=0, d=1):
    return (n + 2 * p - d * (k - 1) - 1) // s + 1

def conv2d(x, w, s=1, p=0, d=1):                     # x (C_in, H, W), w (C_out, C_in, k, k)
    C_out, C_in, k, _ = w.shape
    x = np.pad(x, ((0, 0), (p, p), (p, p)))          # zero padding
    H_out, W_out = out_size(x.shape[1], k, s, 0, d), out_size(x.shape[2], k, s, 0, d)
    y = np.zeros((C_out, H_out, W_out))              # (C_out, H_out, W_out)
    span = d * (k - 1) + 1                           # dilation을 반영한 kernel의 실제 폭
    for i in range(H_out):
        for j in range(W_out):
            patch = x[:, i * s:i * s + span:d, j * s:j * s + span:d]   # (C_in, k, k)
            y[:, i, j] = np.einsum("chw,ochw->o", patch, w)
    return y

rng = np.random.default_rng(0)
x = rng.normal(size=(3, 32, 32))                     # (C_in, H, W)
w = rng.normal(size=(8, 3, 5, 5))                    # (C_out, C_in, k, k)
for s, p, d in [(1, 0, 1), (1, 2, 1), (2, 2, 1), (1, 4, 2)]:
    y = conv2d(x, w, s, p, d)
    print(f"stride {s}, padding {p}, dilation {d} → {y.shape}  공식 H_out = {out_size(32, 5, s, p, d)}")
ref = sum(correlate2d(x[c], w[0, c], mode="valid") for c in range(3))   # 채널마다 상호상관 후 합
print("scipy correlate2d와 일치:", np.allclose(conv2d(x, w)[0], ref))

stride 1, padding 0, dilation 1 → (8, 28, 28)  공식 H_out = 28
stride 1, padding 2, dilation 1 → (8, 32, 32)  공식 H_out = 32
stride 2, padding 2, dilation 1 → (8, 16, 16)  공식 H_out = 16
stride 1, padding 4, dilation 2 → (8, 32, 32)  공식 H_out = 32
scipy correlate2d와 일치: True

$5 \times 5$ kernel에 padding 2는 "same"이고, dilation 2이면 kernel의 실제 폭이 9가 되어 같은 크기를 유지하려면 padding 4가 필요하다. 출력 채널 8개의 kernel은 각각 $3 \times 5 \times 5 = 75$개의 가중치를 가지므로 층 전체의 가중치는 $8 \times 75 = 600$개(bias 8개 별도)다. 이 수는 입력의 $32 \times 32$ 크기와 무관하다.

padding의 종류. zero padding은 경계 밖을 0으로 본다. 실제 신호가 0이 아니면 경계 근처 출력에 인공적인 가장자리가 생긴다. 주기 경계를 가진 물리 시뮬레이션(주기 상자 안의 유체, 경도 방향으로 감기는 전 지구 격자)에서는 반대쪽 끝의 값을 덧붙이는 circular padding이, 경계 값을 반복하는 replicate padding이나 거울상으로 덧붙이는 reflect padding이 더 자연스러울 수 있다. padding은 경계조건에 대한 가정이다.

귀납적 편향

국소성과 가중치 공유. 18.1장에서 본 대로 합성곱은 dense 층에 두 가지 제약을 건 것이다. 출력 한 칸은 입력의 $k \times k$ 창만 보고(국소성), 모든 위치가 같은 kernel을 쓴다(가중치 공유). 그래서 파라미터 수가 입력 크기와 무관하고, 학습할 때와 다른 크기의 입력에도 같은 층을 적용할 수 있다.

이동 등변성과 그 한계. stride 1 합성곱과 원소별 활성화는 이동 등변이다. 입력의 패턴을 옮기면 특징 지도도 같은 만큼 옮겨진다. 그러나 실제 CNN은 등변성을 근사적으로만 가진다.

• 경계. zero padding을 쓰면 경계 근처에서는 이동이 원형이 아니므로 등변성이 깨진다.
• stride와 pooling. stride $s$의 출력은 stride 1 출력에서 $s$칸마다 하나를 고른 것이다. 입력을 $s$의 배수가 아닌 칸만큼 밀면, 고르는 칸이 바뀌어 출력이 단순 이동으로 설명되지 않는다.

def conv1d_circ(x, w, s=1):                          # x (T,), w (k,), 원형 경계
    y = np.array([w @ np.roll(x, -t)[:len(w)] for t in range(len(x))])   # stride 1 출력 (T,)
    return y[::s]                                    # stride s = stride 1 출력을 s칸마다 하나씩

x1, w1 = rng.normal(size=16), rng.normal(size=3)
for s in [1, 2]:
    for shift in [1, 2]:
        y_shifted_in = conv1d_circ(np.roll(x1, shift), w1, s)
        y = conv1d_circ(x1, w1, s)
        is_shift = any(np.allclose(y_shifted_in, np.roll(y, m)) for m in range(len(y)))
        print(f"stride {s}, 입력 {shift}칸 이동 → 출력이 이동만 된 것인가: {is_shift}")

stride 1, 입력 1칸 이동 → 출력이 이동만 된 것인가: True
stride 1, 입력 2칸 이동 → 출력이 이동만 된 것인가: True
stride 2, 입력 1칸 이동 → 출력이 이동만 된 것인가: False
stride 2, 입력 2칸 이동 → 출력이 이동만 된 것인가: True

stride 2 층은 짝수 칸 이동에만 등변이다. stride·pooling 층을 여러 번 거친 깊은 CNN은 전체 stride의 배수 이동에만 정확히 등변이고, 그 사이의 이동에는 출력이 조금씩 흔들린다. 분류 모델이 물체를 한 픽셀 옮겼을 때 예측이 바뀌는 현상의 한 원인이다.

회전과 크기. 합성곱은 이동에만 등변이다. 회전이나 크기 변화에는 등변이 아니므로, 물체의 방향이 임의인 데이터(현미경 영상의 세포, 위에서 본 은하)에서는 회전 증강을 쓰거나 회전에 등변인 합성곱(group equivariant CNN)을 쓴다. 이 확장은 7.10장의 일반적인 틀을 그대로 따른다.

receptive field

정의. 출력 한 칸에 영향을 줄 수 있는 입력 칸의 범위를 그 칸의 receptive field(RF)라 한다. $k \times k$ 합성곱 한 층의 RF는 $k$이고, 층을 쌓으면 RF가 넓어진다. 층 $l$의 kernel 크기 $k_l$, stride $s_l$, dilation $d_l$에 대해 마지막 층의 RF는

다. 층 $l$은 자기 입력에서 $(k_l - 1)d_l$칸만큼 창을 넓히는데, 그 입력의 한 칸은 원래 입력에서 앞 층들의 stride 곱만큼의 칸에 해당한다. 그래서 stride와 dilation이 RF를 지수적으로 키울 수 있다.

def receptive_field(layers):                         # layers: [(k, s, d), ...] 입력 쪽부터
    r, jump = 1, 1
    for k, s, d in layers:
        r += (k - 1) * d * jump                      # 이 층이 넓히는 폭(입력 칸 단위)
        jump *= s                                    # 이 층 출력의 한 칸 = 입력의 jump칸
    return r

print("3x3 다섯 층              :", receptive_field([(3, 1, 1)] * 5))
print("3x3 stride 2 다섯 층     :", receptive_field([(3, 2, 1)] * 5))
print("k=3 dilation 1,2,4,8,16 :", receptive_field([(3, 1, 2 ** i) for i in range(5)]))

print("층 수 L   이론 RF   중앙 95% 폭")                # 같은 평균 kernel을 L번 쌓은 선형 CNN
for L in [4, 16, 64]:
    h = np.array([1.0])
    for _ in range(L):
        h = np.convolve(h, np.ones(3) / 3)           # impulse response (2L+1,)
    m = next(m for m in range(L + 1) if h[L - m:L + m + 1].sum() >= 0.95)
    print(f"{L:7d}   {len(h):7d}   {2 * m + 1:11d}")

3x3 다섯 층              : 11
3x3 stride 2 다섯 층     : 63
k=3 dilation 1,2,4,8,16 : 63
층 수 L   이론 RF   중앙 95% 폭
      4         9             7
     16        33            13
     64       129            27

stride 1인 $3 \times 3$ 층 다섯 개의 RF는 11칸에 그치지만, 매 층 stride 2를 쓰거나 dilation을 2배씩 늘리면 같은 다섯 층으로 63칸을 덮는다. 두 방법의 차이는 해상도다. stride는 출력 해상도를 $2^5 = 32$분의 1로 줄이고, dilation은 해상도를 유지한다. 픽셀마다 또는 시점마다 출력이 필요한 문제(분할, 시계열 예측)에서 dilation이 자주 쓰이는 이유다.

유효 receptive field. 이론 RF는 영향을 줄 수 있는 범위일 뿐, 그 안의 모든 입력이 같은 크기로 기여하지는 않는다. 가장자리 입력에서 출력까지 가는 경로는 하나뿐이지만, 가운데 입력은 경로가 매우 많다. 셀의 아래쪽 표는 모든 원소가 $1/3$인 kernel을 $L$번 쌓은 선형 CNN의 impulse response에서, 영향의 95%가 담긴 가운데 폭을 센 것이다. 이론 RF는 $2L + 1$로 선형으로 늘지만, 95% 폭은 7, 13, 27로 대략 $\sqrt{L}$에 비례해 는다. 같은 kernel을 반복 합성하면 중심극한정리에 따라 Gaussian 모양이 되기 때문이다. Luo 외(2016)는 학습된 CNN에서도 영향이 Gaussian에 가까운 모양으로 가운데에 몰리고, 이론 RF의 일부만 차지한다는 것을 보이고 이를 유효 receptive field(effective receptive field)라 불렀다.

연구에서의 의미. 문제에 필요한 맥락의 크기를 먼저 물리적 단위로 적는다. "전선의 폭은 약 200 km이고 격자 간격은 25 km이므로 최소 8칸", "응답이 과거 3일의 강수에 의존하고 샘플 간격이 1시간이므로 최소 72 step"처럼. 그다음 RF가 이 크기를 넉넉히 덮도록, 유효 RF가 더 좁다는 것을 감안해 설계한다.

대표 구조

ResNet. 층을 깊게 쌓으면 RF와 표현력이 늘지만, 단순히 쌓은 깊은 CNN은 학습 자체가 어려워져 학습 오차까지 나빠진다. He 외(2016)는 층이 입력 자체 대신 입력에 더할 변화량을 배우게 하는 residual connection $\mathbf{h}_{l+1} = \mathbf{h}_l + F(\mathbf{h}_l)$로 이 문제를 풀었다. 덧셈 경로를 따라 gradient가 층을 건너뛰어 흐르므로(17.1장) 100층이 넘는 CNN도 학습된다. 오늘날 대부분의 깊은 구조(Transformer 포함)가 이 연결을 쓴다.

encoder–decoder. 입력과 같은 해상도의 출력이 필요한 문제(분할, 장 예측, 노이즈 제거)에서는 encoder가 stride·pooling으로 해상도를 줄이며 넓은 맥락을 모으고, decoder가 upsampling(전치 합성곱이나 보간 후 합성곱)으로 해상도를 되돌린다. 해상도를 줄이는 동안 RF는 빠르게 넓어지지만, 세밀한 위치 정보는 사라진다.

U-Net. Ronneberger 외(2015)는 의료 영상 분할을 위해 encoder의 각 해상도 단계 특징 지도를 같은 해상도의 decoder 단계에 이어 붙이는(skip connection) 구조를 제안했다. 넓은 맥락(깊은 층)과 세밀한 위치(얕은 층)를 함께 쓰므로 픽셀 단위 출력에 강하다. 과학 데이터에서는 격자장에서 격자장으로 가는 문제(기상장 예측, 시뮬레이션 대리 모델, 현미경 영상 분할)의 표준 baseline이다.

적용 범위

합성곱의 차원은 데이터가 격자를 이루는 축의 수로 정한다. 채널 축은 격자 축이 아니라 "같은 위치의 여러 측정값"이다.

import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)
x1 = torch.randn(4, 2, 1000)                         # (B, C, T): 2채널 센서 시계열
x2 = torch.randn(4, 3, 64, 64)                       # (B, C, H, W): 영상
x3 = torch.randn(4, 1, 16, 32, 32)                   # (B, C, D, H, W): 3차원 장
conv1 = nn.Conv1d(2, 16, kernel_size=7, stride=2, padding=3)
conv2 = nn.Conv2d(3, 16, kernel_size=3, padding="same")
conv3 = nn.Conv3d(1, 8, kernel_size=3, stride=(1, 2, 2), padding=1)
for name, conv, x in [("1D", conv1, x1), ("2D", conv2, x2), ("3D", conv3, x3)]:
    n_param = sum(p.numel() for p in conv.parameters())
    print(f"{name}: {tuple(x.shape)} → {tuple(conv(x).shape)}  파라미터 {n_param}")

patches = F.pad(x1, (3, 3)).unfold(-1, 7, 2)          # (B, C_in, T_out, k): stride 2로 자른 창
manual = torch.einsum("bctk,ock->bot", patches, conv1.weight) + conv1.bias[:, None]
print("Conv1d = 창마다 가중합(상호상관):", torch.allclose(conv1(x1), manual, atol=1e-5))

1D: (4, 2, 1000) → (4, 16, 500)  파라미터 240
2D: (4, 3, 64, 64) → (4, 16, 64, 64)  파라미터 448
3D: (4, 1, 16, 32, 32) → (4, 8, 16, 16, 16)  파라미터 224
Conv1d = 창마다 가중합(상호상관): True

파라미터 수는 $C_{\text{out}}(C_{\text{in}} \prod k + 1)$이다. 1D 층은 $16 \times (2 \times 7 + 1) = 240$, 3D 층은 $8 \times (1 \times 27 + 1) = 224$다. 3D 층에 축마다 다른 stride (1, 2, 2)를 주면 깊이(또는 시간) 축의 해상도는 유지하고 평면만 줄인다. 마지막 줄은 Conv1d가 입력을 stride 간격의 창으로 잘라(unfold) 가중치와 축약한 것과 같다는 것, 즉 kernel을 뒤집지 않는 상호상관이라는 것을 확인한다.

시간 축에 쓸 때. 시계열 예측에서는 출력 시점 $t$가 미래 입력 $x_{t+1}, x_{t+2}, \dots$를 보면 안 된다. 왼쪽에만 $(k-1)d$칸을 padding하는 causal convolution이 이 조건을 보장한다. causal convolution을 dilation과 함께 쌓은 시계열 모델은 18.3장에서 순환 모델과 비교한다.

채널로 넣을 것과 축으로 넣을 것. 기상장의 기압면 13개를 채널로 넣으면 2D CNN이고, 깊이 축으로 넣으면 3D CNN이다. 채널로 넣으면 기압면마다 다른 가중치를 쓰고(기압면이 서로 다른 물리량처럼 다뤄짐), 축으로 넣으면 기압면 사이에 같은 kernel을 공유한다(연직 방향의 이동 등변을 가정). 어느 쪽이 맞는지는 연직 방향에 같은 규칙이 성립하는지에 달렸다.

참고 문헌

• He, Zhang, Ren, Sun (2016). Deep residual learning for image recognition. CVPR 2016, 770–778. — residual connection
• Luo, Li, Urtasun, Zemel (2016). Understanding the effective receptive field in deep convolutional neural networks. NIPS 29, 4898–4906. — 유효 receptive field
• Ronneberger, Fischer, Brox (2015). U-Net: Convolutional networks for biomedical image segmentation. MICCAI 2015, LNCS 9351, 234–241. — U-Net