U-Net

전체적인 아키텍쳐입니다. 1x572x572 흑백 이미지를 입력으로 합니다. 이미지의 크기가 224x224에서 많이 커졌습니다. 

 

[1505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation (arxiv.org)

아키텍쳐 왼쪽 부분을 설명하겠습니다.

아키텍쳐 왼쪽 부분

 

 

왼쪽 부분에서 Conv + ReLU + Conv + ReLU + Conv + ReLU가 하나의 블록을 형성하고 총 5 개의 블록을 거치면서 28x28까지 평면 차원이 축소됩니다. 572란 width에서 패딩 적용하지 않고 컨볼루션 3x3 연산을 계속하게 되는데, 한번 적용할 때마다 width가 조금씩 깎입니다.572에서

 

572, 570, 568, MP, 284, 282, 280,  MP, 140, 138, 136, MP, 68, 66, 64,. MP, 32, 30, 28

 

이렇게 갑니다. 신기하게 28이란 width에 도달했습니다. 28이란 숫자는 흔히 224 width 에서 MP를 적용했을 때

 

224, 112, 56, 28

 

이렇게 28이란 숫자를 얻을 수 있습니다.  

 

copy and crop

copy and crop 계열로 되어 있는 부분, Crop 후 CAT이란 방식의 skip connection이 인상적인데요. Residual Block에서의 skip connection은 행렬 합 방식이었고 DenseNet에서는 CAT 방식이었습니다. Crop 후 CAT 방식은 XY평면 차원 수를 맞추기 위해 불가피한 방법이었던 것으로 예상됩니다. 혹시 다른 가능한 방법을 생각해 본다면 단순히 바이리니어 인터폴레이션으로 다운 샘플링 후 CAT 하는 방식도 생각해 볼 수 있겠습니다. 이렇게 skip connection이 계속해서 적용되면서 이전 피처맵들의 정보들을 반영하게 됩니다. 

 

U-Net은 도식만 봐도 쉽게 이해가 되는 것 같습니다.