📚[논문 보러가기](https://arxiv.org/abs/1505.04597) # Abstract - **U-Net**은 적은 양의 학습 데이터로도 높은 정밀도의 세분화를 수행할 수 있는 **CNN 구조**이다. - U-Net의 목표는 **Classfication**이 아니라 **Segmentation**이다. 즉, 각 픽셀이 어떤 의미(클래스)에 속하는가를 학습하여 **Mask 이미지**를 결과물로 반환한다. (Ex, 세포 세분화, 뇌 MRI 영역 구분, 도로 차선 탐지 etc..) - 기존의 딥러닝 모델은 수천~수만 장의 라벨링된 이미지를 요구하지만, 의학 영상 같은 분야에서는 많은 데이터 확보가 거의 불가능하기 때문에 U-Net은 **데이터 증강**을 강하게 활용해 **제한된 데이터를 효과적으로 학습**하도록 설계되었다. - U-Net은 컨텍스트(context)를 포착하는 **Contracting path(수축 경로)와** 픽셀 단위의 정확한 위치를 복원하는 **Expanding Path(확장 경로)로** 구성되어 있다. - 추가로 512 x 512 이미지 한 장을 GPU에서 1초 이내에 분할할 수 있다. - U-Net은 ISBI 2015 Cell Tracking Challenge에서 1등을 달성했다. # 1. Introduction - 기존 Deep CNN의 경우 이미지 Classfication 분야에 큰 성장을 이루었으나, 이는 **수십만~수백만 개의 라벨된 이미지**와 **대규모 네트워크 구조** 때문이었다. - 하지만 이러한 CNN은 의료 영상처럼 **데이터가 적은 분야**에는 부적합하다. - 일반 CNN의 목표는 Classfication인 반해 U-Net의 목표는 Segmentation(세분화)이다. - 기존에는 Segmentation을 수행하기 위해 **sliding window** 방식을 사용했다. - **sliding window** : 각 픽셀 주변의 작은 패치(patch)를 잘라 CNN에 입력하여 그 패치의 중심 픽셀이 어떤 클래스인지 예측하는 방법 - 하지만 **sliding window** 방식에는 **두 가지 큰 문제점**이 있었다. 1. **Ineffciency** : 모든 픽셀마다 네트워크를 따로 돌려야 하므로 중복 계산이 많음 2. **Localization ↔ Context** Trade-off : 큰 Patch를 쓰면 주변 Context는 잘 보지만 경계가 흐릿해지고 작은 패치를 쓰면 경계는 잘 잡지만 전체 맥락을 보지 않는다. 즉, **정확한 위**치와 **넓은 문맥 정보**를 동시에 얻기 어렵다. - **U-Net**은 **Fully Convolutional Network(FCN) 개념**을 기반으로 설계 되었다. - 기존 CNN은 FC Layer을 사용하기 때문에 feature map을 **모두 flatten** 해버리는 과정에서 (x, y) 위치 정보가 사라지는 문제가 생긴다. - FC Layer를 제거하고 모든 층을 Convolution과 Upsampling으로 대체했다. ![[U-Net architecture.png]] - U-Net architecture은 이름 그대로 대칭 구조(U-형)이다. - 왼쪽 - **Contracting path** : downsampling으로 **context 추출** - 오른쪽 - **Expanding path** : upsampling으로 **localization 복원** - 두 경로를 **skip connection**으로 연결하여 저수준 featrue을 다시 합쳐 **경계 세부 정보 손실**을 방지했다. - 기존 **FNC**는 upsampling하면서 채널 수를 줄였기 때문에 context가 약해졌지만, U-Net은 **채널을 풍부하게 유지**해서 **문맥(context) + 세부(localizatoin)을** 함께 전달할 수 있었다. - **Elastic deformation augmentation(탄성 변형 증강)을** 적극 사용하여 적은 수의 라벨링 데이터로도 학습 가능하게 설계했다. - 하지만 서로 맞닿은 세포들은 같은 클래스라서 구분하기 어렵다. 그래서 **경계(background border)에 더 큰 가중치를 줘서** 네트워크가 **'여기가 세포 경계다'를** 더 강하게 학습하도록 유도했다. # 2. Network Architecture # 3. Training # 4. Experiments # 5. Conclusion