📚[논문 보러가기](https://arxiv.org/abs/1709.01507) 📚[코드 보러가기](https://github.com/hujie-frank/SENet) # Abstract - CNN의 기본은 **convolution 연산**이다. - 이 연산은 **공간(spatial) 정보**와 **채널(channel-wise) 정보**를 지**역적인 receptive field(kernel 크기)** 안에서 융합하여 유용한 특징을 추출한다. - 최근 연구들은 **공간적 표현(spatial encondig)을** 개선하여 네트워크 표현력을 향상시켰다. - 하지만 이 논문은 **채널 간의 관계(channel relationship)에** 집중한다. - 이를 위해 새로운 구조적 단위인 **Squeeze-and-Excitation (SE) block**을 제안한다. - SE block은 **채널 별 중요도**를 학습해서 각 채널을 재조정한다. - SE block을 여러 층에 쌓으면 **SENet 아키텍처**가 되고 이 아키텍처는 여러 데이터셋에서 일반화된 성능 향상을 가져왔다. - 또한 SE block을 기존의 CNN에 추가하면 **계산량은 거의 늘지 않는데 성능은 크게 상승**한다. - 이를 통해 SENet이 **ILSVRC 2017 ImageNet 대회**에서 1위를 차지했다. # 1. Introduction ![[Squeeze-and-Excitation block.png]] - CNN의 각 convolution Layer는 입력 채널별로 **지역적 연결(local spatial connectivity) 패턴**을 학습힌다. - 즉, 필터(Filter)는 **공간적 구조 + 채널 결합 정보**를 이용해 특징을 만든다. - **Inception** 계열(GoogLeNet)의 연구에서는 **여러 크기의 커널(1x1, 3x3, 5x5)을 병렬**로 사용해서 다중 스케일 공간 정보를 포착했다. - **Spatial Attention** 연구들에는 모델이 공간적으로 **'어디를 볼지'를** 학습하도록 만든다. - 이 논문은 공간(spatial)이 아니라 **채널 간 관계(channel interdependency)에** 초점을 둔다. - 이를 위해 **Squeeze-and-Excitation (SE) Block**을 제안하고 채널 간의 상호작용을 명시적으로 모델링하여 **네트워크의 표현력(representational power)를** 강화한다. - 핵심적으로 **전역 정보(global context)를** 이용해서 **유용한 채널은 강조(emphasise)**, **덜 유용한 채널은 억제(suppress)한다.** → 이걸 **feature recalibration** (특징 재보정)이라고 한다. - 기존 CNN는 F_tr : X → U 과정이 끝이었으나, SE Block은 U 이후 출력을 **Squeeze → Excitation → Scale** 세 단계로 처리한다. - Squeeze : 공간 차원을 **average pooling으로 압축**해, 각 채널의 전역적 활성값을 얻는다. - Excitation : 그 벡터를 기반으로 **채널별 중요도**를 학습한다. - Scale : 원래 feature map에 채널별 게이트를 곱해서 **강조/억제**한다. - SE Block은 단순하기 때문에 기존 아키텍처에 바로 **끼울 수 있고(drop in module),** **계산량도 거의 늘지 않는다(lightwight).** # 2. Related Work ## Deep Architectures - VGGNet : 단순하지만 **깊게 쌓은 3x3 conv 구조**로 깊은 네트워크의 효용을 입증 - Inception : 여러 크기의 커널을 병렬로 사용해 **multi-scale spatial feature** 학습 - Batch Normalization(BN) : 입력 분포를 정규화해 안정화 - [[Deep Residual Learning for Image Recognition|Resnet]] : skip connection으로 gradient 흐름 문제 해결 - Highway Networks : 게이트(gate)로 shortcut을 제어하는 초창기 아이디어 - DenseNet, Dual Path Networks : layer 간 연결 방식을 다시 설계해서 **feature 재활용 + 표현 다양성** 강화 - Grouped convolution (ResNeXt) : 채널을 그룹으로 나누어 연산 효율성을 높임 - Multi-branch 구조(Inception 계열) : 여러 변환을 병렬 조합해서 다양한 특징 조합 - 하지만 이러한 모델들은 **채널 간 관계를 명시적으로 모델링하지 않았다.** ## Attention and gating mechanisms - Attention : 신경망이 입력 전체를 똑같이 처리하지 않고, **중요한 부분만 더 집중**하도록 하는 방법 - Image Captioning : 이미지의 '어디'를 볼지 위치적(spatial) attention 학습 - Lip Reading, Visual Localization :시작 정보의 시간적/공간적 정보에 집중 - Residual Attention Network : ResNet 안에 **turnk + mask 구조**로 **attention map**을 생성 - SENet은 attetion의 개념을 **채널 차원(channel dimension)에** 적용했다. # 3. Squeeze-and-Excitation Blocks - CNN의 Convolution은 다음과 같은 과정으로 진행된다. - ![[Transformation Formula.png]] - v_c : c번째 convolution 필터 - x^s : 입력의 s번째 채널 - v_c * x^s : 각 채널의 convolution 결과를 모두 더 함으로써 u_c 형성 - 기존의 convolution은 채널 간 관계를 **암묵적**으로 포함하지만 공간적 상관관계와 얽혀 있어서 **명시적**으로 구분되어 있지 않다. - 그래서 CNN이 채널 간 관계를 명시적으로 모델링 하기 위해 추가적으로 *squeeze*와 *excitation* steps을 추가해야 한다. ## 3.1 Squeeze : Global Information Embedding - convolution 필터는 **local(지역적) receptive field** 안의 정보만 다룬다. - 때문에 낮은 layer일수록 전역 맥락(global context)을 고려하기 어렵다. - 이를 해결하기 위해 **Squeeze 연산**을 사용한다. - ![[Squeeze Formula.png]] - 각 채널의 feature map u_c을 공간 차원 전체(HxW)로 평균내어 **단일 스칼라** z_c로 만든다. - 이렇게 생성된 z = [z₁, z₂, ... , z_c]는 각 채널의 **전역 활성화 통계(global descriptive statistic)를** 나타낸다. ## 3.2 Excitation : Adaptive Recalibration ### Excitation - Squeeze로 요약한 정보 z를 이용해 각 채널 간 **상호의존성(interdependency)를** 학습한다. - ![[Excitation Formula.png]] - δ : ReLU 함수 - σ : sigmoid 함수 - W₁∈R^C/r×C : 차원 축소 (reduction) - W₂∈R^C×C/r : 차원 복원 (expansion) - r : reduction ratio (일반적으로 16) - W₁z를 통해 차원을 축소하여 채널 간의 상호작용을 더 효율적으로 학습한다. - W₂로 축소했던 차원을 복원한다. - Sigmoid를 사용하여 [0,1] 범위의 게이트 벡터 *s*를 생성한다. - 최종적으로 나오는 s = [s₁, s₂, ... , s_c]는 각 **채널의 중요도(weight)를** 의미한다. ### Scale - 최종적으로 Excitation에서 얻은 가중치 *s*를 각 채널의 feature map에 곱해준다. - ![[Scale Formula.png]] - 이 과정에서 중요도가 높은 채널은 강조되고, 낮은 채널은 억제된다. - SE Block은 입력마다 다르게 동작하기 때문에 같은 네트워크라도 **입력 이미지가 달라지자만 채널별 강조 패턴도 달라진다.** ## 3.3 Exemplars : SE-Inception and SE-ResNet ### SE-Inception - Inception 구조는 여러 병렬 branch(1x1, 3x3, 5x5 conv 등)를 갖는다. - 이러한 branch의 출력을 이여붙여 최종 feature map U를 만든다. 이 과정을 F_tr이라고 한다. - ![[SE-Inception Module.png]] - Global pooling : Squeeze 동작 - FC → ReLU → FE → Sigmoid : Excitation 동작 - Scale ### SE-ResNet - [[Deep Residual Learning for Image Recognition|ResNet]]은 skip-connection을 사용하여 y = F_tr(x, W) + x 구조를 가지게 된다. - 여기서 F_tr(x, W)를 residual branch라고 한다. - **SE-ResNet**에서는 이 residual branch 끝 부분에 **SE block**을 삽입힌다. - ![[SE-ResNet Module.png]] - Global pooling : Squeeze 동작 - FC → ReLU → FE → Sigmoid : Excitation 동작 - Scale # 4. Model and Computational Complexity - 기존 Model에 SE Block을 추가하였을 때 **연산량(FLOPs)과** **Complexity(복잡도)는** 얼마나 증가 할까? ## 연산량(FLOPs)와 학습시간 - ResNet-50과 SE-ResNet50으로 연산량을 비교했을 때 기본 ResNet-50이 ~3.86 GFLOPs이고 SE-ResNet-50이 ~3.87 GFLIOPs로 상대적으로 0.26% 증가했다. - Squeeze는 단순한 Global Average Pooling으로 연산량이 매우 작다. - Excitation은 작은 두 개의 FC로 **채널 수**만 다루는 연산이기 때문에 공간 차원이 없어 이 또한 연산이 크지 않다. - Scale은 채널 별 곱셈 한 번임으로 연산량이 매우 작다. - 즉, spatial conv(3x3 등)에 비하면 SE는 추가하는 건 **매우 싸다.** - 8× NVIDIA Titan X GPU 서버, 배치사이즈 256일 때의 실제 학습 시간을 비교해도 ResNet-50이 190 ms, SE-ResNet-50이 209ms로(forward+backward 한 step 기준) 약 **19ms 정도만 증가했다.** ## 파라미터 수 증가량 - SE 블록은 사실상 Excitation 단계의 2-layer FC뿐이다. - 따라서 추가 파라미터 수는 다음과 같은 공식을 따라간다. - ![[SE Additional Parameter Formula.png]] - r : reduction ratio - S : stage 수 - N_s : stage s 안에서 동일한 블록이 몇 번 반복되는지 (block 반복 횟수) - C_s : 그 stage의 출력 채널 수 - Excitation MLP는 FC(C_s x C_s / r)과 FC( C_s / r x C_s)로 이 둘을 더하면 (2/r x C_s²)가 나온다. - 그 블록에 같은 stage 안에서 N_s번 반복됨으로 위의 최종 공식이 나온다. - ResNet-50과 SE-ResNet-50의 파라미터 수를 비교해보면 ResNet-50: 약 **25M parameters**, SE-ResNet-50: 약 **27.5M parameters**으로 대략 10% 정도 증가한다. - 파라미터가 이렇게 많이 증가하는 이유가 바로 **마지막 stage의 채널 수가 매우 큰데** 그러면 C_s²이 커지기 때문에 거기서 파라미터가 매우 증가하게 된다. - **마지막 stage 쪽 SE 블록을 빼도** 정확도 손실은 top-1 기준 < 0.1%로 매우 작고 파라미터 증가는 10% → 4% 수준까지 떨어진다. # 5. Implementation - ResNet-50과 SE-ResNet-50은 완전히 같은 학습 방식으로 훈련했다. ## 학습 데이터 및 증강 1. Random-size cropping : 299x299 이미지를 무작위로 잘라 224x244로 만듦 (평가는 center crop) 2. Random horizontal flipping 사용 3. Input normalization : 평균 채널값을 빼서 정규화 4. Bananced sampling strategy : mini-batch를 구성할 때 클래스 불균형을 어느 정도 조정하는 전략→ 클래스 다양성을 보장해준다. ## 학습 인프라 - 자체 분산 학습 시스템은 **ROCS** 사용 - 이를 통해 대규모 네트워크를 병렬로 효율적으로 학습할 수 있다. ## 최적화 설정 - Optimizer : SGD 사용, Momentum 0.9 - Mini-batch size : 1024 - 초기 학습률 : 0.6 - Learning rate schedule : 30 epochs마다 0.1 # 6. Experiments ## ImageNet Classification ![[SE ImageNet performance.png]] - **SE**가 적용된 모든 Model에서 성능이 향상됐다. - 특히 ResNet-50과 SE-ResNet-50, ResNet-101을 비교해보면 Top-5 err가 ResNet-50보다 SE-ResNet-50이 *0.86%* 더 좋았고 ResNet-101과 비교해도 크게 다르지 않았다. - 연산량을 비교해봐도 **기존 Model가 크게 다르지 않고** 성능이 비슷한 ResNet-101보다 SE Block을 적용한 SE-ResNet-50이 연산량이 유의미하게 낮았다. - 뿐만 아니라, VGG-16, BN-Inception, MobileNet 등 **다양한 Model에도 적용 가능**했고 유의미한 성능 향상을 이루어냈다. ## Scene Classification ![[SE Scene Classification performance.png]] - Places365-Challenge를 통해 장면 인식 문제에 대한 성능을 평가했다. - 800만 장의 Test 이미지 - 36,500장의 Validation 이미지 - 365개의 scene 카테고리 - SE Block이 단순히 ImageNet뿐 아니라 scene classification에도 **일반화된 성능 향상**을 보였다. ## Object Detection ![[SE Object detection performance.png]] - COCO 데이터 셋 사용해 물체 탐지 성능을 평가했다. - 80k Train 데이터 - 40k Validation 데이터 - 80개의 객체 클래스 - AP@loU : loU(intersection over Union)가 **0.5 이상일 때**의 Average Precision - $IoU$ = $Area(pred ∩ gt)/Area(pred∪ gt)$ : 예측 박스와 정답 박스의 **겹치는 비율** - '객체를 50% 이상 겹치게 맞췄을 때 얼마나 잘 탐지했는가'를 측정 - AP (COCO metric) : COCO가 제안한 **엄격한 평균 AP** - IoU threshold를 **0.5부터 0.95까지 0.05 간격으로** 바꿔가며 10개 값을 평균낸 것. - 0.5에서만 보는 게 아니라, **정확히 맞췄는가 (0.75~0.95)** 까지 평가. - SE Block은 Classification 뿐만 아니라 **detection task**에서도 성능 향상을 보였다. ## Analysis and Interpretation ### Reduction ratio r ![[SE Reduction ratio performance.png]] - r의 값은 Excitation 단계에서 **채널 압축비**를 나타낸다. - r이 작을 수록 파라미터가 많아져 성능은 좋아지지만, 과적합 위험도 커진다. - 실험적 결과로 봤을 때 r =16일 때 가장 좋은 성능이 나왔다. ### The role of Excitation ![[SE block Activation by Excitation.png]] - 네 개의 클래스 (glodfish, pug, plane, cliff)를 선택해 각 stage 마지막 SE 블록의 50개 채널에 대해 평균 활성화 분포를 계산해 Excitation의 역할에 대해 연구했다. - **초기 단계 Stage 2~3** : 클래스 간 활성화 분포가 거의 동일하다 → 해당 Excitation에서는 **일반적 특징(general features)를** 공유한다. - **깊은 단계 Stage 4~5** : 클래스 별ㄹ로 채널 활성화 패턴이 달라진다 → 해당 Excitation에서는 **클래스 특이적 특징(class-specific features)를** 강조한다. - **마지막 단계 Stage 5_2, 5_3** : 일부 채널이 포화 상태에 가깝다 → 일반적인 **residual block**과 유사하게 작동한다. 즉, Stage SE block을 제거해도 성능 손실이 거의 없다. - 이를 통해서 **파라미터 크기가 많은 마지막 SE Block은 제거**하여 Model의 파라미터를 적게 만든다. # 7.Conclusion - 이 논문에서는 **Squeeze-and-Excitation (SE) Block**이라는 새로운 구조적 단위를 제안했다. - **SE Block**을 이용해 네트워크가 **동적으로 채널별 중요도를 조정**할 수 있게 만들어 표현력을 높였다. - SENet은 단순히 성능만 올린 게 아니라, 기존 CNN 구조가 왜 채널 간 관계를 잘 모델링 하지 못했는 지에 대한 통찰도 제공한다. - SE Block이 학습하는 채널 중요도 정보는 **모델 압축(compression)**, **pruning(불필요한 채널 제거)** 같은 연구에도 활용될 수 있을 것이다. # Code review 📚[코드 보러가기](https://github.com/kuangliu/pytorch-cifar/blob/master/models/resnet.py) - 직접 SE-ResNet-50과 ResNet-50 Model을 구현해보고 성능을 비교해보았다. - DateSet은 **CIFAR10**을 사용했다. ## 학습 데이터 및 증강 1. Random-size cropping : padding을 4로 하여 크기를 키우고 랜덤으로 이미지를 잘랐다. 2. Random horizontal flipping 사용 3. Input normalization : 평균 채널값을 빼서 정규화 4. Train Data를 8:2로 나눠서 학습할 때는 Train set을 사용하고 학습 중간중간 Valldation set을 사용하여 top-1 error를 측정하였다. ## 학습 인프라 - 그래픽 카드 : 4080 Super - Mixed Percision 사용 ## 최적화 설정 - Optimizer : SGD 사용, Momentum 0.9 - Batch size : 512 - 크로스 엔트로피 손실 함수 사용 - 초기 학습률 : 0.001 - Learning rate schedule : 5 epochs마다 성능 향상이 없으면 x0.2, 최소 1e-6 ## SE-ResNet-50 - 기존 ResNet에 SE-Block 함수를 붙이는 형식으로 SE-ResNet-50 Model을 구현하였다. - 논문과 마찬가지로 파라미터 수를 줄이기 위해 마지막 Block에서 SE Block을 사용하지 않았다. - SE-Block의 r = 16으로 두고 실험을 진행했다. ## 결과 ![[SE-ResNet-50 VS ResNet-50 Loss, Error Comparsion.png]] | | Loss | Error | 총 학습 시간 | | ------------ | ------ | ------ | ---------- | | ResNet-50 | 0.3488 | 20.20% | 108m 57.1s | | SE-ResNet-50 | 0.2512 | 17.53% | 128m 38.5s | - SE-ResNet-50과 ResNet의 Test Error 차이는 약 2.67% 정도 났고 총 학습 시간은 약 20m, 약 18% 정도 차이가 났다. ![[SE-ResNet-50 VS ResNet-50 Top Error Comparsion.png]] - 실제 최종 Top Error에서는 Top-1, Top-5 모두 SE-ResNet이 높은 성능을 가져왔다.