📚[논문 보러가기](https://arxiv.org/abs/1807.06521) # Abstract - **CNN**의 성능을 향상 시키기 위한 **주의(attentional) 메커니즘 모듈**을 제안한 연구이다. - **CNN**의 중간 **feature map**에 대해 두 가지 차원에서 **attention**을 계산한다. 1. Channel Attention : 무엇을 볼 것 인가 2. Spatial Attention : 어디를 볼 것 인가 - 해당 두 attention을 **순차적**으로 적용하여 **feature map**을 더 의미 있는 *특징*으로 변환한다. - 해당 attention module은 **가볍고**, **일반적인 구조**를 가진다. - 어떤 CNN에도 **쉽게 붙여** 사용 가능하다. - **추가 파라미터나 계산 비용**이 거의 없다. - 전체 네트워크와 함께 **end-to-end 학습**이 가능하다. # 1. Introduction - 기존의 논문들은 **3가지 측면**에서 성능을 개선했다. | 개선 요소 | 설명 | 대표 연구 | | ----------------- | --------------------- | --------------------- | | Depth | 더 많은 층을 쌓아 복잡한 특징 표현 | LeNet → VGG → ResNet | | Width | 병렬 구조 확장으로 표현, 다양성 증가 | GoogLeNet, WideResNet | | Cardinality (잡합성) | 여러 그룹의 특징을 병력 학습 | ResNext, Xception | - **CBAM**은 이러한 **기하학적 구조**가 아니라, 인지적 메커니즘인 **Attention**에 foucs 하였다. - 사람이 전체 장면이 아닌 중요한 부분을 보고 처리하는 것처럼 CNN도 **중요한 부분(feature)을 강조**하고 **덜 중요한 feature을 억제**하도록 만들어 학습을 진행하였다. ![[Convolutional Block Attention Module.png]] - CBAM은 CNN의 feature map을 받아서 **Channel 방향('무엇을 볼 지')과 Spatial 방향(어디를 볼지)로** 각각 attention을 계산하고 이를 **순차적으로 적용**한다. - CBAM는 여러 데이터 셋에서 좋은 성능을 보였다. - ImageNet-1K에서 분류 정확도 향상 - MS COCO / VOC 2007에서 객체 탐지 성능 향상 - Grad_CAM 시각화에서 모델이 더 정확히 목표 객체에 집중함 - User Study(사람 평가)에서 CBAM 모델이 더 **사람처럼 본다고 평가**했다 - 해당 연구에서는 **3개의 기여점**을 명시한다. - 간단하지만 효과적인(simple yet effective) **CBAM attetion 제안** - 광범위한 ablation 실험을 통해 **설계 선택의 타당성 점증** -> 여러 가지 조합으로 실험하면서 **특정 요소**가 **성능 향상**에 실제로 기여했는지 분석 - 여러 밴치마크(ImageNet, MS COCO, VOC etc.)에서 **일관된 성능 향상** # 2. Related Work ## Network engineering - well-designed networks는 Model의 performance 향상을 보장한다. - 기존의 CNN 모델들은 **Depth, Width, Cardinality**을 조정하면서 성능 향상을 이끌어냈다. - [[Deep Residual Learning for Image Recognition|Resnet]]은 **skip connection**을 통해 깊이를 증가 시켜 표현력을 강화했다. - **WideResNet**은 깊이 대신 너비를 증가 시켜 병렬 구조로 더 많은 feature 조합을 만들어 성능을 향상 시켰다. - **ResNeXt**는 **grouped convolution**을 사용해 **cardinality**라는 세 번째 축을 확립했다. - 하지만 **CBAM**은 human visual ststem 요소를 착안해 **attention**이라는 새로운 관점을 제시한다. ## Attention mechanism - 사람은 물체를 더욱 효과적으로 포착하기 위해 이미지를 한 번에 전체적으로 인식하는 것이 아니라, 선택적으로 **중요한 부분(salient part)에** 집중한다. - Attention 기반 CNN 연구는 이전에도 여러 개 존재했지만 한계점 또한 이 존재했다.. - Wang et al. (2017) : Encoder-Decoder 형식의 Attention / 계산 복잡도가 올라가고 구조가 복잡해졌다. - Hu et al. (2017) : Channel-wise Attention(SE-Net) / separate attention을 무시했다. - SE-Net은 **global average pooling**을 구해 **chanel attetion**을 학습했지만 CBAM는 여기에 **Max Pooling**을 더하여 더 풍부한 채널 정보를 학습한 후 **Spatial attetion**을 추가했다. - **BAM(Bottleneck Attention Module)은** attention을 channel과 spatial을 분리하여 학습한다는 점에서는 유사하지만 CBAM에 비해 구조 복잡도가 크고 네트워크의 bottleneck 부분에서만 삽입하여 **CBAM이 더 가볍고, 일반적인 Module로 설계**되었다. - 결론적으로 CBAM은 **모든 Convolutoin block에 삽입**이 가능하고 **순차형(channel → spatial)로** 적용되기 때문에 CNN 모델에 **plug-and-play형**으로 적용할 수 있다. # 3. Convolutionhal Block Attention Module - CBAM은 CNN의 중간 feature map F∈R^C×H×W을 입력으로 받아 두 단계의 attention을 순차적으로 적용한다. - ![[CBAM Formula.png]] - M_c​(F): Channel attention map (크기 C×1×1) - M_s(F′): Spatial attention map (크기 1×H×W) - ⊗: element-wise 곱 (attention을 곱해줌) - Channel attention을 거친 값이 F'이고 해당 F'을 통해 Spatial attention을 거친 최종 값이 F''이다. ## Channel attention module - Channel attention은 무엇을 볼지, 즉 **어떤 채널이 더 중요한지 학습**하는 module이다. ![[Channel Attention Module.png]] - 입력 feature map에 **F**에 대해 **average pooling**과 **max pooling**을 각각 수행해 공간 정보를 요약한다. - 두 pooling 결과를 **공유된(shared) MLP**에 통과시켜 채널별 중요도를 계산한다. - **MLP**는 2층으로 이루어진 fully-connected 네트워크이다. - **MLP**가 2층으로 이루어진 이유는 파라미터를 줄이기 위해 처음 Layer는 R^C/rx1x1로 차원을 r비율로 **줄이고(squeeze)** 그 이후에 차원을 복원하는 **excitation**을 진행한다. - ![[Channel Attention Formula.png]] - σ : **sigmod 함수** - F^cavg, F^cmax : 각각 Feature map에 대해서 average pooling과 max pooling을 거쳐 나온 값 - W₀, W₁ : 각각 MLP의 **squeeze**와 **excitation** ## Spatial attention module - Spatial attention은 어디를 볼지, 즉 **feature map 내 중요한 위치(좌표)를** 학습하는 module이다. ![[Spatial Attention Module.png]] - 채널 방향으로 average pooling과 max pooling을 각각 수행하여 채널을 축소한다. - 두 pooling 결과를 하나의 맵으로 연결(Concatenate)한다. F^savg, F^smax∈R^2×H×W - **7x7 convolution Filter**로 Spatial attention을 최종적으로 구한다. 7x7 커널을 사용하는 이유는 **넓은 수용 영역(receptive field)를** 확보해 더 정확한 위치를 포착하기 위함 - ![[Spatial Attention Formula.png]] - σ : **sigmod 함수** - F^savg, F^smax : 각각 Feature map에 대해서 average pooling과 max pooling을 거쳐 나온 값 - f^7x7 : 7x7 **convolution Filter** ## Arrangement of attention modules - 두 modules은 병렬적으로 수행 할 지와 순차적으로 수행 할 지가 중요하다. - 이는 여러 실험을 통해 **병렬적보다 순차적**으로 **Spatial보다 Channel를 먼저 수행**하는 것이 결과가 가장 좋게 나왔음을 알 수 있다. # 4. Experiments - 실험은 총 3단계로 4.1 Ablation Studies, 4.2 Image Classification(ImageNet-1K), 4.3~4.6 Object Detection + Visualization 이루어져 있다. - 4.1 Ablation Studies : 가장 효과적인 CBAM 구조 찾기 - 4.2 Image Classification(ImageNet-1K) : CBAM가 분류 정확도를 얼마나 높이는지 - 4.3~4.6 Object Detection + Visualization : CBAM가 얼마나 일반화가 되는가 ## 4.1 Ablation Studies - Ablation Studies을 위해 **ImageNet-1K** 데이터 셋과 **ResNet-50** Base Model을 사용하였다. - data 이미지 크기는 224x224로 잘라 사용하였다. - **learning rate는 0.1**로 사용하였고 epoch 30번마다 drop하였다. - **epoch는 총 90**으로 train 하였다. ### Channel attention ![[Comparison of different channel attention methods.png]] - ResNet50에 **Avg Pool만** 사용하는 방법(SE-Net 방식)은 이미지 전체의 **평균적 중요도**만 반영해서 부드럽지만 세밀한 구분은 어렵다. - ResNet50에 **MaxPool만** 사용하는 방법은 가장 **강한 특징(peak activatoin)에**만 집중하여 부분적으로는 강하지만 전체 맥락은 약하다. - ResNet50에 **Avg Pool + Max Pool**을 결합한 방식은 **전역**과 **지역** 특징을 모두 반영하여 Channel attention을 학습할 수 있다. ### Spatial attention ![[Comparison of different spatial attention methods.png]] - ResNet에 **Avg Pool + Max Pool**을 결합한 방식은 Channel attention 결론과 마찬가지로 더 많은 공간 정보를 반영하여 전반적인 성능이 향상된다. - 또한 sptial의 kernel size가 클 수록 **receptive field(수용 영역)이** 넓어져 더 넓은 **context(문맥)을** 볼 수 있다. - 결론적으로 Spatial attention은 **Avg Pool +Max Pool**에 **7x7 conv**이 일관된 성능 향상을 가져왔다. ### Arrangement of the channel and spatial attention ![[Combining methods of channel and spatial attention.png]] - ResNet에 병렬적으로 처리하는 것보다 **순차적으로 진행하는 것**이 순서 상관없이 더 좋은 결과를 보여주어었다. - 그리고 특히 **spatial**보다 **channel을 먼저 수행**하는 것이 그 반대보다 더 좋은 결과를 보여주었다. - Channel이 Spatial attention 보다 먼저 수행되는 이유는 **정보의 추상도와 흐름** 때문이다. - CNN feature map의 각 채널은 **특정 패턴을 탐지하는 필터**이다. - 채널 1 -> 고양이 귀 탐지 - 채널 2 -> 수직 예지 탐지 - 채널 3 -> 풀밭 질감 탐지 - 이 feature map에서 전체가 이나리 **중요한 채널**만 남기게 되면 **semantic하게 깨끗**해진다. 이게 바로 Channel attetion이다. - 이렇게 얻어진 featrue map에서 우리는 이제 **'어디에 중요한 특징이 있는가'를** 학습하는 것이 효율적이다. 이게 바로 Spatial attetion이다. - 쉽게 말해서 **뇌에서 무엇을 찾을지 인지**하고 **눈으로 해당 Object를 찾는** 과정이 이 과정에 해당 한다고 불 수있다. ## 4.2 Image Classification(ImageNet-1K) - CBAM을 다양한 CNN 아키텍처에 붙였을 때 더 좋은 성능을 낼 수 있을까? - 총 4가지 아키텍처에 **SE**과 **CBAM**을 붙여 성능을 비교했다. | 아키텍처 | 목적 | 설명 | | --------------------- | -------------------- | ------------------------ | | **ResNet-50 / 101** | 고성능 표준 모델 | Residual 구조 기반의 deep CNN | | **ResNeXt-50 / 101** | 집합성(cardinality) 실험용 | Grouped convolution 구조 | | **WideResNet-50-2** | 너비(width) 확장 구조 | 각 block의 채널 폭을 늘린 버전 | | **MobileNet (α=0.7)** | 경량 모델 | 효율성 실험용, 실시간 적용 가능성 평가 | - 결론적으로 **SE**을 붙인 아키텍쳐가 일반적인 아키텍처보다 성능이 좋고 **CBAM**을 붙인 아키텍처가 **SM**을 붙인 아키텍처보다 성능이 좋게 나타났다. ## 4.3~4.6 Object Detection + Visualization ### 4.3 Network Visualization with Grad-CAM - **Grad-CAM**을 통해 각 모델이 같은 이미지를 볼 때 **활성화(heatmap)가** 어디에 집중되는지 시각적으로 비교를 해봤다. ![[Grad-CAM visualization results.png]] - 해당 결과 CBAM이 단순히 성능을 향상 시킬 뿐 아니라 진짜 **주의(attention)을** 더 잘 학습하고 있는지 **시각적으로 확인**하였다. ### 4.5~4.6 Object Detection - CBAM이 classification 말고도 다른 비전 과제, 특히 Object Detection에도 **일관된 성능 향상**을 보였다. - 또한 경량 모델 기반의 **실시간 탐지기(SSD, StariNet)에서도** CBAM이 효과적이었다. - 이를 통해 CBAM은 전 영역에서 일관던 성능 향상과 해석력 향상을 보여줬다. - 즉, 어떠한 CNN에서도 쉽게 붙일 수 있는 **plug-and-play 모듈**임 입증했다. # 5. Conclusion - **CBAM**은 기존의 구조 변경 없어도 간단히 추가할 수 있는 **plug-and-play형** 모듈이다. - **CBAM**은 두 단계의 **attention(Channel Attention, Spatial Attention)** 으로 구성되고 이를 이용해 feature map을 *점진적으로 정제(refine)* 한다. - 기존 [[Squeeze-and-Excitation|SE(Squeeze-and-Excitation)]] Module은 *average pooling*만 사용했으나 CBAM는 **max pooling**을 추가적으로 사용하여, 더 정교한 attetion을 학습하였다. - 특히 **Spatial attentional** 즉 **'어디에 집중하는지'를** 학습하여 CNN이 **객체의 핵심 위치에 집중하도록 유도하였다. - 다양한 모델(ResNetm ResNeXt, MobileNet 등)과 데이터 셋에 적용했을 때 **더 높은 정확도**를 달성할 수 있었다. - ImageNet에서 **Top-1/Top-5 error 감소** - MS COCO/VOC에서 **객체 탐지 정확도(mAP)** 향상 # Code review 📚[코드 보러가기](https://github.com/kuangliu/pytorch-cifar/blob/master/models/resnet.py) - ResNet + CBAM을 구현해보고 SE-ResNet-50, ResNet-50 Model과 성능을 비교해보았다. - DateSet은 **CIFAR10**을 사용했다. ## 학습 데이터 및 증강 1. Random-size cropping : padding을 4로 하여 크기를 키우고 랜덤으로 이미지를 잘랐다. 2. Random horizontal flipping 사용 3. Input normalization : 평균 채널값을 빼서 정규화 4. Train Data를 8:2로 나눠서 학습할 때는 Train set을 사용하고 학습 중간중간 Valldation set을 사용하여 top-1 error를 측정하였다. ## 학습 인프라 - 그래픽 카드 : 4080 Super - Mixed Percision 사용 ## 최적화 설정 - Optimizer : SGD 사용, Momentum 0.9 - Batch size : 512 - 크로스 엔트로피 손실 함수 사용 - 초기 학습률 : 0.001 - Learning rate schedule : 5 epochs마다 성능 향상이 없으면 x0.2, 최소 1e-6 | | Loss | Error | 총 학습 시간 | | ------------- | ------ | ------ | ---------- | | ResNet-50 | 0.3488 | 20.20% | 108m 57.1s | | SE-ResNet-50 | 0.2512 | 17.53% | 128m 38.5s | | ResNet + CBAM | 0.2599 | 17.81% | 172m 25.6s | ![[Pasted image 20251031154000.png]]