📚[논문 보러가기](https://arxiv.org/abs/1512.03385) 📚[코드 보러가기](https://github.com/kuangliu/pytorch-cifar/blob/master/models/resnet.py) # 사전 조사 ## Deep Residual Learning - **Deep Residual Learning** 또는 **Residual Networks(ResNets)** 은 깊은 신경망을 훈련하기 위한 혁신적인 방법론을 말한다. - 핵심 아이디어는 **잔차(residual) 연결**을 도입하여 층을 깊게 쌓을 때 발생하는 **기울기 소실(vanishing gradients)** 문제를 해결하는 것이다. ## 왜 필요한 가 - 신경망의 성능을 높이기 위해 층을 깊게 쌓는 것이 일반적이지만, 층이 깊어질수록 학습이 어려워진다. - **기울기 소실 (Vanishing Gradients)** : 역전파 과정에서 기울기가 0에 수렴하여 앞쪽 층의 가중치가 거의 업데이트 되지 않는 현상. - **성능 저하 (Degradation)** : 층이 깊게 쌓을수록 오히려 훈련 정확도가 낮아지는 현상. 이는 과적합 때문이 아니라, 최적화가 더 어려워져 발생한다. ### 기울기 소실은 왜 일어나는가 - 기울기 소실 현상은 주로 **Sigmoid**나 **tanh** 계열의 활성화 함수를 쓸 때 나타나는 현상이다. - **Sigmoid** 특성의 함수는 네트워크 층이 깊어질 수록 출력값이 양극단 (0 또는 1)으로 가게 되는 성향이 있고 이러한 성향 때문에 입력값의 차이가 미미해지는 경향이 있다.![[sigmoid.jpg]] - 또한 오차로부터 시작된 역전파의 **gradient**가 초기층으로 내려갈 수록 체인룰에 의해 곱해져야 할 항들이 많이지게 되어 초기층에 가까운 가중치들의 **기울기가 거의 0에 가까워지는 현상**이 발생하게 된다. ## 잔차 연결 (Residual Connection) - ResNet은 이 문제를 해결하기 위해 **잔차 블록(residual block)** 이라는 구조를 제안한다. 잔차 블록은 다음과 같은 특징을 가진다. 1. **Skip Connection (지름길 연결)** : 입력(x)을 블록의 출력에 직접 더해주는 **지름길 연결**을 만듭니다. 2. **잔차 함수 (Residual Function)** : 블록 내의 여러 층을 통과한 출력 F(x)는 **잔차 함수**를 나타낸다. 3. **최종 출력** : 블록의 최종 출력은 $H(x) = F(x) + x$이다. - 여기서 **F(x)** 는 `입력 x와 출력 H(x)의 차이`인 **잔차**를 학습한다. 즉, 네트워크는 H(x)를 직접 학습하는 대신, $F(x) = H(x) - x$를 학습한다. - 만약 깊은 층이 필요 없는 경우, 네트워크는 $F(x) = 0$을 쉽게 학습하여 **항등 함수**를 만들 수 있다. 즉, $H(x) = x$가 되어 입력이 그대로 전달된다. 이는 층을 추가하더라도 **성능이 최소한 저하되지 않도록 보장하는 효과를 가져온다.** ## 잔차 네트워크 학습 방법 - **하나의 블록**을 설정한다. 이 블록 안에는 여러 층의 노드들이 존재한다. - 이 블록 전체가 $F(x)$를 출력하도록 훈련 시킨다. 블록 내의 모든 노드들은 서로 협력하여(가중치와 편향을 조정하여) 목표하는 $F(x)$를 만들어냅니다. - 이는 블록의 입력인 x와 더해져 최종 출력(H(x))이 됩니다. ## ResNet의 의의 - ResNet은 이미지 인식 분야에서 획기적인 성능 향상을 가져왔으며, 2015년 ImageNet 대회에서 우승을 차지했고 이후 다앙한 딥러닝 모델의 기본 구조로 활용되고 있다. ## 내가 이해한 내용 (나의 문장) - 보통 이전의 신경망 학습 방법은 $x$을 넣어 $H(x)$를 구하기 위해 여러 가중치를 변경하여 오차를 줄이는 방식이다. 하지만 이러한 방식은 층이 깊어질 수록 **기울기 소실**, **성능 저하 (Degradation)** 가 일어난다. - **ResNet**은 이를 해결하기 위해 정답 $H(x)$ 대신 잔차 $F(x)$를 학습하여 정답에 다가갈 수 있도록 만드는 방법이다. 다시 말해, $H(x)$와 $F(x) + x$ 사이의 **error**를 계산하고 error 최소화 하기 위해 가중치를 조정한다. - **ResNet**은 $F(x) = 0$ 즉, 0을 학습하는 난이도가 쉽다. 지금까지 계속해서 **기존의 Plain Network**는 *아무것도 하지 않는 얕은 층* 을 만드는 것이 너무 어려웠다. 왜냐하면 수 많은 가중치를 계속 바꾸면서 0을 만들어야 하기 때문이다. 하지만 **ResNet**은 *F(x) = 0*을 넣으면 되기 때문에 기존 방식에 비해 매우 쉽다. - *아무것도 하지 않는 얕은 층*을 추가한다고 당연히 성능이 좋아지지는 않는다. 하지만 이러한 이 층은 **성능저하**를 막을 수 있다. 원래 깊이가 깊어질 수록 가중치가 다양해짐에 따라 성능이 당연히 증가되는데, 기존의 성능저하를 해결했기 때문에 결과적으로 당연히 성능이 증가할 수 밖에 없다는 것이다. ### 기존 신경망의 학습 vs. 잔차 네트워크의 학습 | 구분 | 기존 신경망 (Plain Network) | 잔차 네트워크 (Residual Network) | | ---------- | ---------------------------------------- | -------------------------------------------------------------------- | | **목표 함수** | **H(x)** 를 학습 | **F(x)** 를 학습 | | **학습 과정** | 입력 $x$를 최종 출력 $H(x)$로 직접 변환하기 위해 가중치를 조절 | **이미 존재하는 입력값($x$)에 '필요한 수정'($F(x)$)만을 학습**하여 깊은 신경망을 효율적이고 안정적으로 훈련 | | **가중치 조정** | $H(x)$가 정답($x$)과 일치하도록 가중치를 조절 | $H(x)=F(x)+x$ 에 **가깝도록** 가중치를 조절 | # Abstract - 이전의 Deep neural networks는 학습하는게 어려웠지만, **residual learning framework**을 사용하면 보다 쉽게 학습시킬 수 있다. - **ImageNet dataset**에서 **VGG nets**보다 8배 더 깊은 **152 Layer Depth**로 만들어진 residual nets을 이용해 `3.57%`의 error을 얻어낼 수 있었다. 이를 통해 **ILSVRC 2015 classfication task**에서 1등을 차지했다. - **깊이에 대한 표현**은 **visual recognition tasks**에 매우 중요한 역할을 맡는데 **Deep Residual Nets**은 네트워크가 깊어짐에 있어 일어나는 문제들을 효과적으로 해결했다. # 1. Introduction - 최근(2015년 기준) 시각 인식 작업 및 이미지 분류 데이터에 대한 주요 결과를 봤을 때 **네트워크 깊이가 깊을 수록** 뛰어난 성능을 보여줬다. 하지만 깊이가 깊어질 수록 학습하기 더 어려워지는 문제가 발생한다. - Network가 깊어질 수록 **vansihing/exploding gradients** 문제가 발생한다. 이러한 문제는 두 가지 기술로 해결되었다. - **Normalized Initialization(초기값을 잘 설정하기)** : 신경망 가중치를 무작위가 아닌 **좋은 초기값**을 잘 찾아주는 방식 - **Intermediate Normalization Layers(중간중간 데이터를 정규화하기)** : 신경망의 층 사이에 **정규화 층(Normalization Layer)** 을 추가하는 방법이다. 이는 데이터의 크기나 분포가 너무 커지거나 작아지지 않도록 중간에 안정적으로 맞춰주는 역할을 한다. 대표적인 예시가 (`Batch Normalization`) - 이 두 가지 기술로 확률적 경사 하강법(**Stochastic gradient descent(SGD)**)이라는 학습 방법으로 오차를 줄여가며 학습(**converge**)을 시작할 수 있게 되었다. / (converge : **오차(loss)가 점점 줄어들고 안정되는 상태**를 의미) - 하지만 이러한 방식들은 깊이가 길어질 때 생기는 **기울기 소실 문제**는 해결했지만 **성능 저하 문제**는 해결하지 못했다. 성능 저하 문제는 **과적합** 때문에 발생하는 것이 아니라 **최적화를 하지 못해** 발생하는 것이다. CIFAR-10에서 Layer가 20층인 model과 56층인 model을 비교했을 때, **Training Error**와 **Test Error** 모두 Layer가 20층 보다 56층인 Model에서 더 높게 나왔다. ![[Error with 20-layer and 56-layer.png]] - 이론적으로는 깊은 모델이 얕은 모델보다 성능이 나쁠 이유가 없다. 왜냐하면 깊은 모델에 아무 기능도 하지 않는 얕은 층을 추가한다고 성능이 나빠진다는 논리와 같기 때문이다. 하지만 실험적 결과에서 봤듯이 아무것도 하지 않는 신경망을 만들어내지 못하고 오히려 기존 **성능을 저하(Degradation)** 시키는 현상이 나타났다. - 이러한 문제를 해결하기 위해 **deep residual learning framework**를 사용한다. deep residual learning framework은 **Underly mapping** 대신 **Residual Mapping**을 구한다. - **Underly mapping** : 기존 신경망이 학습하려는 최종적인 함수 $H(x)$ - **Residual Mapping** : 잔차 네트워크가 학습하려는 변화량 함수 $F(x)$, 최종 출력은 $H(x) = F(x) + x$ - *Residual Mapping*을 사용하면 아까 전에 말했던 '아무 기능도 하지 않는 얕은 층'을 $F(x) = 0$을 통해 쉽게 만들 수도 있다. (정확히는 이를 하도록 유도하는 거임, 기존 *Underly mapping* 보다 쉬움) - **deep residual learning framework**에서는 **shortcut connections**이 존재한다. 이전 값을 다른 층들을 거치지 않고 그 다음 층 또는 더 많은 층들을 뛰어 넘어 해당 값을 전달한다. 이를 통해 여러 Layer들을 거쳐 얻어간 $F(x)$와 *shortcut connections*을 통해 넘어간 $x$값을 더 해 $H(x) = F(x) + x$이 완성된다. 이러한 *shortcut connections*을 **Identity mapping**이라고도 불린다. ![[Residual Learning ShortCut.png]] - 이러한 **ResNets**은 기존 방식(**plain nets**)보다 더 최적화 하기 쉽고 정확도가 높았다. 또한 이 방식은 *vision* 뿐만 아니라 *non-vision problem*도 해결 가능한 **일반적으로 적용 가능한 방식**이다. # 2. Related Work ## Residual Representations - **기존 방식**(원본 데이터 사용)은 **이미지 전체(모든 픽셀 값)를 그대로 사용하여 표현하는 방식**이라 데이터가 너무 방대하고 비효율적이다. - **잔차 방식(잔차 표현)** 은 **사전(dictionary)** 이라는 것을 만든다. 여기서 사전은 특정 이미지에 대한 몇 가지 대표적인 형태를 미리 저장해둔 일종의 **탬플릿 모음**이다. 이러한 사전을 이용해 특정 이미지가 들어오면 해당 이미지랑 사전이랑 얼마나 다른지만 기록한다. 즉, **원본과 탬플릿의 차이(전차(residual))만 기록한다.** - **VLAD**와 **Fisher Vector**는 해당 **잔차**를 이용해 이미지를 표현하는 대표적인 기술이다. 해당 기술들은 딥러닝 등장 전, 이미지 검색이나 분류 분야에서 매우 강력한 성능을 보여준 **얕은 표현(Shallow representations)** 방식이다. - **VLAD** : 주어진 이미지의 특징들을 사전의 템플릿과 비교하여 그 **잔차 벡터**들을 모아서 하나의 벡터로 만드는 방식이다. - **Fisher Vector** : VLAD를 확률적으로 더 정교하게 발전시킨 방식이다. - 컴퓨터 비전과 그래픽스 분야에도 *전차*를 활용해 문제해결 하는 방법들이 오래전부터 존재했다. 즉 **복잡한 문제를 풀 때, 문제 전체를 한 번에 해결하는 것보다 '여러 단계에 걸쳐 필요한 변화량(잔차)'만 해결하는 것이 훨씬 더 효율적인 것**이다. - 잔차 방식(Multigrid / 계층적 기저 방법)은 거친 단계와 세밀한 단계를 거쳐 그림을 그린다. - **1단계 (Coarser scale, 거친 단계)**: 먼저 아주 거칠고 간단한 스케치를 빠르게 그린다. - **2단계 (Finer scale, 세밀한 단계)**: 이제 이 거친 스케치 위에 세밀한 부분들을 추가한다. 이때, **'거친 스케치와 최종 완성본 사이의 차이', 즉 '잔차'** 만을 채워 넣는 작업에 집중한다. ## Shortcut Connections - **Shortcut Connection**도 *ResNet*의 독창적인 아이디어가 아니라 수십 년부터 있었던 아이디어다. - **초기 MLP (다층 퍼셉트론)** : 네트워크의 입력값과 출력값을 선형적으로 연결하여, 학습을 더 안정적으로 만들었다. - **보조 분류기 (Auxiliary Classifiers)**: 중간 층에 추가적인 분류기를 연결해, 깊은 네트워크의 학습을 방해하는 **기울기 소실 문제**를 해결하려 했다. - **인셉션 레이어 (Inception Layer)**: 인셉션 구조에도 지름길 역할을 하는 브랜치가 포함되어 있습니다 - 하지만 이러한 기술들은 아주 깊은 네트워크를 효과적으로 훈련하는데에는 **한계**가 있었다. - **하이웨이 네트워크** 또한 **게이트**라는 장치를 통해 **정보의 흐름을 조절**하는데 이 기능은 100층 이상 깊어지면 오히려 학습이 제대로 되지 않는 문제가 발생했다. 하지만 반대로 **ResNet**은 게이트 없이 **'항상 열려 있는 Identity Mapping'** 을 통해 아무리 층을 깊게 쌓아도 학습이 원활하게 진행되었다. # 3. Deep Residual Learning ## 3.1 Residual Learning - 기존의 신경망에서 최종적으로 구하려는 값을 $H(x)$라 하고 Resnet에서 구하려는 값을 $H(x) -x$라 가정하자. 이 과정에서 잔차함수를 $F(x) = H(x) - x$라고 정의하면 **Original Function(최종적인 값)** 은 $H(x) = F(x) + x$라 할 수 있다. - 이러한 변화는 학습성 용이성(ease of learning)이 다르다. 다시 말해, **'필요한 변화량'을 학습하는 것이 '복잡한 함수 전체를 학습하는 것'보다 훨씬 쉬운 문제**로 바뀐다. - *Introduction*에서 말했듯이 깊이가 더 깊은 신경망이 얕은 신경망보다 error가 더 높은 것은 말이 안된다. 이러한 문제가 일어나는 이유는 기존 신경망 방식은 이 **Identtiy mapping**을 만드는데, 어려움을 느낀다는 것이다. - 여기서 **ResNet**의 핵심적인 원래가 처음 $x$ 값을 그대로 사용하여 학습 목표를 $F(x) = H(x) - x$로 바꾸는 것이다.(만약 결과가 항등값이여야 한다면 $H(x) = x$이기 때문에 $F(x) = 0$이다.) 이렇게 하면 정답과 매우 유사한 값(항등 함수)에서 시작해서 **작은 변화량(전차)** 만 찾으면 되기 때문에 압도적으로 쉬운 문제가 된다. ## 3.2 Identity Mapping by Shortcuts - 잔차 블럭의 핵심 공식은 $y = F(x, {W_i}) + x$이다. - *F* 안의 $x$ : 블록에 들어가는 입력 값 - $y$ : 블록에서 나오는 최종 출력 값 - $F(x, {W_i})$ : 블록 내에 있는 여러 층이 학습하는 **변화량**이다. ${W_i}$는 이 층들의 가중치를 의미한다. - $+x$ : **shortcut connection**을 통해 입력한 $x$값 그대로 더해지는 부분이다. - **이 공식은 출력은 입력값에 '학습된 변화량'을 더한 것과 같다.** 라는 뜻이다. - 실용적인 설계 원칙 1. *shortcut connection*의 비용은 거의 들지 않는다. - 단순한 더하기 연산만 추가된 것이기 때문에 복잡한 연산이 필요없다. 2. 입력 값과 출력 값의 차원을 맞춰야 한다. - 입력($x$)과 출력($F$)이 다를 경우 이 둘을 더할 수 없기 때문에 **크기 조절 메트릭스($W_s$)** 를 사용하여 $x$의 크기를 맞춰주어야 한다. 3. $F(x)$는 여러 층으로 구성되어야 한다. - $F(x)$가 단 한 개의 층으로만 구성될 경우 **ResNet**의 성능 향상이 제대로 나타나지 않기 때문에 $F(x)$/잔차 블록은 보통 두세 개의 층으로 구성된다. 4. **CNN**에도 적용 가능하다. - CNN에도 그대로 적용 가능하고 픽셀 대신 **특징 맵(feature map)** 단위로 *shortcut connection*을 연결하고 더하는 연산을 수행한다. ## 3.3 Network Architectures - **일반 신경망(Plain Network)와 잔차 신경망(Residual Network)** 의 차이를 보기 위해 전체적인 구조와 층의 깊이 계산량은 거의 동일하게 만들고 **shortcut connections** 유무 만을 차이로 두고 공정하게 성능을 비교하도록 설계해보자. - **Plain Network**은 유명 모델 **VGG 모델**의 철학을 따라 단순한 규칙으로 설계하였다. (34층의 Layer) - 규칙 1 : 같은 크기의 이미지 특징맵(feature map)에서는 **Filter의 수를 동일하게 유지**한다. - 규칙 2 : 특징맵 크기가 절반으로 줄어들 때, **Filter 수는 두 배**로 늘려 연산량을 일정하게 유지한다. - **Residual Network**은 *Plain Network*을 기반으로, 그 위에 **shortcut connections**만 추가하여 만들었다. - 규칙 1 : 입력과 출력 크기가 같을 때, 입력 값을 그대로 출력해 더해주는 **identity mapping**을 사용했다. - 규칙 2 : 입력과 출력 크기가 다를 때, 이럴 때는 전에 말한 거처럼 그냥 더할 수는 없다. 이를 해결하기 위해 2가지 옵션을 사용했다. - 옵션 A (매개변수 없음) : **zero-padding**을 통해 크기를 맞춘다. 이 방식은 추가적인 학습 매개변수가 필요 없다. - 옵션 B (매개변수 있음) : **1x1 합성곱(convolution)** 을 사용해 입력 값의 크기를 출력에 맞게 변환한다. 이 방법은 추가 매개변수가 필요하지만 더 좋은 성능을 보일 수도 있다. ## 3.4 Implementation - ResNet 모델을 학습시키기 위한 데이터 훈련 방법 - **이미지 데이터 전처리** - **크기 조절** : 이미지의 짧은 쪽을 256에서 480 pexel 사이의 값을 무작위로 조절 - **자르기** : 224 x 224 크기의 영역을 이미지에서 무작위로 잘라내고 좌우로 뒤집음 - **평균값 제거** : 각 픽셀 값에서 전체 이미지의 평균값을 빼는 작업을 진행 ( 데이터가 0을 중심으로 위치하면 가중치 방향이 더 안정적으로 변하게 끔 한다.) - **색상 증강** : 색상을 무작위로 변경하여 모델이 다양한 환경에 강해지도록 함. - **모델 설정** - **배치 정규화(BN)** : 각 합성곱 연산 직후, 활성화 함수 이전에 배치 정규화 층을 배치함 - **가중치 초기화** : 특별한 초기화 방법(**He Initialization**) 사용 - **최적화** : *SGD*를 사용해 한 번에 256개의 이미지를 처리함 - **학습 규칙** - **학습률** : 0.1에서 시작해, 모델의 오차가 더 이상 줄어들지 않을 때마다 10으로 나누어 값을 줄었다. - **훈련 횟수** : 총 60만 번의 반복을 수행함. - **규제** : 과적합을 막기 위해 **가중치 감쇠(weight decay)**와 **모멘텀(momentum)** 을 사용함 - **드롯아웃 미사용** : **드롭아웃(dropout)** 을 사용하지 않았음 # 4. Experiments ## 4.1 ImageNet Classification - ImageNet에서 *Plain Networks*의 결과를 봤을 때 18 Layer보다 34 Layer일 때 오히려 **validation error**가 더 높게 나왔다. 반면 *ResNet*은 층이 높아졌을 때 error가 더 적게 나온 걸을 확인 할 수 있다. ![[Top-1 error on ImageNet validation.png]] - 이러한 최적화의 어려움(성능 저하)은 **기울기 손실**에 의해 유발된 것이 아니라 **매우 느린 학습 속도(매우 낮은 수렴속도)** 때문일 가능성이 높다. - 그 이유는 저자들은 이미 **배치 정규화(BN)** 을 사용했는데, 이는 기울기 손실 문제를 해결할 수 있는 방법이고 실제로 실험을 통해 모델의 학습 신호(기울기)가 잘 전달됨을 확인했다. - 또한 기울기가 완전히 손실되었다면 학습이 거의 불가능 했을 텐데, 성능이 저하되었긴 했지만 **괜찮은 정확도**를 보이긴 했다. - ImageNet에서 **Residual Networks**의 결과를 보면 3가지의 결과를 얻을 수 있었다. 1. **성능 저하 문제 해결** : 34 Layer의 *Residual Networks*가 18 Layer의 *Residual Networks* 보다 정확도가 더 높게 나와 깊이가 깊어질 수록 성능이 떨어지는 **성능 저하(degradation)** 을 해결한 것을 볼 수 있다. 2. **잔차 학습의 효과 증명** : 같은 Layer를 이루는 *Plain Networks*와 비교해 봤을 때 *Residual Networks*가 더 성능이 높게 나왔기 때문에 **잔차 학습이 효과**가 있음을 알 수 있다. 3. **빠른 수렴 속도** : 18 Layer 모델에서는 두 Networks는 최종 성능이 비슷하게 나왔지만, **ResNet**이 이 성능에 훨씬 더 빠르게 수렴했다. - **Residual Networks**에서 여러 지름길을 사용하며 어떤 것이 더 효과적인지 확인해보았다. - **옵션 A** : 크기(dimension)가 같을 때 매개 변수가 없는 **identity** 지름길 사용하고 크기가 커질 때 **zero padding** 사용 - **옵선 B** : 크기가 같을 때 **identity** 지름길 사용하고 크기가 커질 때 **변환(projection)** 지름길(1x1 합성곱) 사용 - **옵선 C** : 모든 지름길에 **변환(projection)** 지름길 사용 - A->B->C로 가면서 매개변수가 증가하고 성능도 증가했다. 하지만 이러한 성능 증가는 미미하고 **매개변수가 추가되는 복잡한 지름길**은 굳이 필요 없다. 이는 옵션 A라도 충분히 좋은 성능이 나오고 메모리와 연산량을 아낄 수도 있기 때문이다. - 기존의 2개 층 블록 대신, 저자들은 훈련 시간과 비용을 줄이기 위해 **병목 구조(Bottlneck Architecture)** 을 만들었다. - **구조** : **1x1 합성곱 층 -> 3x3 합성곱 층 -> 1x1 합성곱 층**으로 구성된 3개 층을 쌓아 잔차 함수($F$)를 만든다. ![[Bottleneck Architecture.png]] - **원리** : 첫 번째 1x1 층이 채널(*channel*) 수를 **줄여서**, 3x3 층이 적은 수의 채널로 효율적으로 연산을 수행하고 마지막 1x1층은 다시 채널 수를 **복원**하여 원래대로 되돌린다. - **효과** : 연산량이 많은 3x3 층의 계산을 효율적으로 만들어 전체 블록의 **연산 속도와 효율성**을 크게 높인다. 이게 가능했던 이유는 **변환(projection)** 지름길을 사용한게 아니라 **identity** 지름길을 사용해 추가 매개변수가 없이 연산량을 유지했기 때문이다. - 이 병목 구조를 사용해 50 Layer, 101 Layer, 152 Layer을 만들었고 해당 구조로 **낮은 복잡도, 성능 향상**을 이루어낼 수 있었다. ## 4.2 COFAR-10 and Analysis - 해당 데이터를 통해 각 **잔차($F$)의 크기**를 분석했다. ResNet의 잔차는 일반 신경망의 출력보다 전반적으로 작았고 네트워크가 **더 깊어질 수록 개별 층의 잔차 크기가 더 작아지는** 경향을 보였다. 이는 깊은 네트워크의 각 층이 신호를 더 미세하게 조정한다는 의미이다. - **110개의 Layer(ResNet-110)**와 **1202개의 Layer(ResNet-1202)** 의 ResNet 모델을 만들었고 특히 *ResNet-110*의 경우는 모든 모델과 비교했을 때 **최고 수준의 정확도**를 달성했다. 다만 *ResNet-1202*의 경우는 0.1% 미만으로 떨어졌지만 *ResNet-110*보단 떨어졌는데 이 이유는 **과적합(Overfiting)** 때문이다. 이를 통해서 *ResNet*이 최적화 문제를 해결했지만, 여전히 모델 크기와 **데이터셋 간의 균형이 중요**하다는 것을 보여준다. ## 4.3 Object Detection on PASCAL and MS COCO - **사물 탐지(Object Detection)** 과제에서도 ResNet을 적용했는데 **COCO**에서 **6.0%의 정확도 향상**을 이루어냈고, 이는 28%의 상대적 성능 향상에 해당하는 놀라운 결과이다. - 이 결과는 ResNet이 단순히 이미지 분류 뿐 아니라, 사물 탐지 같은 **다른 복잡한 문제에도 매우 효과적이라는 것**을 증명한다. # Code review