Do Adversarially Robust ImageNet Models Transfer Better?

논문 링크

 

 

 

 

 

Do Adversarially Robust ImageNet Models Transfer Better?

Hadi Salman, Andrew Ilyas, Logan Engstrom, Ashish Kapoor, Aleksander Madry

NeurIPS 2020

---

 

 

transfer learning을 다룬 논문이다.

 

transfer learning에는 feature 를 추출하는 백본과 같은 파트는 고정하여 학습할 수도 있다.

 

데이터의 양이 많다면 고정된 부분 없이 전체를 모두 학습할 수도 있다.

 

이를 각각 Fixed-Feature Transfer Learning, Full-Network Fine Tuning 이라고 한다.

 

 

 

 

Transfer learning은 pre-trained model의 성능이 좋을수록, 최종 결과의 성능이 좋다.

 

하지만 이 논문에서 제기하는 의문은 pre-trained model의 accuracy가 높을수록 transfer learning의 효과가 큰 것이 맞을까? 이다.

 

pre-trained model의 accuracy보다 pre-trained model의 feature extractor 의 품질이 중요하다고 한다.

 

feature extractor 의 품질을 높이는 여러 방법이 있고, 이 논문은 adversarial robustness 를 증가의 중요성도 언급하고 있다.

 

 

 

 

adversarial robustness 하다는 것은 adversarial attack에 영향받지 않는 것을 의미한다.

 

adversarial attack은 훈련이 잘 된 모델의 입력 데이터에 우리가 눈치채지 못할 정도의 작은 노이즈를 주었을 때 올바르지 않은 결과를 내도록 하는 것이다.

 

즉 adversarial robustness는 미세한 변화에 강인하다는 것이다.

 

아래의 사진을 보면 쉽게 이해할 수 있다.

 

 

 

아래 사진을 통해서는 adversarial robustness 가 큰 경우에 feature map이 시각적인 정보를 더 많이 가지는 것을 알 수 있다.

 

 

 

 

하지만 이 논문 이전의 논문들에서는, adversarial robustness 가 증가하면 transfer learning 성능이 안좋다고 주장한다.

 

하지만 이 논문에서는 adversarial robustness 가 증가하면 feature extractor의 품질이 좋아지면서 transfer learning 이 잘된다고 주장하며 실험 결과를 보여준다.

 

이 실험을 Fixed-Feature Transfer Learning, Full-Network Fine Tuning 에서 모두 진행하였다.

 

 

 

 

아래의 표를 통해 파라미터 고정을 했을 때와 안했을 때 모두 Robust한 쪽이 더 transfer learning 성능이 좋은 것을 확인할 수 있다.

 

다양한 데이터셋에서 실험하였고

 

 

 

 

이를 다양한 모델에서 다양한 데이터셋을 실험한 결과는 아래 그래프와 같다.

 

대체적으로 robust한 쪽의 성능이 좋았고, 아래 그래프는 feature를 고정했을 경우지만 고정하지 않았을 경우도 비슷한 결과를 보였다.

 

 

 

 

Classification 뿐만 아니라 다른 task에서도 같은 양상을 보였다.

 

 

 

 

 

결국 이 논문의 한 줄 요약은

 

Adversarial Robust Model을 쓰면 Transfer Learning 성능이 좋아진다는 것이다.

 

 

 

 

---

참고 링크

 

hoya012.github.io/blog/Do-Adversarially-Robust-ImageNet-Models-Transfer-Better/

Do Adversarially Robust ImageNet Models Transfer Better? 리뷰

jayeon8282.tistory.com/11?category=954898

[논문 리뷰] Do Adversarially Robust ImageNet Models Transfer Better?