취미가 좋다

논문 링크 Do Adversarially Robust ImageNet Models Transfer Better? Hadi Salman, Andrew Ilyas, Logan Engstrom, Ashish Kapoor, Aleksander Madry NeurIPS 2020 transfer learning을 다룬 논문이다. transfer learning에는 feature 를 추출하는 백본과 같은 파트는 고정하여 학습할 수도 있다. 데이터의 양이 많다면 고정된 부분 없이 전체를 모두 학습할 수도 있다. 이를 각각 Fixed-Feature Transfer Learning, Full-Network Fine Tuning 이라고 한다. Transfer learning은 pre-trained model의 성능이 좋을수..

논문 링크 Bidirectional Learning for Domain Adaptation of Semantic Segmentation Yunsheng Li, Lu Yuan, Nuno Vasconcelos CVPR 2019 CyCADA 와 같이 2 step으로 이루어진다. 먼저 source domain의 이미지를 target domain으로 shift한다. 그 다음 shift 된 source image로 segmentation 모델을 학습한다. 비슷한 구성의 모델들은 image translator 의 성능이 좋지 않으면, segmentation 성능이 나쁘다는 단점이 있다. 이 논문은 이 단점을 해결하는 방법을 제시한다. 두 step 을 closed loop로 만들어서 상호 보완하여 단점을 보완한다. 두..

논문 링크 CyCADA: Cycle-Consistent Adversarial Domain Adaptation Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A. Efros, Trevor Darrell 이전 ADDA 에서 Cycle GAN을 추가한 논문이다. G(S→T) 는 source image로부터 Target image를 만드는 generator이고, G(T→S)는 target image로부터 source image를 만드는 generator이다. Generator가 2개이므로, 입출력을 구별하는 Discrimitor도 2개이다. G(S→T)와 G(T→S)를 이어서 적용하여 나온 결과 값과 ..

논문 링크 Adversarial Discriminative Domain Adaptation Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell 위의 순서가 논문에서 주장하는 ADDA 방식이다. 여기서 잡은 task는 글자를 인식하는 classifier이다. 점선으로 표현한 것은 파라미터를 학습하지 않는다는 의미이다. 첫 번째 단계는, 평소 하던대로 source dataset으로 source CNN과 classifier를 Pre-training 시킨다. 두 번째 단계는, source 이미지를 source CNN에 통과시킨 feature map과 target 이미지를 target CNN에 통과시킨 feature map을 discriminator가 구별하는 구조이다..

논문 링크 Unsupervised Domain Adaptation by Backpropagation Yaroslav Ganin, Victor Lempitsky 모델을 학습할 때, 학습 데이터에만 성능이 좋고 학습 데이터와 도메인 차이가 있는 데이터에서는 성능이 나쁠 때가 많다. 이러한 source(학습) 데이터의 도메인과 target 데이터의 도메인 차이를 줄여서 target domain에 대한 성능을 높이고자 할 때 필요한 것이 Domain Adaptation이다. 이 논문에서 제안하는 방식은 target 도메인 데이터의 라벨이 없어도 가능하다. 또한 end-to-end 방식으로 학습이 진행된다. backpropagation의 방식만 조금 수정하여 어렵지 않은 내용이다. 위의 그림은 논문에서 제안하는 ..

논문 링크 Fast and Accurate Model Scaling Facebook Research 2021 CVPR Abstract 이 논문은 CNN scaling 방법에 대해 분석한다. 대표적인 scaling 방법에는 model의 width, depth, resolution 을 증가시키는 방법들이 있다. 하지만 이렇게 다양한 scaling 방법은 있지만, 그들 간의 tradeoff에 대한 내용은 별로 없다. 기존의 전형적인 분석은 accuracy와 FLOPS의 관계를 본다. 우리가 증명하기로는, 여러 scaling 방법들은 모델의 파라미터 수, activations, runtime 에 다 다르게 영향을 미친다. 우리의 실험은 여러 scaling 방법이, accuracy는 비슷하지만 다양한 proper..