취미가 좋다

논문 링크 Adversarial Discriminative Domain Adaptation Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell 위의 순서가 논문에서 주장하는 ADDA 방식이다. 여기서 잡은 task는 글자를 인식하는 classifier이다. 점선으로 표현한 것은 파라미터를 학습하지 않는다는 의미이다. 첫 번째 단계는, 평소 하던대로 source dataset으로 source CNN과 classifier를 Pre-training 시킨다. 두 번째 단계는, source 이미지를 source CNN에 통과시킨 feature map과 target 이미지를 target CNN에 통과시킨 feature map을 discriminator가 구별하는 구조이다..

논문 링크 Unsupervised Domain Adaptation by Backpropagation Yaroslav Ganin, Victor Lempitsky 모델을 학습할 때, 학습 데이터에만 성능이 좋고 학습 데이터와 도메인 차이가 있는 데이터에서는 성능이 나쁠 때가 많다. 이러한 source(학습) 데이터의 도메인과 target 데이터의 도메인 차이를 줄여서 target domain에 대한 성능을 높이고자 할 때 필요한 것이 Domain Adaptation이다. 이 논문에서 제안하는 방식은 target 도메인 데이터의 라벨이 없어도 가능하다. 또한 end-to-end 방식으로 학습이 진행된다. backpropagation의 방식만 조금 수정하여 어렵지 않은 내용이다. 위의 그림은 논문에서 제안하는 ..

논문 링크 Fast and Accurate Model Scaling Facebook Research 2021 CVPR Abstract 이 논문은 CNN scaling 방법에 대해 분석한다. 대표적인 scaling 방법에는 model의 width, depth, resolution 을 증가시키는 방법들이 있다. 하지만 이렇게 다양한 scaling 방법은 있지만, 그들 간의 tradeoff에 대한 내용은 별로 없다. 기존의 전형적인 분석은 accuracy와 FLOPS의 관계를 본다. 우리가 증명하기로는, 여러 scaling 방법들은 모델의 파라미터 수, activations, runtime 에 다 다르게 영향을 미친다. 우리의 실험은 여러 scaling 방법이, accuracy는 비슷하지만 다양한 proper..

논문 링크 ResNeSt : Split-Attention Networks Facebook, UC Davis, Snap, Amazon, ByteDance, SenseTime ResNet 계열 image classification 모델이다. 1. Introduction ResNet 이후에 좋은 성능을 가지는 모델들이 나왔지만, ResNet 이 simple & modular 한 구조를 가지기 때문에 아직까지도 많이 사용된다. ResNet의 단점은 크로스 채널 정보를 반영하지 못하고 있다는 것이다. 이 논문의 ResNeSt 는 ResNet 의 residual block 을 replace 하는 새로운 block을 제시한다. 유사한 모델 complexity를 가질 때, 기존의 ResNet 계열(ResNext, SE..

SENet : Squeeze-and-Excitation Networks ResNet에 residual block 이 있고, SENet에는 SE block이 있다. SE block 은 기존 네트워크의 feature map 을 재조정(recalibration) 하는 역할을 수행한다. 즉, feature map 의 전체 정보를 요약하고, 각 map의 중요도를 키워준다. 과정 1. Ftr : X -> U 을 수행하는 transformation 이 (H', W', C') 차원의 입력을 (H, W, C) 차원으로 바꿔서 출력한다. 2. Fsq 를 통해 출력 U의 각 채널 별 정보를 뽑아낸다. 3. Fex 를 통해 스칼라 가중치를 계산한다. 4. Fscale 을 통해 스칼라 가중치를 U 에 곱해준다. Ftr 단순한 ..

ResNet VGG 네트워크를 통해 네트워크 모델이 깊어질수록 성능이 좋아진다는 것을 확인했다. 하지만 깊이를 늘리는 데 한계가 있었고, VGG에서는 16-layer 이후 성능 향상이 거의 없었다. ResNet은 VGG보다 더 깊은 네트워크를 만들어도 성능의 향상을 가져오도록 하였다. 아래를 보면 기존에 사용하던 plain network와 ResNet을 적용한 네트워크를 비교할 수 있다. 입력 x를 출력에 더해서 H(x)=F(x)+x 의 F(x)를 학습시킨다. plain으로 학습했을 때는 34-layer가 18-layer보다 깊은데도 에러율이 더 높았다. ResNet을 적용한 후에는 더 깊은 네트워크가 에러율이 더 낮은 것을 확인할 수 있다. bottlenect resnet 연산 시간을 줄이는 방법이다...