Bidirectional Learning for Domain Adaptation of Semantic Segmentation 논문 정리

논문 링크

 

 

 

 

Bidirectional Learning for Domain Adaptation of Semantic Segmentation

Yunsheng Li, Lu Yuan, Nuno Vasconcelos

CVPR 2019

---

 

 

 

 

CyCADA 와 같이 2 step으로 이루어진다.

 

먼저 source domain의 이미지를 target domain으로 shift한다.

 

그 다음 shift 된 source image로 segmentation 모델을 학습한다.

 

 

 

 

비슷한 구성의 모델들은 image translator 의 성능이 좋지 않으면, segmentation 성능이 나쁘다는 단점이 있다.

 

이 논문은 이 단점을 해결하는 방법을 제시한다.

 

두 step 을 closed loop로 만들어서 상호 보완하여 단점을 보완한다.

 

두 번째 step에서는 self supervised learning algorithm을 추가하였다.

 

첫 번째 step에서는 segmentation 네트워크를 활용한 perceptual loss를 추가하였다.

 

 

 

 

 

image translator 를 학습시킬 때 loss 는 아래와 같이 구한다.

 

첫 번째는 GAN loss로, S' ↔ T, S ↔ T' 를 구별하지 못하도록 image translator 를 학습시킨다.

 

두 번째는 reconstruction loss로, image translator 에 S를 통과시킨 S'을 inverse image translator 를 통과시켜 나온 것과 원본 S와 비교하여, 복구되도록 학습한다.

 

세 번째는 perceptual loss로, S와 S'이 segmentation 모델을 통과한 결과가 비슷하도록 학습한다.

 

 

 

 

Segmentation 모델로는 DeepLab v2를 사용하고 loss는 아래와 같이 계산한다.

 

첫 번재는 adversarial loss로, 이전 논문들의 방법과 동일하게 shift된 S'과 T의 결과가 같도록 학습한다.

 

두 번째는 segmentation loss로, S'의 segmentation 결과와 라벨과의 Loss를 계산하는 것이다. 모든 segmentation 모델이 가지는 Loss와 같다.

 

세 번째는, self-supervised segmentation loss로, target domain 데이터의 라벨이 없을 때 직접 만든 라벨을 사용하여 학습한다.

 

예측하기 쉬운 픽셀에 대해서만 수도 라벨을 만들고, 그렇게 만든 마스크로 학습을 시킨다는 의미이다.

 

 

 

loss function은 self-supervised learning 유무에 따라 2 가지로 나뉜다.

 

 

 

다른 domain adaptation 방법보다 높은 성능을 가진다.

 

 

 

 

 

---

 

참고 링크

 

jayeon8282.tistory.com/9

[논문 리뷰] Bidirectional Learning for Domain Adaptation of Semantic Segmentation