Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
최근의 CNN 기반의 많은 연구들이 진행되어오면서, Vision분야의 여러 테스크(Image Classification, Object Detection, Semantic Segmentation..)에서 놀라울 정도의 발전을 이루었습니다. 이들 중 Semantic Segmentation의 연구는 자율주행 및 로보틱스 연구에 유용하게 적용이 될 수 있습니다. 하지만, Semantic Segmentation 학습을 위한 데이터 레이블링은 픽셀레벨로 작업을 진행해야하기 때문에, 데이터 획득에 대한 노동과 경제적 비용이 높습니다.
최근에는 이를 해결하기 위하여, GTA와 같은 가상 시뮬레이션을 통해 Synthetic Data를 획득하여 학습에 활용하고자 하는 DA(Domain Adaptation)연구가 진행이되어오고 있습니다.
이번에 소개할 논문 역시 이와 관련된 CVPR2020에 Oral로 선정된 “Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision”논문입니다.
이 논문의 intuition은 Target Domain과 Source Domain 사이의 Gap (Inter Domain Gap)도 존재하지만, Target Domain 역시 데이터를 획득하는 환경에 변화(날씨 변화, 움직이는 객체 등)에 따라서 내부의 Intra Domain Gap 이존재한다는 것 입니다.
때문에 본 연구에서는 그림 1과 같이 Inter Domain Adaptation 뿐만 아니라 Intra Domain Adaptation도 진행을 합니다.
Inter Domain Adaptation
그림 2의 (a)와 같이 Target과 Source 사이의 Inter Domain Adaptation은 기존의 연구인 UDA를 그대로 사용합니다. 이 과정에서 Target Inputs에 대한 Pseudo-labels와 Predicted Entropy Map을 생성합니다.
이후 Entropy Map은 제안하는 entropy-based ranking system을 통하여 Easy Split과 Hard Split으로 정렬합니다.
Intra Domain Adaptation
이후, Hard Split과 Easy Split을 Adversarial Training하여 Intra Domain Adaptation을 수행하며, 이 과정에 생성된 세그멘테이션 맵을 Pseudo-labels 와 Cross-entropy Loss 를 사용해 추가로 학습을 수행합니다.
Experiments
이러한 아이디어는 위의 테이블과 같이 유의미한 성능 향상이 있음을 보여줍니다.
이와 더불어 그림 3을 함께 보면, Intra Domain Gap을 어느정도 줄인 것을 정성적으로 확인할 수 있습니다.
Conclusion
본 연구는, 같은 도메인 내부에 Intra Domain Gap이 존재하는 intuition을 소개합니다. 그리고 이를 해결하기 위해 Entropy map을 활용해 Hard Split 과 Easy Split을 나누어 이 사이의 Gap을 줄이는 연구를 제안하였으며, 실험적으로 이를 증명하였습니다.