ICASSP 2023 Accepted Paper
Link: https://ieeexplore.ieee.org/document/10095341
Summary
- an end-to-end framework for oriented object detection, which simplifies the model pipeline and obtains superior performance.
- box regression head replaced with a points prediction head.
- decouple the query features into classi- fication and regression features, which significantly improves the model precision.
- dynamic query design, which reduces the number of object queries in stacked decoder layers with- out sacrificing model performance.
Introduction or Motivation
- Classification Header와 Box Regression Header를 분리시킴으로써 DETR-series의 성능 향상
- 하지만 decoder layer에서 decoupling을 고려하고 있지는 않다
- To our knowledge, we are the first to consider query feature decoupling at the decoder layer for DETR-like detectors.
- propose a label re-assignment strategy, which is used after bipartite matching to filter out low quality queries and effectively improves the model performance.
Method
Points Prediction Head
- angle issue를 피하기 위해서 angle regression 자체를 포기
- 대신, point 9개를 예측하는 문제로 변경
Query Label Re-Assignment
$$ y^*{\hat{\sigma}(i)} = \begin{cases} y{\hat{\sigma}(i)} & \text{if } \frac{|\Gamma(C_i) \cap \Gamma(B_{\hat{\sigma}(i)})|}{|\Gamma(C_i) \cup \Gamma(B_{\hat{\sigma}(i)})|} > \tau \\ \emptyset & \text{otherwise} \end{cases} $$
- $y^*_{\hat{\sigma}(i)}$: 재할당된 레이블
- $y_{\hat{\sigma}(i)}$: 기존에 할당된 레이블
- $C_i$: 는 i번째 쿼리의 예측 박스
- $B_{\hat{\sigma}(i)}$: i번째 쿼리와 매칭된 타겟 박스
- $\Gamma(C_i)~\text{\&}~ \Gamma(B_{\hat{\sigma}(i)})$: 쿼리 예측 박스와 타겟 박스의 Convex-Hull
- $\tau$: threshold, 0.5
- 쿼리와 타겟 박스 간의 IoU를 기준으로 저품질 쿼리를 필터링합니다.
- IoU가 낮으면 해당 쿼리의 레이블을 배경으로 재할당하여 학습 과정에서 저품질 쿼리가 학습에 미치는 부정적인 영향을 줄입니다.
- 임계값(0.5) 이하의 쿼리는 배경(없음)으로 재할당됩니다.
Experiment
- 의도는 이해했으니 어쩔 수 없는 4page의 한계로 많은 것들을 보여주지 못해 아쉽다.
- dota series말고도 DIOR-R을 해봤다면 어땠을까?
