SaR: Self-Adaptive Refinement on Pseudo Labels for Multiclass-Imbalanced Semi-Supervised Learning

 

 

최근에는 Semi-Supervised Learning(SSL) 관련 공부를 하고 있어서 정리를 위해 포스팅을 합니다.

SaR: Self-Adaptive Refinement on Pseudo Labels for Multiclass-Imbalanced Semi-Supervised Learning

CVPR 2022에 통과된 논문이며 기존 FixMatch, FlexMatch 등과 같이 Hybrid SSL입니다.

Contribution

• Propose SaR $($Selfadaptive Refinement$)$ to refine the soft labels before generating the one-hot pseudo labels
• Demonstrate the compatibility of SaR with several recently proposed pseudo-label-based SSL algorithms.
• Show that the proposed scheme outperforms the recent state-of-the-art imbalanced algorithms designed for SSL on all the datasets and conditions tested

자세한 부분은 논문의 Contribution Section을 참조해주세요.

Idea

해당 논문에서는 Pseudo Label 방법론에서는 pseudo label의 질에 따라서 최종 결과물의 성능에 차이가 발생한다고 말하고 있습니다. 그래서 'pseudo label를 생성하기 전에 soft label을 refine 하겠다!'가 주요한 부분으로 보입니다.

Mitigating Vector

input vector: $x\in\mathbb {R}^{d}$

label vector: $y\in\{{0,1}\}^{d} $

$m_{k}$: the number of training labeled instances in $\mathrm {D}_{\mathrm {l}}$ of class $k$

$n_{k}$: the number of training unlabeled instances in $\mathrm {D}_{\mathrm {u}}$ of class $k$

 

 

$\hat {n}_{k}$: max prediction logit이 class $k$에 해당하며 threshold $\tau$를 넘은 경우의 데이터 수고 수식은 아래와 같습니다.

$\hat {n}_k=\sum_{j=1}^{n}\mathbf {1}(h(\alpha(x_{j}^{(u)});\theta)_k>\tau)\cdot \mathbf {1}(\mathrm {arg max(\hat {y}^{(u)}_{j})}=k)$

 

위의 수식은 사실 FixMatch와 동일한 수식이다. 이 논문에서는 여기에 monotone decreasing function $b(\cdot)$을 추가적으로 사용합니다.

여기서 monotone decreasing function은 $b(\cdot)= ( 1-\beta ) / ( 1 - \beta^{\hat {n_{k}}} )$.

이때, $\beta \in (0,1)$이고 $\beta$가 0이면 1을 리턴하고, $\beta$가 1에 가까울수록 $\hat {n_{k}}$가 작을수록 큰 수를 리턴합니다.

결과적으로 $s_{k}=b(\cdot), k=1,\cdots, \mathit {C}$.

 

각 iter마다 계산된 $s_{k}$는 pseudo label을 정의하는 아래의 수식에서 사용됩니다.

$\hat {y}^{(u)}(k)=\delta(s_{k}\cdot h(\alpha(x_{j}^{(u)});\theta)_k), k=1,\cdots, \mathit {C}.$

 

위의 과정을 해당 논문에서는 아래의 그림과 같이 설명하고 있습니다.

 

여기까지가 본인이 생각했을 때 해당 논문의 중요한 부분이라고 판단되는 부분을 정리해봤습니다.

많은 부분을 제가 놓쳤을 수도 있지만 이정도의 흐름을 알고 논문을 읽으신다면 도움이 될지도!?

 

Experiment

해당 논문은 여러 unblanced dataset distribution에 대해서 설정하고 실험을 진행했습니다.

자세한 실험 내용 및 결과는 논문을 참고하세요!

 

Summary

이 논문에서는 기존 FixMatch에서 pseudo label을 생성하기 직전 단계인 soft label을 어떻게 처리할 건지 고민한 논문입니다. 논문에서 말하기로는 연산량의 증가가 미미하지만 성능 개선은 크게 되었기 때문에 novel 하다고 말하고 있습니다.

다만, FlexMatch와 내용이 아주 흡사해 보이지만 FlexMatch의 한계점으로 보였던 imblanced dataset에 대해서 robust 한 모습을 보여주고 있습니다. 논문에서 FixMatch 뿐만 아니라 FlexMatch와도 비교를 통해서 얼마만큼 차이가 나는지 보여주지 않았다는 점이 아쉽습니다.