Huber norm, Huber function 이란

L2-Norm

기존의 $L^2$ 놈 기반의 Error function들은 Least-square 방식에 비해 큰 오차가 주어지더라도 강건한(Robust) 결과를 보여준다. 하지만 일부 데이터포인트가 누락될 경우, 실제 오차와 동떨어진 결과를 내는 Singularity 문제가 발생할 수 있다. 이를 해결하기 위해 $L^1|L^2$ 결합 놈을 개발하려는 여러 시도들이 있어 왔다.

Bube and Langan (1997)에서 Iteratively reweighted least-square (IRLS) 방법을 제안하였고, Zhang et al. (2000)에서 이 방법을 사용해 단층 촬영에서 bed를 구분하는데 적용하기도 했다.

Hybrid L1|L2-Norm

여기서는 Huber (1973)가 제안한 Huber norm에 대해서 정리해 보겠다. 수식은 다음과 같다.
$$
\begin{aligned}
M_{\alpha}(r) =& \frac{r^2}{2\alpha},\text{ if }\ 0\leq|r|\leq\alpha, \ &|r|- \frac{\alpha}{2},\text{ else if } \ \alpha < \vert r\vert
\end{aligned}
$$
$\alpha$는 L1~L2 놈 사이의 임계점(Threshold)이다.

위 그래프를 보면, Residual r이 0에 가까울 때는 L2놈과 비슷한 부드러운 형태를 보이지만, r이 일정 크기를 넘어서면 L1 놈으로 계산한다. 따라서 오차가 큰 경우에도 강건한 성능을 보이는 것이다.

모든 지점에서 미분가능한 것이 Huber norm의 장점이지만, 임계점 부근에서는 L1과 L2놈으로 전환되는 부분 때문에 비선형 최적화 문제를 풀어야 한다. 이에 대해서는 다음 섹션에서 상세하게 다룬다.

Reference

http://sepwww.stanford.edu/public/docs/sep121/paper_html/node12.html#fig:huber