Jensen-Shannon Divergence란

Jensen-Shannon Divergence란

Mutual Information, Information Gain, KL-Divergence 

: https://aigong.tistory.com/43

이전에 저는 KL-Divergence에 관한 글을 적은 적이 있습니다. 물론 이 용어는 Information Gain 혹은 Mutual Information이라는 단어로 기술했었습니다.

이 때 정의적으로 저는 다음과 같이 적었었는데

KL-Divergence 

이 의미는 2 모델 분포들 간 얼마나 가까운지에 대한 정보 손실량의 기댓값을 의미합니다. 그래서 이 정의를 가지고 얼마나 닮았는지를 측정하는 척도로 사용하기도 합니다. 그러나 문제가 하나 발생하는데 그것은 바로 Symmetry하지 않는 것이었습니다. 이 때문에 유사도를 이야기할 때 거리라고 표현하지 않습니다. 

이 거리 개념 Distance Metric으로 쓸 수 있는 방법에 대해 고민하면서 나온 개념이 바로 Jensen-Shannon Divergence입니다.

우선 식 먼저 살펴보면 다음과 같습니다.

보이는 바와 같이 P와 Q의 중간값, 평균값을 뜻하는 M과의 KL-Divergence를 함으로써 Symmetry해지는 성질을 확인할 수 있습니다.

이를 통해 우리는 두 확률 분포 사이의 Distance를 Jensen-Shannon Divergence를 통해 척도로 활용이 가능해짐을 알 수 있습니다.

참고로 P,Q가 같을 때 JSD는 0이 됩니다.

끝!