Levenberg Marquardt Method

비선형 최소 자승 Nonlinear Least Square 문제를 푸는 대표 방법으로

Gauss-Newton method와 Gradient Descent 방법이 결합된 방법론이다.

1944년 Levenberg Algorith이 1963년 Marquardt가 보완한 방법론으로 보통 generic curve fitting problem을 풀기위해 사용되지만 local minimum을 주로 찾게되는 단점이 있다.

수식적으로는 아래와 같다.

이 방법론을 사용하면 기존의 Hessian matrix로 표현하는 것을 Jacobian Matrix로 정의가 가능해지고 이를 통해 위와 같은 수식을 볼 수 있다. 위 방법을 사용함으로써 singular 문제를 회피하면서도 효과적으로 해를 찾을 수 있다.

다른 말로 Damped Least Squares(DLS)라고도 일컫어진다.

그러나 이 역시 Inverse Matrix를 구해야하기 때문에 시간 복잡도적 측면에서 오래 걸린다.

친절히 자세한 설명을 써준 아래 블로그나 wikipedia의 글을 확인함으로써 더 알아보길 권한다.

아이공의 AI 공부 도전기