Quasi Newton Method 간략 정리

Quasi Newton Method

QNM이라고도 부르는 이 방법은 Non-Linear Programming에서 사용하는 optimization method이다. 이 방식을 사용하는 이유는 Newton Method보다 더 빠르게 계산이 가능하다는 장점 하나로 사용되었다. Newton Method는 Hessian matrix를 계산하고 저장해야하기에 의 메모리가 필요하고 Hessian 역행렬까지  Complexity/step이다. 그러나 QNM 방식은 근사Approximation을 통한 방식을 사용하기 때문에  Complexity/step 의 Computation을 가지지만 물론 단점이 존재한다.

단점 중 하나는 수렴성을 보장하기 어렵고 간단한 문제에 있어서는 오히려 Newton Method가 더 빠를 수도 있다.

Newton Method와 Quasi Newton Method의 비교

https://optimization.mccormick.northwestern.edu/index.php/Quasi-Newton_methods

이와 관련한 자세한 내용은 아래 링크를 참조하길 바라며 3번에는 Wikibooks의 설명을 볼 수도 있으니 그곳의 내용을 보는 것이 더 많은 도움이 될 것이다.

1. https://optimization.mccormick.northwestern.edu/index.php/Quasi-Newton_methods

2. https://en.wikipedia.org/wiki/Quasi-Newton_method

3. https://wikidocs.net/21979