wonone11 님의 블로그

저번 글에서는 경사하강법의 가장 원초적인 방법과 수식에 대해서 알아보았다.하지만원초적인 경사하강법에서는 local minima 문제가 있다는 것을 알게 되었고이 local minima 문제를 해결하기 위해 다양한 경사하강법 기법이 등장하게 되었다. 위 사진은 다양한 경사하강법 기법에 대해서 간단히 정리한 것이다.이 글에서는 우리가 많이 사용할 SGD와 Adam을 설명할 것이고Adam의 이해를 위한 Momentum, Adagrad, RMSProp 또한 설명할 것이다. SGD는 전체 데이터 셋을 보고 방향을 정하는 GD와 다르게 전체 데이터의 일부 mini-batch 데이터를 보고 방향을 정하는 기법이다.작은 데이터에 대해서 처리하기 때문에 처리 속도가 빠르며 부정확한 방향으로 갈 수 있지만 이러한 부정확한..

경사하강법이란 간단히 말하면 함수의 기울기를 이용하여 함수의 최솟값을 찾는 방법이다.경사하강법은 반복적으로 수행하며 정해진 반복 횟수를 다 했거나 더 이상 값을 최소화하지 못한다고 판정되면 반복을 멈춘다. 자료 출처 위 예시와 같이 경사하강법은 정해진 수식을 반복하여 함수의 최솟값을 찾는다.   기본적인 경사하강법의 수식  이 수식 전체를 설명하자면 최솟값을 찾고 싶은 함수 f를 x에 대해 미분하여 현재 x 좌표의 기울기를 구한 후 lr 곱하고 구한 값을 현 x 좌표에 빼주는 식이다. 이 말이 이상하게 들릴 수도 있지만 아래의 설명을 듣고 다시 와서 스스로 이 식이 어떻게 작동하는지 이해했으면 좋겠다. 수식 분해 및 해석 위 설명에서 기울기와 lr를 곱한 값을 뺀다.왜 빼냐 하면기울기 값을 보면 알 수 ..