경사하강법으로는 크게 Gradient Descent와 Stochastic Gradient Descent로 나눌 수 있을 것 같다. 지금은 Gradient Descent에 대한 설명을 시작해보려고 한다. 경사하강법이란? 경사하강법은 반복적인 실행을 통해 에러를 최소화 시킬 수 있는 값을 구하는 방법이다. 여기서 에러라는 것은 실제값과의 다른 정도라고 이해하자. 자, 조금 더 파보자. 아래와 같은 그래프가 있다고 하자. 이 그래프에서 에러가 최소인 지점이 어디일까? 바로 아래 그림처럼 빨간 점으로 표시된 지점일 것이다. 이처럼 육안으로는 최소인 지점을 한 눈에 알아볼 수 있었다. 하지만 컴퓨터에게는 눈이 없기때문에 한 눈에 알아볼 수가 없다. 일단 저 빨간 점을 지나는 접선을 그려보자. 그러면 위 그림처럼 ..
