오차역전파법 신경망 학습에서, 신경망의 가중치(weight)에 대한 손실 함수의 기울기를 구하기 위해 미분을 사용했습니다. 미분 계산은 단순하고 구현하기 쉽지만, 시간이 오래걸리는 단점이 있습니다. 초기 가중치에서의 손실 함수를 계산하고 그것을 미분하여 다음 가중치 계산에 사용하는데, 뉴런이 많아져 각 노드의 매개변수(가중치, 편향)가 많아지면 그 모든 매개변수를 임의로 대입하며 학습시키면 시간도 매우 오래걸리고 계산량도 많아 비효율적입니다. 이것을 효율적으로 하기 위한 것이 오차역전파 알고리즘입니다. 학습이란 각 뉴런의 파라미터에 의해 계산된 최종 출력을 토대로 손실함수를 구하고, 그 손실함수를 최소화하는 방향으로 각 뉴런의 매개변수(가중치, 편향)를 변화시켜나가는 것입니다. 학습이 완료되었다는 것은,..
