딥러닝은 깊은 신경망 계층을 말합니다. 입력층과 출력층 사이에 여러 개의 은닉층으로 이루어진 신경망입니다. 층이 깊어질수록 모듈과 함수에 따른 하이퍼파라미터(hyper-parameter)도 비례하여 많아집니다. 이 하이퍼파라미터를 결정하여 모델이 정확하게 결과를 뱉어낼 수 있도록 하는 것이 학습의 핵심입니다. 그러기 위해서는 Loss Function을 정의하여야 합니다. 그리고 Loss Function을 Optimize 해야합니다. 다음 그림에 설명이 잘 되어있듯이, 모델은 Loss Function(틀린 정도)을 가지고 있습니다. 고등학교 때 수학시간에 배웠던 기억을 되살려봅니다. 미분하여 그 점에서의 미분 값이 (+) 값이 나오면 증가 (-) 값이 나오면 감소 마찬가지로 결국 loss function도..
