[Basic] - 손실 함수와 최적화

하강법(Descent method)의 한계 대표적인 손실 함수 ( Loss Function )의 특징 MAE, MSE, Cross Entropy 함수는 볼록성 ( Convexity )를 지닌다. 다음은 볼록성(Convexity)을 정의하는 식입니다. 어떤 그래프에서 두 점을 잡아서 ( x1,y1 ) , ( x2,y2 ) 직선을 그엇을 때, 그 직선이 함수값보다 위에 있다면 convex라고 합니다. 아래로 볼록한 모양을 Convex라고 합니다. 위로 볼록한 모양은 Concave라고 하구요 둘 다 해당하지 않는 구불구불한 모양은 Non-convex라고 합니다. Loss function은 Convex 형태로 만드는 것이 가장 좋습니다. Non-convex에서 가장 작은 점을 global minimum이라고 하..