반응형
하강법(Descent method)의 한계
대표적인 손실 함수 ( Loss Function )의 특징
- MAE, MSE, Cross Entropy 함수는 볼록성 ( Convexity )를 지닌다.
다음은 볼록성(Convexity)을 정의하는 식입니다.
어떤 그래프에서 두 점을 잡아서 ( x1,y1 ) , ( x2,y2 ) 직선을 그엇을 때, 그 직선이 함수값보다 위에 있다면 convex라고 합니다.
아래로 볼록한 모양을 Convex라고 합니다.
위로 볼록한 모양은 Concave라고 하구요 둘 다 해당하지 않는 구불구불한 모양은 Non-convex라고 합니다. Loss function은 Convex 형태로 만드는 것이 가장 좋습니다.
Non-convex에서 가장 작은 점을 global minimum이라고 하고 가장 작은 점이 아닌 곳을 local minimum이라고 합니다.
Loss function은 최소값을 찾는 문제이기 때문에 Convex가 가장 적절한 형태가 됩니다.
하지만 Concave 역시 max Loss에서 -를 곱해주면 모양이 반대로 변하기 때문에 좋은 형태라고 볼 수 있습니다.
볼록성(Convexity)의 성질
- 함수 f가 concave이면 -f는 convex이다.
- 함수 f,g가 convex이고 a,b ≥ 0 이면 af + bg도 convex이다.
- 함수 f,g가 convex이면 max{f,g}도 convex이다.
- 모든 norm은 convex이다.
- 함수 f,g가 convex이고 g가 일변수 증가함수라면 g(f(x))는 convex이다.
반응형