반응형
LIST
하강법(Descent method)의 한계 대표적인 손실 함수 ( Loss Function )의 특징 MAE, MSE, Cross Entropy 함수는 볼록성 ( Convexity )를 지닌다. 다음은 볼록성(Convexity)을 정의하는 식입니다. 어떤 그래프에서 두 점을 잡아서 ( x1,y1 ) , ( x2,y2 ) 직선을 그엇을 때, 그 직선이 함수값보다 위에 있다면 convex라고 합니다. 아래로 볼록한 모양을 Convex라고 합니다. 위로 볼록한 모양은 Concave라고 하구요 둘 다 해당하지 않는 구불구불한 모양은 Non-convex라고 합니다. Loss function은 Convex 형태로 만드는 것이 가장 좋습니다. Non-convex에서 가장 작은 점을 global minimum이라고 하..
https://minyoungxi.tistory.com/52 논문 리뷰 - Vision Transformer 비전 트랜스포머 part2 https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리 minyoungxi.tistory.com 2021년 마이크로소프트 아시아에서 발표한 Swin Transformer에 대해 알아봅시다. ViT(Vision Transformer)는 이미지를 patch로 잘라 self attention을 하는데요, 이 논문에서 모든 patch가 self attention을 하..
https://arxiv.org/pdf/1512.04150.pdf Learning Deep Features for Discriminative Localization - 2015 기존의 CNN 모델에서는 Input → Conv layers → Fc layers → softmax 의 매커니즘을 통해 특정 이미지를 클래스로 분류하는 학습 과정을 거칩니다. 이는 매우 일반적인 방법으로 마지막 feature map을 flatten 하여 1차원 백터들로 만든 후에 이를 Fully Connected Network를 통과하여 Softmax로 분류하는 것이죠. Learning Deep Features for Discriminative Localization - Introduction ( 논문 발췌 부분 ) Despite..