[Related] - Layer Norm과 Batch Norm의 효율성 차이

배치 정규화(Batch Normalization)과 레이어 정규화(Layer Normalization)의 효율성 차이 'BN'은 Batch Normalization의 약자로, 신경망의 학습 과정을 안정화시키고 가속화하는 기법입니다. 이 기법은 각 층의 입력을 정규화하는 과정을 포함하여, 학습하는 동안 각 층에서의 입력 분포가 크게 변하지 않도록 도와줍니다. 이를 통해 학습률을 높이고 초기화에 대한 의존도를 줄일 수 있습니다. Batch Normalization은 신경망의 각 층에서 활성화 함수로 넘어가기 전에 적용되며, 각 mini-batch의 평균과 분산을 사용하여 정규화를 수행합니다. 정규화 과정은 다음과 같습니다: Mini-batch의 평균을 계산합니다. Mini-batch의 분산을 ..