차원 축소 (Dimension Reduction) - PCA 분석 part1

머신러닝에서 대표적인 차원 축소 알고리즘은 PCA , LDA , SVD, NMF가 있습니다. 차원 축소란 매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것입니다. 이번 포스팅에서는 PCA 분석의 개론에 대해서 최대한 자세히 내용을 담았고 다음 포스팅에서는 실제 파이썬코드와 사이킷런을 활용하여 예제 데이터를 분석합니다. 일반적으로 차원이 증가할수록 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 됩니다. 차원이 증가한다는 것은 변수의 증가와 동일하다고 이해하면 되겠습니다. ( ex. iris 데이터를 예로 글면 4개의 독립변인들이 하나의 공간에 표현되기 위해서는 그 공간이 4차원이어야 합니다 ) 차원이 증가할수록 희소(sparse)한 구조를 가지게 됩니..