Kaggle - EDA guideline ( pandas, numpy, seaborn, matplotlib ) - part 1

Kaggle 에서 최대한 많은 데이터 세트로 EDA 를 연습하고 있습니다. pandas , numpy , matplotlib, seaborn 등 데이터 분석에 기본이 되는 라이브러리들을 체화시키기 위해 노력하고 있지만 확실히 자유자재로 활용하려면 매일 해야할 것 같네요. 매주 주말에는 제가 분석하면서 어렵거나 헷갈릴만한 부분을 정리해볼까 합니다. Dataset : Kaggle에서 가져온 carclaims.csv 당연히 데이터 분석을 할 때의 시작은 데이터세트를 가져오는 것이죠 . df 변수에 "carclaims.csv"를 담아줍니다. pandas 라이브러리의 read_csv 메서드를 통해 다운받은 csv 파일을 가져올게요. 가져온 데이터 파일 ( 이하 df ) 는 df.head() 처럼 상위 몇 개의 데..

• format_list_bulleted Data science
• · 2022. 9. 17.

[R] 차원 분석 - 주성분 분석 (PCA)

주성분 분석 개요 주성분 분석 ( Princial component analysis, PCA )은 서로 상관관계를 갖는 많은 변수를 상관관계가 없는 소수의 변수로 변환하는 차원 축소 기법입니다. 주의해야 할 점은 데이터 하나한에 대한 성분을 분석하는 것이 아닌 여러 데이터들이 모여 하나의 분포를 이룰 때, 이 분포의 주성분을 분석하는 것입니다. 주성분이란 그 방향으로 데이터들의 분산이 가장 큰 방향 벡터를 의미합니다. 변환에 사용되는 소수의 변수를 주성분(princial component) 또는 성분(component)이라고 합니다. 주성분 분석을 토대로 1. 회귀분석에서 설명 변수의 개수 결정 2. 인자분석의 전초작업 3. 군집분석의 전초작업으로 사용됩니다. 주성분 분석 모델 주성분 분석 모델에서 주성..

• format_list_bulleted Data science/R programming & 통계
• · 2022. 1. 25.

[R] 시계열 데이터 분석 - Time Series Analysis, part 2

지수예측모델 지수예측모델(exponential forecasting model)은 단순하면서도 비교적 우수한 단기예측 성능을 보입니다. 지수예측모델은 1. 단순지수평활법(simple exponential smoothing) : 수준 추정 2. 홀트지수평활법(Holt exponential smoothing) : 수준, 기울기 추정 3. 홀트-윈터스지수평활법(Holt-Winters exponential smoothing): 수준, 기울기, 계절 요인 추정 으로 구분할 수 있습니다. 모델을 선정할 때, 시계열의 핵심 성분 (추세, 계절성)과 이러한 성분이 평활법에 어떻게 들어갈지 감안해야 합니다. R 에서는 forcast::ets() 함수를 이용해 지수예측모델을 생성할 수 있는데요. 다음 그림을 보면 이해하기..

• format_list_bulleted Data science/R programming & 통계
• · 2022. 1. 20.

[R] 시계열 데이터 분석 - Time Series Analysis , part 1

시계열 분석 개요 - time series analysis 시계열분석(time series analysis)은 시간의 흐름에 따라 일정한 간격으로 사건을 관찰하여 기록한 데이터(=시계열 데이터)를 바탕으로 미래의 관측값을 예측(forecasting)하는 분석 기법입니다. 과거의 관측값을 분석하여 이를 모델링하고, 이 예측 모델을 바탕으로 미래의 관측값을 예측하는 것이지요. 시계열 데이터는 일반적으로 추세 성분(trend component), 계절 성분(seasonal component), 불규칙 성분(irregular component) 등으로 구성되며 이 성분들에 의해 변동된다고 가정합니다. 시계열 분석 절차 1. 시계열 데이터 생성 2. 탐색적 분석을 통해 데이터의 특성 이해 - 시각화(visuali..

• format_list_bulleted Data science/R programming & 통계
• · 2022. 1. 18.