머신러닝 프로세스 이해하기 - 모델 검증과 평가 ( Validation & Evaluation ) & 하이퍼 파라미터(Hyperparameter Optimization)

Validation ( 검증 ) 머신러닝의 프로세스에서 전체 데이터를 학습데이터와 훈련데이터로 나누는 단계는 매우 중요한 단계입니다. 학습 데이터로 모델을 생성한 뒤에 중간 과정을 생략한 후 테스트 데이터로 모델을 평가한다면, 이렇게 생성된 모델은 과적합이나 과소적합이 발생할 우려가 있습니다. 이런 문제를 해결하기 위해서 테스트 데이터 전에 자신을 점검해 볼 수 있는 과정이 필요한데, 그 과정을 검증(Validation)이라고 하며 검증에 사용하는 데이터셋을 검증 데이터셋(Validation dataset)이라고 합니다. 검증 데이터셋은 학습 데이터셋의 일부를 사용합니다. Various Validation 머신러닝 모델의 검증 방법은 크게 3가지로 나눌 수 있습니다. 첫 번째가 Holdout, 두 번째가..

• format_list_bulleted 카테고리 없음
• · 2022. 11. 2.

머신러닝 프로세스 이해하기 - Machine Learning Process & Pipeline

항상 헷갈리는 머신러닝 나만 그런건지 모르겠지만... 주기적으로 캐글 문제들을 풀지 않아서 그런걸까. 머신러닝의 프로세스를 대충 알고 있지만 어느 단계에서 어떤 방법을 사용해야 하는지 자꾸 까먹거나 헷갈릴 때가 많다. 중간 고사도 끝났고 kaggle 문제들을 본격적으로 풀기 전에 다시 한 번 머신러닝의 전체적인 프로세스를 쭉 학습하며 정리했다. 구글링을 해보면 정말 많은 레퍼런스가 있는데, 사실 사용하는 사람들마다 용어가 조금씩 다르기도 하고 순서도 제각각 다른 경우도 많다. 하지만 사용하는 사이킷런 코드나 큰 틀은 일관된 방향성을 갖는다. 이번 포스팅에서는 데이터 전처리에 대해 다룬다. 데이터 전처리는 주로 데이터 클리닝(Data cleaning) , 데이터 변형(Data Transformation),..

• format_list_bulleted Data science/Machine Learning basic
• · 2022. 10. 28.

회귀 ( Regression ) - 다항 회귀와 과(대)적합 / 과소적합 이해

앞서 설명한 회귀는 단순히 y = w0 + w1x1 + w2x2 + w3*x3 …. + wn * xn 과 같이 독립변수(feature)와 종속변수(target)의 관계가 일차 방정식 형태로 표현된 회귀였습니다. 하지만 세상의 모든 관계를 직선으로만 표현할 수는 없습니다. 회귀가 독립변수의 단항식이 아닌 2차, 3차 방정식과 같은 다항식으로 표현되는 것을 다항(polynomial)회귀라고 합니다. 즉 , 다항 회귀는 y = w0 + w1x1 + w2x2 + w3x1x2 + w4x12** 과 같이 표현될 수 있습니다. 주의할 점으로 다항 회귀를 비선형 회귀로 혼동하기 쉽지만, 다항 회귀는 선형 회귀라는 점을 기억해야 합니다. 회귀에서 선형 / 비선형 의 선형성을 결정하는 것은 회귀 계수입니다. 독립 변수의 ..

• format_list_bulleted 카테고리 없음
• · 2022. 9. 26.

차원 축소 (Dimension Reduction) - PCA 분석 part1

머신러닝에서 대표적인 차원 축소 알고리즘은 PCA , LDA , SVD, NMF가 있습니다. 차원 축소란 매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것입니다. 이번 포스팅에서는 PCA 분석의 개론에 대해서 최대한 자세히 내용을 담았고 다음 포스팅에서는 실제 파이썬코드와 사이킷런을 활용하여 예제 데이터를 분석합니다. 일반적으로 차원이 증가할수록 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 됩니다. 차원이 증가한다는 것은 변수의 증가와 동일하다고 이해하면 되겠습니다. ( ex. iris 데이터를 예로 글면 4개의 독립변인들이 하나의 공간에 표현되기 위해서는 그 공간이 4차원이어야 합니다 ) 차원이 증가할수록 희소(sparse)한 구조를 가지게 됩니..

• format_list_bulleted Data science/Machine Learning basic
• · 2022. 9. 21.

Kaggle - EDA guideline ( pandas, numpy, seaborn, matplotlib ) - part 1

Kaggle 에서 최대한 많은 데이터 세트로 EDA 를 연습하고 있습니다. pandas , numpy , matplotlib, seaborn 등 데이터 분석에 기본이 되는 라이브러리들을 체화시키기 위해 노력하고 있지만 확실히 자유자재로 활용하려면 매일 해야할 것 같네요. 매주 주말에는 제가 분석하면서 어렵거나 헷갈릴만한 부분을 정리해볼까 합니다. Dataset : Kaggle에서 가져온 carclaims.csv 당연히 데이터 분석을 할 때의 시작은 데이터세트를 가져오는 것이죠 . df 변수에 "carclaims.csv"를 담아줍니다. pandas 라이브러리의 read_csv 메서드를 통해 다운받은 csv 파일을 가져올게요. 가져온 데이터 파일 ( 이하 df ) 는 df.head() 처럼 상위 몇 개의 데..

• format_list_bulleted Data science
• · 2022. 9. 17.

Mastering Machine Learning Algorithm - chapter1 ( 머신러닝 알고리즘 마스터 )

Chapter1. 머신러닝 알고리즘 마스터라는 교재로 머신러닝 복습겸 자세히 알아가기 중. Kaggle 과 유튜브로 머신러닝을 배웠고 머신러닝의 기본적인 컨셉과 모델 사용법 등을 알고 있었고 잘 사용 중이다. 기본적인 내용 복습 겸 이 책을 선택하게 되었는데 정말 자세한 내용을 다룬다. 즉 굉장히 딥하고 어려운 내용이 많다. 특히 선형대수와 확률 및 수식이 굉장히 많기 때문에 정말 자세히 복습할 수 있다. Capter 1 에는 굉장히 기본적인 내용들만 나오지만 처음 알게된 부분들이 많다. 머신러닝의 알고리즘을 정말 자세히 분해하여 설명하므로 머신러닝을 공부하는 사람들에게 도움이 많이 될 것 같다. 블로그에는 이 책에서 몰랐던 내용 혹은 중요하다고 생각하는 부분을 발췌해서 정리합니다. 데이터 생성 프로세스..

• format_list_bulleted Data science/Machine Learning basic
• · 2022. 9. 14.