[논문리뷰] - SimCLR v2 - 데이터없이 학습을 더 잘해보자

Big Self-Supervised Models are Strong Semi-Supervised Learners paper: [https://arxiv.org/pdf/2006.10029.pdf] SimCLR v2는 세 가지 측면에서 개선되었습니다. 우선 기존에 ResNet-50을 4배 키운 모델을 이용했었는데, SimCLR v2에서는 ResNet-152를 3배 키우고 selective kernel을 더해 channel별로 attention을 가해주었습니다. 이는 기존과 비교했을 때 2배 정도 많은 parameter를 이용하지만, 1% labeled sample로 fine-tuning 했을 때 29%의 놀라운 top-1 accuracy 성능 향상을 보여주었습니다. 또한 SimCLR v2는 projectio..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 8. 10.

[R] - 통계데이터분석 - 상관관계(correlation)과 상관분석(correlation analysis)

상관관계(correlation)과 상관분석(correlation analysis) 두 변수간의 선형적 관계를 '상관'이라고하며, 이러한 관계에 대한 분석을 상관분석이라고 합니다. (ex. 광고비용 지출과 매출 , 1인당 GDP와 기대수명 ) 두 사건에 대응되는 두 변수는 일반적으로 연속형 변수를 가정합니다. R 프로그래밍 plot(cats$Hwt ~ cats$Bwt, col="forestgreen", pch=19, xlab='Body Weight (kg)', ylab="Heart Weight(g)", main = "Body Weight and Heart Weight of Cats") 고양이의 몸무게가 증가할수록 심장무게 역시 증가하는 패턴을 보이고 있습니다. 산점도를 이용하면 이렇게 대략적..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 8. 8.

[R] - 통계데이터분석 - 독립성검정과 적합성 검정 ( 카이제곱검정 - chi-square test )

교차표와 $\chi ^{2}$ 검정 $\chi ^{2}$ 검정(chi-square test)는 교차표상의 빈도를 바탕으로 수행합니다. 교차표를 이용하면 범주형으로 수집된 두 변수의 범주 조합에 따른 조합별 빈도를 살펴볼 수 있으며, 이를 통해 두 변수 간의 관계를 파악할 수 있습니다. 독립성검정(independence test)은 두 범주형 변수 간의 관련성이 모집단에서 존재하는지 검정합니다. 20대는 양식 , 30대는 한식, 40대는 중식을 선호한다고 했을때 연령대와 선호하는 음식은 상관관계가 있다고 판단할 수 있습니다. 적합성검정(goodness of fit test)은 범주별 빈도를 바탕으로 모집단에서 기대되는 비율 분포가 존재하는지 검정합니다. ex. 이동 통신회사 A,B,C의 이용자가 각각 50..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 8. 7.

[논문리뷰] - A simple framework for contrastive learning of visual representations (SimCLR)

SimCLR v1 이미지 데이터의 정답 label이 없는 상황에서 효과적으로 visual representation을 추출하는 SimCLR이라는 이름의 unsupervised learning algorithm을 소개합니다. SimCLR은 data augmentation을 통해 얻은 postive/ negative sample들에 대해 contrastive learning을 적용시켰으며, 성능 측면에서 supervised learning으로 학습한 모델들에 준하는 모습을 보여줍니다. Contrastive Learning Framework Unsupervised Learning이란 데이터의 label 없이 네트워크 모델을 학습하는 것을 의미합니다. 이전에 Computer vision 분야에서는 이미지를 임의..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 8. 5.

[R] - 통계데이터분석 - 다변량 분산분석(multivariate analysis of variance, MANOVA)

다변량 분산분석(multivariate analysis of variance, MANOVA) 다변량 분산분석(multivariate analysis of variance, MANOVA)은 두 개 이상의 종속변수가 있을 경우 집단별 차이를 동시에 검정합니다. 한 개의 종속변수를 사용할 때보다 연구의 타당성을 더 높일 수 있는 장점이 있습니다. 다변량 분산분석 (Multivariate Analysis of Variance, MANOVA)은 분산분석 (ANOVA)의 확장입니다. ANOVA는 하나의 종속 변수에 대해 두 개 이상의 그룹 간 평균 차이를 비교하는 데 사용되는 반면, MANOVA는 두 개 이상의 종속 변수에 대해 두 개 이상의 그룹 간 평균 차이를 비교하는 데 사용됩니다. MANOVA는 여러 개의 ..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 8. 4.

[R] - 통계데이터분석 - 이원분산분석 (two-way ANOVA)

이원분산분석 (two-way ANOVA) 집단을 구분하는 독립변수가 두 개일 때 모집단간 평균의 동일성을 검정. 주효과(main effect) 검정 : 각 독립변수에 의해 만들어지는 집단 간 평균의 차이에 대한 검정 상호작용효과(interaction effect) 검정 : 두 독립변수의 조합에 의해 만들어지는 집단 간 평균의 차이에 대한 검정 이원분산분석(Two-way ANOVA)은 두 개의 범주형 독립변수가 연속형 종속변수에 미치는 영향을 분석하는 방법입니다. 이 방법은 두 독립변수의 효과가 종속변수에 미치는 영향을 각각 분리해보고, 두 변수가 함께 작용하여 종속변수에 미치는 영향을 확인하는 상호작용 효과도 분석합니다. R 코드 str(ToothGrowth) # 데이터셋 : 보충제에 따른 이빨 성장 변..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 8. 2.