[논문리뷰] - SimCLR v2 - 데이터없이 학습을 더 잘해보자

Big Self-Supervised Models are Strong Semi-Supervised Learners paper: [https://arxiv.org/pdf/2006.10029.pdf] SimCLR v2는 세 가지 측면에서 개선되었습니다. 우선 기존에 ResNet-50을 4배 키운 모델을 이용했었는데, SimCLR v2에서는 ResNet-152를 3배 키우고 selective kernel을 더해 channel별로 attention을 가해주었습니다. 이는 기존과 비교했을 때 2배 정도 많은 parameter를 이용하지만, 1% labeled sample로 fine-tuning 했을 때 29%의 놀라운 top-1 accuracy 성능 향상을 보여주었습니다. 또한 SimCLR v2는 projectio..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 8. 10.

[논문리뷰] - A simple framework for contrastive learning of visual representations (SimCLR)

SimCLR v1 이미지 데이터의 정답 label이 없는 상황에서 효과적으로 visual representation을 추출하는 SimCLR이라는 이름의 unsupervised learning algorithm을 소개합니다. SimCLR은 data augmentation을 통해 얻은 postive/ negative sample들에 대해 contrastive learning을 적용시켰으며, 성능 측면에서 supervised learning으로 학습한 모델들에 준하는 모습을 보여줍니다. Contrastive Learning Framework Unsupervised Learning이란 데이터의 label 없이 네트워크 모델을 학습하는 것을 의미합니다. 이전에 Computer vision 분야에서는 이미지를 임의..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 8. 5.

[논문리뷰] - Feature Removal Is A Unifying Principle For Model Explanation Methods - part1

이 논문은 비교적 최근 나온 XAI 관련 논문입니다. 본 논문은 모델 설명 방법론(eXplainable AI)에 대한 새로운 관점을 제시합니다. 연구자들은 다양한 모델 설명 방법을 제안했지만, 대부분의 방법들이 어떻게 서로 관련되어 있는지, 또 어떤 방법이 다른 것보다 우월한지에 대해 아직 명확하게 정의되지 않았습니다. 이 논문의 저자들은 이런 문제들을 해결하기 위해 'removal-based explanations'(제거 기반 설명방법)이라는 원칙에 집중합니다. 이 원칙은 모델에서 특정 Feature 집합을 제거하고 그 영향을 측정하는 것입니다. 저자들은 이 원칙을 기반으로 'removal-based explanations'이라는 프레임워크를 개발하였습니다. 이 프레임워크에 대해서 논문이 전개됩니다. ..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 8. 1.

[논문구현] Attention is all you need - 코드를 만들어보자 2

Multi-Head Attention Layer 지금까지의 Self-Attention에 대한 개념은 모두 Multi-Head Attention Layer를 이해하기 위한 것이었다. Attention 계산을 논문에서는 Scaled Dot-Product Attention이라고 명명한다. Transformer는 Scaled Dot Attention을 한 Encoder Layer마다 1회씩 수행하는 것이 아니라 병렬적으로 h회 각각 수행한 뒤, 그 결과를 종합해 사용한다. 이 것이 Multi-Head Attention이다. 이러한 연산을 수행하는 이유는 다양한 Attention을 잘 반영하기 위해서이다. 만약 하나의 Attention만 반영한다고 했을 때, 예시 문장에서 ‘it’의 Attention에는 ‘ani..

• format_list_bulleted 카테고리 없음
• · 2023. 8. 1.

논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 7. 27.

[R] - 독립표본 평균검정 ( two-independent samples t test )

독립표본 평균검정 ( two-independent samples t test ) 1. 두 개의 독립표본 데이터를 이용하여 각각 대응되는 두 개 의 모집단 평균이 서로 동일한지 검정 2. 두 집단이 서로 차이가 없는지 검정 R 프로그래밍 https://minyoungxi.tistory.com/68 [R] 통계데이터 분석 - 여러가지 평균검정법 : 일표본 평균검정 ( One-Sample t test ) , 독립표본 평균 일표본 평균검정 ( one-sample t test ) 하나의 표본 데이터를 이용하여 모집단의 평균이 특정 값과 같은지 검정하는 방법 표본집단이 특정 모집단과 일치하는지 혹은 그렇지 않은지 알고싶을 때 이 minyoungxi.tistory.com 지난 포스팅에서 사용한 MASS 라이브러리의 ..

• format_list_bulleted R programming & 통계
• · 2023. 7. 25.