[논문리뷰] - A simple framework for contrastive learning of visual representations (SimCLR)

SimCLR v1 이미지 데이터의 정답 label이 없는 상황에서 효과적으로 visual representation을 추출하는 SimCLR이라는 이름의 unsupervised learning algorithm을 소개합니다. SimCLR은 data augmentation을 통해 얻은 postive/ negative sample들에 대해 contrastive learning을 적용시켰으며, 성능 측면에서 supervised learning으로 학습한 모델들에 준하는 모습을 보여줍니다. Contrastive Learning Framework Unsupervised Learning이란 데이터의 label 없이 네트워크 모델을 학습하는 것을 의미합니다. 이전에 Computer vision 분야에서는 이미지를 임의..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 8. 5.

[논문리뷰] - Feature Removal Is A Unifying Principle For Model Explanation Methods - part1

이 논문은 비교적 최근 나온 XAI 관련 논문입니다. 본 논문은 모델 설명 방법론(eXplainable AI)에 대한 새로운 관점을 제시합니다. 연구자들은 다양한 모델 설명 방법을 제안했지만, 대부분의 방법들이 어떻게 서로 관련되어 있는지, 또 어떤 방법이 다른 것보다 우월한지에 대해 아직 명확하게 정의되지 않았습니다. 이 논문의 저자들은 이런 문제들을 해결하기 위해 'removal-based explanations'(제거 기반 설명방법)이라는 원칙에 집중합니다. 이 원칙은 모델에서 특정 Feature 집합을 제거하고 그 영향을 측정하는 것입니다. 저자들은 이 원칙을 기반으로 'removal-based explanations'이라는 프레임워크를 개발하였습니다. 이 프레임워크에 대해서 논문이 전개됩니다. ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 8. 1.

[논문구현] Attention is all you need - 코드를 만들어보자 2

Multi-Head Attention Layer 지금까지의 Self-Attention에 대한 개념은 모두 Multi-Head Attention Layer를 이해하기 위한 것이었다. Attention 계산을 논문에서는 Scaled Dot-Product Attention이라고 명명한다. Transformer는 Scaled Dot Attention을 한 Encoder Layer마다 1회씩 수행하는 것이 아니라 병렬적으로 h회 각각 수행한 뒤, 그 결과를 종합해 사용한다. 이 것이 Multi-Head Attention이다. 이러한 연산을 수행하는 이유는 다양한 Attention을 잘 반영하기 위해서이다. 만약 하나의 Attention만 반영한다고 했을 때, 예시 문장에서 ‘it’의 Attention에는 ‘ani..

• format_list_bulleted 카테고리 없음
• · 2023. 8. 1.

논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 27.

논문 리뷰 - Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015)

https://arxiv.org/abs/1503.03585 Deep Unsupervised Learning using Nonequilibrium Thermodynamics A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we devel arxiv.org 오늘 준비한 논문은 Diffusion model입니다. 이 논문..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 21.

논문리뷰 - Denoising Diffusion Probabilistic Models - 노이즈를 사용했다 지웠다

https://arxiv.org/pdf/2006.11239.pdf Preview 자체 Abstract data에 임의의 noise를 더해주는 과정을 Forward process라고 하며 noise를 제거하는 과정을 reverse process라고 한다. forward process (diffusion process) : data에 noise를 추가하는 과정으로, markov chain을 통해 점진적으로 noise를 더해나간다. reverse process : gaussian noise에서 시작하여 점진적으로 noise를 제거해가는 과정 현실의 복잡한 데이터셋을 확률분포 probability distribution으로 표현할 때 중요한 개념 tractability: Gaussian이나 Laplace dis..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 7.