논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 27.

논문 리뷰 - Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015)

https://arxiv.org/abs/1503.03585 Deep Unsupervised Learning using Nonequilibrium Thermodynamics A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we devel arxiv.org 오늘 준비한 논문은 Diffusion model입니다. 이 논문..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 21.

논문리뷰 - Swin Transformer - ViT를 개선해보자!

https://minyoungxi.tistory.com/52 논문 리뷰 - Vision Transformer 비전 트랜스포머 part2 https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리 minyoungxi.tistory.com 2021년 마이크로소프트 아시아에서 발표한 Swin Transformer에 대해 알아봅시다. ViT(Vision Transformer)는 이미지를 patch로 잘라 self attention을 하는데요, 이 논문에서 모든 patch가 self attention을 하..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 4.

[XAI] CAM - 어이 모델 ! 너 어딜 보는거야

https://arxiv.org/pdf/1512.04150.pdf Learning Deep Features for Discriminative Localization - 2015 기존의 CNN 모델에서는 Input → Conv layers → Fc layers → softmax 의 매커니즘을 통해 특정 이미지를 클래스로 분류하는 학습 과정을 거칩니다. 이는 매우 일반적인 방법으로 마지막 feature map을 flatten 하여 1차원 백터들로 만든 후에 이를 Fully Connected Network를 통과하여 Softmax로 분류하는 것이죠. Learning Deep Features for Discriminative Localization - Introduction ( 논문 발췌 부분 ) Despite..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 6. 28.

논문 리뷰 - YOLOv1 - 욜로! 혁명의 시작!

YOLO 특징 객체 인식을 regression problem으로 접근 단일 네트워크 사용으로 FULL image 에서 bbox, class probabilities 예측 빠른 예측 속도 ( 단일 네트워크 때문 ) 배경에서 오탐지할 가능성이 적음 ( bbox 학습시 각 cell 마다 박스 1개 사용, cell 당 클래스 1개 할당 ) 일반화 가능한 객체 표현을 학습 pascal VOC 데이터셋으로 학습하고 다른 데이터셋을 예측해도 성능이 높음. 지역 제안 기반 모델보다 정확도가 낮음 작은 개체 식별 어려움 v1 ~ v6 까지 지속적으로 노력 입력 이미지와 산출 벡터 구조 객체의 중심이 있는 cell은 객체 인식의 기준으로 정합니다. ( Pr(obj) = 0 or 1 ) 객체의 중심이 있는 cell은 tar..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 5. 26.

논문 리뷰 - Vision Transformer 비전 트랜스포머 part2

https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리소스를 사용 ViT의 단점 inductive bias의 부족으로 인해 CNN보다 데이터가 많이 요구 inductive bias → 학습자가 처음보는 입력에 대한 출력을 예측하기 위해 사용하는 일련의 가정(assumption) CNN은 입력에 대한 출력을 예측하기 위해 대표적으로 translation equivariance와 locality를 가정합니다. locality는 합성곱 연산을 할 때, 특정 영역만 보고 그 안에서 특징을 추출할 수 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.