논문 리뷰 - Vision Transformer 비전 트랜스포머 ( 어텐션을 CV에 ?? ) part1

우선 CNN ViT는 비전 분야의 새로운 패러다임입니다. 기존의 비전 분야에서는 CNN을 사용했습니다. CNN은 필터가 움직이면서 전체의 이미지를 부분적으로 인식하게 되죠? CNN은 한 번 연산시 국소적으로 이미지를 파악할 수 밖에 없습니다. ( 즉, 이미지 전체를 고려할 수 없습니다. ) 따라서 한 번에 이미지를 고려할 수 있도록 'attention'기법을 사용합니다. 초기에는 cnn과 attention 을 합친 모델이 많이 연구되었습니다. 하지만 본 논문에 등장하는 ViT는 합성곱 연산을 사용하지 않고 attention만을 사용하여 모델을 구성합니다. ( 현재 ImageNet 분류 1, 2위 등극. 3~7위는 EffenNet CNN 기반 모델. ) CNN + attention 각 픽셀별로 중요한 정도..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.

딥러닝 모델에서 input 입력값으로는 항상 numpy array를 사용합니다.

이미지의 경로를 numpy array로 저장하는 코드와 target 값으로 사용될 라벨링 데이터(json)의 소분류 카테고리만 뽑아서 numpy array로 저장하는 과정에서 문제 발생. 문제 상황 : VIT , Deit 모델을 실행하다가 마지막 훈련 과정에서 TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found object 에러를 마주쳤다. input 값으로 tensor array number 등이 들어와야 한다고 알려주는거 같다. 아무리봐도 모델 코드 자체에는 에러가 없었다. model에 들어가려면 웬만하면 전부 numpy array로 변환해야 한다. 🌟 딥러닝 모델에서 in..

• format_list_bulleted 오답노트
• · 2023. 3. 28.

[DL Basic] - Batch Size 배치 사이즈 정리하기

Batch size Batch란 학습을 할 때 모델에 한 번에 들어가게 되는 데이터 집합을 의미한다고 볼 수 있습니다. 학습할 때 준비한 Train 데이터 전체를 모델에 입력으로 넣을 수 없기 때문에 나눈 것을 Batch라고 생각하면 됩니다. Batch Normalization Batch normalizatiom 은 입력값 x를 평균 0, 분산 1로 표준화하여 활성화 함수로 전달하고 활성화 함수 출력값을 분포를 고르게 합니다. x를 표준화 하는 과정에서 batch size 단위로 평균과 분산값을 계산하는데요. 어떤 배치 사이즈를 선택하느냐에 따라서 평균과 분산값이 달라지므로 성능에 영향을 미치게 됩니다. Batch-Norm 이란 무엇일까요? Gaussian 범위로 activation을 유지시키는 하나의 ..

• format_list_bulleted Data science/Pytorch Basic
• · 2023. 2. 27.

StyleGAN2(CVPR2020) - StyleGAN의 단점을 보완해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 원본 https://minyoungxi.tistory.com/42 StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자 https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제 minyoungxi.tistory.com 필수 논문 : StyleGAN - 이전 포스팅 논문 소개 다양한 고해상도의 이미지를 생성할 수 있습니다. 성능 개선 : 기존의 StyleGAN보다 더 높은 품질의 이미지를 생성하고, 이미지를 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 22.

StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제안합니다. 1024 x 1024 고해상도 사람얼굴 데이터셋 “FFHQ” 발표 Style-based generator StyleGAN 논문에서는 Discriminator나 loss에 관한 설명은 자세하게 나와있지 않고 style-based generator에 대한 설명이 대부분입니다. Style-based generator를 사용한 GAN 구조를 StyleGAN 이라고 합니다. generator를 제외한 다른 부분은 대체로 PGGAN의..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 17.

Kaggle - 호텔 예약 데이터 분석 및 모델링 1 ( Hotel Reservation )

https://www.kaggle.com/datasets/ahsan81/hotel-reservations-classification-dataset Hotel Reservations Dataset Can you predict if customer is going to cancel the reservation ? www.kaggle.com Hotel Reservations 온라인 예약 플랫폼을 통해서 예약한 호텔에 대해 고객들의 선택은 굉장히 유동적입니다. 예약 취소나 노쇼가 흔하게 일어나죠. 호텔 입장에서는 이런 상황을 미리 예측하고 줄여야 손해를 막을 수 있습니다. EDA와 시각화를 해보고 다양한 모델들을 만들어봅시다. 시각화에 굉장히 많은 시간을 투자했습니다. 컬럼이 많아서 시각화 하여 서로의 관계를 ..

• format_list_bulleted Data science/Machine Learning Kaggle
• · 2023. 2. 8.