논문 리뷰 - Vision Transformer 비전 트랜스포머 part2

https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리소스를 사용 ViT의 단점 inductive bias의 부족으로 인해 CNN보다 데이터가 많이 요구 inductive bias → 학습자가 처음보는 입력에 대한 출력을 예측하기 위해 사용하는 일련의 가정(assumption) CNN은 입력에 대한 출력을 예측하기 위해 대표적으로 translation equivariance와 locality를 가정합니다. locality는 합성곱 연산을 할 때, 특정 영역만 보고 그 안에서 특징을 추출할 수 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.

논문 리뷰 - Vision Transformer 비전 트랜스포머 ( 어텐션을 CV에 ?? ) part1

우선 CNN ViT는 비전 분야의 새로운 패러다임입니다. 기존의 비전 분야에서는 CNN을 사용했습니다. CNN은 필터가 움직이면서 전체의 이미지를 부분적으로 인식하게 되죠? CNN은 한 번 연산시 국소적으로 이미지를 파악할 수 밖에 없습니다. ( 즉, 이미지 전체를 고려할 수 없습니다. ) 따라서 한 번에 이미지를 고려할 수 있도록 'attention'기법을 사용합니다. 초기에는 cnn과 attention 을 합친 모델이 많이 연구되었습니다. 하지만 본 논문에 등장하는 ViT는 합성곱 연산을 사용하지 않고 attention만을 사용하여 모델을 구성합니다. ( 현재 ImageNet 분류 1, 2위 등극. 3~7위는 EffenNet CNN 기반 모델. ) CNN + attention 각 픽셀별로 중요한 정도..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.

[팀프로젝트] 이미지의 경로와 json 소분류 카테고리를 따로 저장해보자

라벨링 파일 JSON -> numpy array 지난번에 다운받은 데이터들 중에서 sketch 데이터만 사용하기로 했다. 데이터의 크기가 너무 크기 때문에 카테고리가 '동식물'인 스케치 데이터로 범위를 축소했다. training 이미지 데이터(.jpg), training 라벨링 데이터(.json), validation 이미지 데이터 , validation 라벨링 데이터 각 폴더에는 중분류 , 소분류로 나눠진 폴더가 세 겹으로 쌓여있다. 각 폴더들을 모두 탐색하여 json 파일의 소분류만 추출하여 데이터 프레임으로 만들었다. 이후에 모델링을 할 때 사용해야 하므로 데이터 프레임을 넘파이 배열로 저장했다. import os import json import pandas as pd # define the ro..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 25.

[팀프로젝트] - AI HUB 에서 스케치 데이터 다운받기 (1)

데이터 선정부터 데이터 전처리 , 모델링을 하고 Django로 모델 서빙 배포까지 해보는 프로젝트를 시작했다. 팀원들과 회의를 한 결과 AI HUB에 있는 '스케치, 아이콘 인식용 다양한 추상 이미지 데이터'라는 이미지 데이터를 활용하여 손으로 그린 글씨를 분류해주는 아이템을 만들어보기로 했다. 데이터의 크기는 36.93GB, 허브에 있는 수많은 데이터들에 비해서 데이터가 작은 편이지만 그래도 나의 맥북에서 원활하게 돌릴 수 있을까 걱정이 된다. 역시... 다운로드 받는데만 약 2시간이 넘게 걸렸고 압축도 한 세시간 걸린거 같다.. 당연히 로컬에서는 안돌아가서 코랩에서 하려고 시도했지만 런타임이 끊길때마다 unzip을 해줘야해서 너무 불편하다... 데이터의 구성은 이런식으로 되어있다. 일단 코랩에서 un..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 16.

[DL Basic] - Batch Size 배치 사이즈 정리하기

Batch size Batch란 학습을 할 때 모델에 한 번에 들어가게 되는 데이터 집합을 의미한다고 볼 수 있습니다. 학습할 때 준비한 Train 데이터 전체를 모델에 입력으로 넣을 수 없기 때문에 나눈 것을 Batch라고 생각하면 됩니다. Batch Normalization Batch normalizatiom 은 입력값 x를 평균 0, 분산 1로 표준화하여 활성화 함수로 전달하고 활성화 함수 출력값을 분포를 고르게 합니다. x를 표준화 하는 과정에서 batch size 단위로 평균과 분산값을 계산하는데요. 어떤 배치 사이즈를 선택하느냐에 따라서 평균과 분산값이 달라지므로 성능에 영향을 미치게 됩니다. Batch-Norm 이란 무엇일까요? Gaussian 범위로 activation을 유지시키는 하나의 ..

• format_list_bulleted Data science/Pytorch Basic
• · 2023. 2. 27.

StyleGAN2(CVPR2020) - StyleGAN의 단점을 보완해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 원본 https://minyoungxi.tistory.com/42 StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자 https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제 minyoungxi.tistory.com 필수 논문 : StyleGAN - 이전 포스팅 논문 소개 다양한 고해상도의 이미지를 생성할 수 있습니다. 성능 개선 : 기존의 StyleGAN보다 더 높은 품질의 이미지를 생성하고, 이미지를 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 22.