논문 리뷰 - Vision Transformer 비전 트랜스포머 part2

https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리소스를 사용 ViT의 단점 inductive bias의 부족으로 인해 CNN보다 데이터가 많이 요구 inductive bias → 학습자가 처음보는 입력에 대한 출력을 예측하기 위해 사용하는 일련의 가정(assumption) CNN은 입력에 대한 출력을 예측하기 위해 대표적으로 translation equivariance와 locality를 가정합니다. locality는 합성곱 연산을 할 때, 특정 영역만 보고 그 안에서 특징을 추출할 수 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.

논문 리뷰 - Vision Transformer 비전 트랜스포머 ( 어텐션을 CV에 ?? ) part1

우선 CNN ViT는 비전 분야의 새로운 패러다임입니다. 기존의 비전 분야에서는 CNN을 사용했습니다. CNN은 필터가 움직이면서 전체의 이미지를 부분적으로 인식하게 되죠? CNN은 한 번 연산시 국소적으로 이미지를 파악할 수 밖에 없습니다. ( 즉, 이미지 전체를 고려할 수 없습니다. ) 따라서 한 번에 이미지를 고려할 수 있도록 'attention'기법을 사용합니다. 초기에는 cnn과 attention 을 합친 모델이 많이 연구되었습니다. 하지만 본 논문에 등장하는 ViT는 합성곱 연산을 사용하지 않고 attention만을 사용하여 모델을 구성합니다. ( 현재 ImageNet 분류 1, 2위 등극. 3~7위는 EffenNet CNN 기반 모델. ) CNN + attention 각 픽셀별로 중요한 정도..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 4. 6.

딥러닝 모델에서 input 입력값으로는 항상 numpy array를 사용합니다.

이미지의 경로를 numpy array로 저장하는 코드와 target 값으로 사용될 라벨링 데이터(json)의 소분류 카테고리만 뽑아서 numpy array로 저장하는 과정에서 문제 발생. 문제 상황 : VIT , Deit 모델을 실행하다가 마지막 훈련 과정에서 TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found object 에러를 마주쳤다. input 값으로 tensor array number 등이 들어와야 한다고 알려주는거 같다. 아무리봐도 모델 코드 자체에는 에러가 없었다. model에 들어가려면 웬만하면 전부 numpy array로 변환해야 한다. 🌟 딥러닝 모델에서 in..

• format_list_bulleted 오답노트
• · 2023. 3. 28.

[팀프로젝트] - Tensorflow Resnet50

from tensorflow.keras.layers import Input, Lambda, Dense, Flatten from tensorflow.keras.models import Model from tensorflow.keras.applications.inception_v3 import InceptionV3 from tensorflow.keras.applications.inception_v3 import InceptionV3 from tensorflow.keras.applications import EfficientNetB0 from tensorflow.keras.applications import ResNet50 from tensorflow.keras.applications.resnet50 impo..

• format_list_bulleted 카테고리 없음
• · 2023. 3. 25.

[팀프로젝트] - 에러 정리

문제상황 1 - 실습 환경 문제 가장 큰 문제. 일단 학습할 때, 비싼 4080을 잘 사용하지 못한다. 맥만 사용해서 아직 익숙하지 않아서 그런지 윈도우 우분투 듀얼 부팅 세팅에 실패하고 wsl2 로 우분투를 사용 중인데 안된다. 일요일에 모두 초기화 하고 처음부터 다시 환경 세팅을 해봐야 할 것 같다. ++ 블로그마다 조금씩 차이가 있어서 이것저것 참고하다가 실패했는데 , 엔비디아 공식 문서를 보는게 좋을 듯하다. 지금와서 보니까 엔비디아 드라이브 버전도 그렇고 쿠다 버전이 12.1인데 좀 수상하다. 우선 파이토치를 import 하고 device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using {device} device") 를 실행해봅니..

• format_list_bulleted 오답노트
• · 2023. 3. 25.

[팀프로젝트] 이미지의 경로와 json 소분류 카테고리를 따로 저장해보자

라벨링 파일 JSON -> numpy array 지난번에 다운받은 데이터들 중에서 sketch 데이터만 사용하기로 했다. 데이터의 크기가 너무 크기 때문에 카테고리가 '동식물'인 스케치 데이터로 범위를 축소했다. training 이미지 데이터(.jpg), training 라벨링 데이터(.json), validation 이미지 데이터 , validation 라벨링 데이터 각 폴더에는 중분류 , 소분류로 나눠진 폴더가 세 겹으로 쌓여있다. 각 폴더들을 모두 탐색하여 json 파일의 소분류만 추출하여 데이터 프레임으로 만들었다. 이후에 모델링을 할 때 사용해야 하므로 데이터 프레임을 넘파이 배열로 저장했다. import os import json import pandas as pd # define the ro..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 25.