Pytorch 에서 gpu 사용률 늘리기

4080이라는 좋은 그래픽 카드로 바꾸고 데스크탑도 새로 맞췄는데 그렇게만 하면 되는 줄 알았다. 윈도우에서 우분투 환경을 세팅하는데 4일이 넘게 걸렸다... 결국 wsl2 에서 우분투 환경을 만들어주고 프로젝트 과제를 하는데 gpu를 전혀 사용하지 못하고 있다. 위의 사진을 보면 Volatile이라고 적혀있는 가장 오른쪽 부분의 % 가 gpu를 얼마나 사용하는지에 대한 내용이라고 하는데 보다시피 2%에 머물러있다. 1. 배치 사이즈 문제 2. Dataloader를 설정할 때 num_worker를 늘려주기. 보통 gpu 개수 * 4로 한다고 한다. 위의 방법은 학습을 돌릴 때 신경을 써야하는 부분. 앞으로 실시간 gpu 사용량을 보며 학습을 돌려야겠다...

• format_list_bulleted 오답노트
• · 2023. 3. 23.

[팀프로젝트] - AI HUB 에서 스케치 데이터 다운받기 (1)

데이터 선정부터 데이터 전처리 , 모델링을 하고 Django로 모델 서빙 배포까지 해보는 프로젝트를 시작했다. 팀원들과 회의를 한 결과 AI HUB에 있는 '스케치, 아이콘 인식용 다양한 추상 이미지 데이터'라는 이미지 데이터를 활용하여 손으로 그린 글씨를 분류해주는 아이템을 만들어보기로 했다. 데이터의 크기는 36.93GB, 허브에 있는 수많은 데이터들에 비해서 데이터가 작은 편이지만 그래도 나의 맥북에서 원활하게 돌릴 수 있을까 걱정이 된다. 역시... 다운로드 받는데만 약 2시간이 넘게 걸렸고 압축도 한 세시간 걸린거 같다.. 당연히 로컬에서는 안돌아가서 코랩에서 하려고 시도했지만 런타임이 끊길때마다 unzip을 해줘야해서 너무 불편하다... 데이터의 구성은 이런식으로 되어있다. 일단 코랩에서 un..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 16.

[DL Basic] - Batch Size 배치 사이즈 정리하기

Batch size Batch란 학습을 할 때 모델에 한 번에 들어가게 되는 데이터 집합을 의미한다고 볼 수 있습니다. 학습할 때 준비한 Train 데이터 전체를 모델에 입력으로 넣을 수 없기 때문에 나눈 것을 Batch라고 생각하면 됩니다. Batch Normalization Batch normalizatiom 은 입력값 x를 평균 0, 분산 1로 표준화하여 활성화 함수로 전달하고 활성화 함수 출력값을 분포를 고르게 합니다. x를 표준화 하는 과정에서 batch size 단위로 평균과 분산값을 계산하는데요. 어떤 배치 사이즈를 선택하느냐에 따라서 평균과 분산값이 달라지므로 성능에 영향을 미치게 됩니다. Batch-Norm 이란 무엇일까요? Gaussian 범위로 activation을 유지시키는 하나의 ..

• format_list_bulleted Data science/Pytorch Basic
• · 2023. 2. 27.

StyleGAN2(CVPR2020) - StyleGAN의 단점을 보완해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 원본 https://minyoungxi.tistory.com/42 StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자 https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제 minyoungxi.tistory.com 필수 논문 : StyleGAN - 이전 포스팅 논문 소개 다양한 고해상도의 이미지를 생성할 수 있습니다. 성능 개선 : 기존의 StyleGAN보다 더 높은 품질의 이미지를 생성하고, 이미지를 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 22.

StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제안합니다. 1024 x 1024 고해상도 사람얼굴 데이터셋 “FFHQ” 발표 Style-based generator StyleGAN 논문에서는 Discriminator나 loss에 관한 설명은 자세하게 나와있지 않고 style-based generator에 대한 설명이 대부분입니다. Style-based generator를 사용한 GAN 구조를 StyleGAN 이라고 합니다. generator를 제외한 다른 부분은 대체로 PGGAN의..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 17.

Django에 Chakra UI 를 적용해보자 !!

npm install react-icons --save 터미널 명령어 react-icon 설치 → 여러가지 아이콘들을 사용할 수 있음. React Icon 리스트를 볼 수 있는 사이트 https://react-icons.github.io/react-icons/ Chakra UI doc https://chakra-ui.com/docs/styled-system/style-props Chakra UI - A simple, modular and accessible component library that gives you the building blocks you need to build your React a Simple, Modular and Accessible UI Components for your Re..

• format_list_bulleted Backend/Django
• · 2023. 2. 13.