딥러닝 모델에서 input 입력값으로는 항상 numpy array를 사용합니다.

이미지의 경로를 numpy array로 저장하는 코드와 target 값으로 사용될 라벨링 데이터(json)의 소분류 카테고리만 뽑아서 numpy array로 저장하는 과정에서 문제 발생. 문제 상황 : VIT , Deit 모델을 실행하다가 마지막 훈련 과정에서 TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found object 에러를 마주쳤다. input 값으로 tensor array number 등이 들어와야 한다고 알려주는거 같다. 아무리봐도 모델 코드 자체에는 에러가 없었다. model에 들어가려면 웬만하면 전부 numpy array로 변환해야 한다. 🌟 딥러닝 모델에서 in..

• format_list_bulleted 오답노트
• · 2023. 3. 28.

[팀프로젝트] - 에러 정리

문제상황 1 - 실습 환경 문제 가장 큰 문제. 일단 학습할 때, 비싼 4080을 잘 사용하지 못한다. 맥만 사용해서 아직 익숙하지 않아서 그런지 윈도우 우분투 듀얼 부팅 세팅에 실패하고 wsl2 로 우분투를 사용 중인데 안된다. 일요일에 모두 초기화 하고 처음부터 다시 환경 세팅을 해봐야 할 것 같다. ++ 블로그마다 조금씩 차이가 있어서 이것저것 참고하다가 실패했는데 , 엔비디아 공식 문서를 보는게 좋을 듯하다. 지금와서 보니까 엔비디아 드라이브 버전도 그렇고 쿠다 버전이 12.1인데 좀 수상하다. 우선 파이토치를 import 하고 device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using {device} device") 를 실행해봅니..

• format_list_bulleted 오답노트
• · 2023. 3. 25.

Pytorch 에서 gpu 사용률 늘리기

4080이라는 좋은 그래픽 카드로 바꾸고 데스크탑도 새로 맞췄는데 그렇게만 하면 되는 줄 알았다. 윈도우에서 우분투 환경을 세팅하는데 4일이 넘게 걸렸다... 결국 wsl2 에서 우분투 환경을 만들어주고 프로젝트 과제를 하는데 gpu를 전혀 사용하지 못하고 있다. 위의 사진을 보면 Volatile이라고 적혀있는 가장 오른쪽 부분의 % 가 gpu를 얼마나 사용하는지에 대한 내용이라고 하는데 보다시피 2%에 머물러있다. 1. 배치 사이즈 문제 2. Dataloader를 설정할 때 num_worker를 늘려주기. 보통 gpu 개수 * 4로 한다고 한다. 위의 방법은 학습을 돌릴 때 신경을 써야하는 부분. 앞으로 실시간 gpu 사용량을 보며 학습을 돌려야겠다...

• format_list_bulleted 오답노트
• · 2023. 3. 23.

8.15 - daily diary

이코테 교재 chapter 4 - 구현 , 시뮬레이션 구현이란 ' 머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정'이다. 어떤 문제를 풀든 간에 소스코드를 작성하는 과정은 필수이므로 구현 문제 유형은 모든 범위의 코딩 테스트 문제 유형을 포함한다. 구현하기 어려운 문제라하면 알고리즘은 간단한데 코드가 지나칠 만큼 길어지는 문제, 특정 소수점 자리까지 출력해야하는 문제, 문자열이 입력으로 주여졌을 때 한 문자 단위로 끊어서 리스트에 넣어야 하는(파싱을 해야하는) 문제 등이 까다로운 구현 유형의 문제라고 할 수 있다. 대체로 사소한 조건 성정이 많은 문제일수록 코드로 구현하기가 까다롭다. 파이썬의 itertolls와 같은 표준 라이브러리로 쉽게 짜는 방법도 있다. 이는 언어의 문법을 잘 이해하고 경험이 있어..

• format_list_bulleted 오답노트
• · 2022. 8. 16.