논문리뷰 - Denoising Diffusion Probabilistic Models - 노이즈를 사용했다 지웠다

https://arxiv.org/pdf/2006.11239.pdf Preview 자체 Abstract data에 임의의 noise를 더해주는 과정을 Forward process라고 하며 noise를 제거하는 과정을 reverse process라고 한다. forward process (diffusion process) : data에 noise를 추가하는 과정으로, markov chain을 통해 점진적으로 noise를 더해나간다. reverse process : gaussian noise에서 시작하여 점진적으로 noise를 제거해가는 과정 현실의 복잡한 데이터셋을 확률분포 probability distribution으로 표현할 때 중요한 개념 tractability: Gaussian이나 Laplace dis..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 7.

논문리뷰 - Swin Transformer - ViT를 개선해보자!

https://minyoungxi.tistory.com/52 논문 리뷰 - Vision Transformer 비전 트랜스포머 part2 https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리 minyoungxi.tistory.com 2021년 마이크로소프트 아시아에서 발표한 Swin Transformer에 대해 알아봅시다. ViT(Vision Transformer)는 이미지를 patch로 잘라 self attention을 하는데요, 이 논문에서 모든 patch가 self attention을 하..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 7. 4.

[XAI] CAM - 어이 모델 ! 너 어딜 보는거야

https://arxiv.org/pdf/1512.04150.pdf Learning Deep Features for Discriminative Localization - 2015 기존의 CNN 모델에서는 Input → Conv layers → Fc layers → softmax 의 매커니즘을 통해 특정 이미지를 클래스로 분류하는 학습 과정을 거칩니다. 이는 매우 일반적인 방법으로 마지막 feature map을 flatten 하여 1차원 백터들로 만든 후에 이를 Fully Connected Network를 통과하여 Softmax로 분류하는 것이죠. Learning Deep Features for Discriminative Localization - Introduction ( 논문 발췌 부분 ) Despite..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 6. 28.

[Kaggle] - spaceship titanic - 2912년에 오신걸 환영합니다.

https://www.kaggle.com/search Search | Kaggle www.kaggle.com 안녕하세요 ! 오늘은 Kaggle의 spaceship titanic 데이터로 머신러닝 End to End를 진행했습니다. 총 3시간정도 소요됐고 머신러닝의 전체적인 workflow를 연습하는 과정삼아 처음부터 끝까지 한 번에 했습니다. 위의 링크로 들어가시면 kaggle 대회의 overview 와 데이터셋을 다운받으실 수 있습니다. Data 다운받는 방법 kaggle에 등록된 데이터를 다운받는 방법은 두 가지가 있습니다. 우선 그냥 링크에 들어가서 파일로 올라온 데이터들을 다운 받으신 후 실습할 디렉토리에 저장하는 방법입니다. 이건 너무 쉽죠 ?! 하지만 저는 데이터 셋을 하나씩 다 다운 받은 후..

• format_list_bulleted Machine Learning Kaggle
• · 2023. 6. 28.

논문 리뷰 - YOLOv1 - 욜로! 혁명의 시작!

YOLO 특징 객체 인식을 regression problem으로 접근 단일 네트워크 사용으로 FULL image 에서 bbox, class probabilities 예측 빠른 예측 속도 ( 단일 네트워크 때문 ) 배경에서 오탐지할 가능성이 적음 ( bbox 학습시 각 cell 마다 박스 1개 사용, cell 당 클래스 1개 할당 ) 일반화 가능한 객체 표현을 학습 pascal VOC 데이터셋으로 학습하고 다른 데이터셋을 예측해도 성능이 높음. 지역 제안 기반 모델보다 정확도가 낮음 작은 개체 식별 어려움 v1 ~ v6 까지 지속적으로 노력 입력 이미지와 산출 벡터 구조 객체의 중심이 있는 cell은 객체 인식의 기준으로 정합니다. ( Pr(obj) = 0 or 1 ) 객체의 중심이 있는 cell은 tar..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2023. 5. 26.

딥러닝 모델에서 input 입력값으로는 항상 numpy array를 사용합니다.

이미지의 경로를 numpy array로 저장하는 코드와 target 값으로 사용될 라벨링 데이터(json)의 소분류 카테고리만 뽑아서 numpy array로 저장하는 과정에서 문제 발생. 문제 상황 : VIT , Deit 모델을 실행하다가 마지막 훈련 과정에서 TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found object 에러를 마주쳤다. input 값으로 tensor array number 등이 들어와야 한다고 알려주는거 같다. 아무리봐도 모델 코드 자체에는 에러가 없었다. model에 들어가려면 웬만하면 전부 numpy array로 변환해야 한다. 🌟 딥러닝 모델에서 in..

• format_list_bulleted 오답노트
• · 2023. 3. 28.