논문리뷰 - Swin UNETR - Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

2022년 Lecture Notes in Computer Science 학회에 게재된 논문입니다. NVIDIA 팀에서 개발하고 UNETR에 Swin Transformer를 적용한 모델을 제안하였습니다. 이 모델은 Brain Tumor Segmentation task에서 SOTA를 기록했습니다. Brain Tumor Segmentation은 다양한 Scanner로 뇌를 촬영한 3d input을 받아 Brain Tumor을 Segmentation하는 Task입니다. Input 그림에서도 보다시피 뇌에 대한 MRI 사진이 Flair, t1, t1ce 등 서로 다른 스캐너와 프로토콜을 통해 출력되었습니다. 이런 이미지를 Multi-Modal Image라고 표현하기 때문에 이 분야는 Multi Modal DL 이..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 14.

논문리뷰 - Denoising Diffusion Probabilistic Models - 노이즈를 사용했다 지웠다

https://arxiv.org/pdf/2006.11239.pdf Preview 자체 Abstract data에 임의의 noise를 더해주는 과정을 Forward process라고 하며 noise를 제거하는 과정을 reverse process라고 한다. forward process (diffusion process) : data에 noise를 추가하는 과정으로, markov chain을 통해 점진적으로 noise를 더해나간다. reverse process : gaussian noise에서 시작하여 점진적으로 noise를 제거해가는 과정 현실의 복잡한 데이터셋을 확률분포 probability distribution으로 표현할 때 중요한 개념 tractability: Gaussian이나 Laplace dis..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 7.

딥러닝 모델에서 input 입력값으로는 항상 numpy array를 사용합니다.

이미지의 경로를 numpy array로 저장하는 코드와 target 값으로 사용될 라벨링 데이터(json)의 소분류 카테고리만 뽑아서 numpy array로 저장하는 과정에서 문제 발생. 문제 상황 : VIT , Deit 모델을 실행하다가 마지막 훈련 과정에서 TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found object 에러를 마주쳤다. input 값으로 tensor array number 등이 들어와야 한다고 알려주는거 같다. 아무리봐도 모델 코드 자체에는 에러가 없었다. model에 들어가려면 웬만하면 전부 numpy array로 변환해야 한다. 🌟 딥러닝 모델에서 in..

• format_list_bulleted 오답노트
• · 2023. 3. 28.

[DL Basic] - Batch Size 배치 사이즈 정리하기

Batch size Batch란 학습을 할 때 모델에 한 번에 들어가게 되는 데이터 집합을 의미한다고 볼 수 있습니다. 학습할 때 준비한 Train 데이터 전체를 모델에 입력으로 넣을 수 없기 때문에 나눈 것을 Batch라고 생각하면 됩니다. Batch Normalization Batch normalizatiom 은 입력값 x를 평균 0, 분산 1로 표준화하여 활성화 함수로 전달하고 활성화 함수 출력값을 분포를 고르게 합니다. x를 표준화 하는 과정에서 batch size 단위로 평균과 분산값을 계산하는데요. 어떤 배치 사이즈를 선택하느냐에 따라서 평균과 분산값이 달라지므로 성능에 영향을 미치게 됩니다. Batch-Norm 이란 무엇일까요? Gaussian 범위로 activation을 유지시키는 하나의 ..

• format_list_bulleted Data science/Pytorch Basic
• · 2023. 2. 27.

StyleGAN2(CVPR2020) - StyleGAN의 단점을 보완해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 원본 https://minyoungxi.tistory.com/42 StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자 https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제 minyoungxi.tistory.com 필수 논문 : StyleGAN - 이전 포스팅 논문 소개 다양한 고해상도의 이미지를 생성할 수 있습니다. 성능 개선 : 기존의 StyleGAN보다 더 높은 품질의 이미지를 생성하고, 이미지를 ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 22.

StyleGAN 2019 - 고해상도 이미지를 고퀄로 생성해보자

https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제안합니다. 1024 x 1024 고해상도 사람얼굴 데이터셋 “FFHQ” 발표 Style-based generator StyleGAN 논문에서는 Discriminator나 loss에 관한 설명은 자세하게 나와있지 않고 style-based generator에 대한 설명이 대부분입니다. Style-based generator를 사용한 GAN 구조를 StyleGAN 이라고 합니다. generator를 제외한 다른 부분은 대체로 PGGAN의..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 2. 17.