[CNN] Convolution 연산을 도대체 왜 사용하는건데 ?!

Convolution는 왜 Fully Connected Layer 보다 좋을까요? 이미지를 FC Layer에 넣는다고 생각해보면 모든 픽셀 단위를 너무 세세하게 보게됩니다. 한 픽셀씩 너무 자세하게 보고 위치 정보를 무시하기 때문에 픽셀들의 위치를 서로 막 바꿔서 학습하는 것과 다르지 않습니다. ( 퍼즐을 섞는 것과 같습니다. 즉, 위치 정보를 고려하지 않습니다. 예를 들어 귀나 눈이 이미지의 오른쪽 구석에 있다던지...) 그렇다면 CNN의 동작 방식은 어떨까요? CNN은 주변(일부 영역)만 연결합니다. 신경망을 잘 끊어서 위치 정보를 잃지 않도록 하는 것이죠. Convolution은 이미지의 위치별 특징을 찾을 수 있습니다. 선택과 집중을 통해 이미지를 가까이 있는 것들만 연결합니다. 이렇게 하면 위치..

• format_list_bulleted Data science
• · 2024. 1. 5.

[논문리뷰] - ViT를 실시간 애플리케이션으로 사용할 수 있다? - EfficientViT - Memory Efficient Vision Transformer with Cascaded Group Attention

EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Metadata [!meta]- Metadata – PDF Title:: EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Authors:: Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, Yixuan Yuan, Year:: 2023 ItemType:: preprint Keywords:: Computer Science - Computer Vision and Pattern Recognition Related:: AB..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 11. 8.

SAM : Segment Anything - 싹 다 세그멘트 해버려 !

Abstract Next token prediction으로 학습한 GPT가 온갖 task를 잘한다. Computer Vision에서도 이런 만능 모델을 만들고 싶어서 새로운 task, model, data를 개발했다. Segmentation은 당연히 잘하고, 다른 테스크들에서도 성능이 높음. CV 분야에서 파운데이션 모델(Foundation model)을 만드려는 시도 파운데이션 모델(Foundation model)이란 하나의 테스크로 학습시킨 모델이 학습하지 않았던 다양한 분야에 바로 적용될 수 있는 general한 모델 ( ex. gpt ) Motivation 최근에 출시된 대규모의 언어모델 (ex. chat GPT)은 Zero-shot / Few-shot Generalization 성능을 보이고 있..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 9. 4.

논문리뷰 - Swin UNETR - Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

2022년 Lecture Notes in Computer Science 학회에 게재된 논문입니다. NVIDIA 팀에서 개발하고 UNETR에 Swin Transformer를 적용한 모델을 제안하였습니다. 이 모델은 Brain Tumor Segmentation task에서 SOTA를 기록했습니다. Brain Tumor Segmentation은 다양한 Scanner로 뇌를 촬영한 3d input을 받아 Brain Tumor을 Segmentation하는 Task입니다. Input 그림에서도 보다시피 뇌에 대한 MRI 사진이 Flair, t1, t1ce 등 서로 다른 스캐너와 프로토콜을 통해 출력되었습니다. 이런 이미지를 Multi-Modal Image라고 표현하기 때문에 이 분야는 Multi Modal DL 이..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 14.

논문리뷰 - Swin Transformer - ViT를 개선해보자!

https://minyoungxi.tistory.com/52 논문 리뷰 - Vision Transformer 비전 트랜스포머 part2 https://minyoungxi.tistory.com/51 ViT의 장점 transformer 구조를 거의 그대로 사용하기 때문에 확장성이 좋음 large 스케일 학습에서 매우 우수한 성능을 보임 transfer learning 시 CNN보다 훈련에 더 적은 계산 리 minyoungxi.tistory.com 2021년 마이크로소프트 아시아에서 발표한 Swin Transformer에 대해 알아봅시다. ViT(Vision Transformer)는 이미지를 patch로 잘라 self attention을 하는데요, 이 논문에서 모든 patch가 self attention을 하..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 4.

[XAI] CAM - 어이 모델 ! 너 어딜 보는거야

https://arxiv.org/pdf/1512.04150.pdf Learning Deep Features for Discriminative Localization - 2015 기존의 CNN 모델에서는 Input → Conv layers → Fc layers → softmax 의 매커니즘을 통해 특정 이미지를 클래스로 분류하는 학습 과정을 거칩니다. 이는 매우 일반적인 방법으로 마지막 feature map을 flatten 하여 1차원 백터들로 만든 후에 이를 Fully Connected Network를 통과하여 Softmax로 분류하는 것이죠. Learning Deep Features for Discriminative Localization - Introduction ( 논문 발췌 부분 ) Despite..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 6. 28.