반응형
LIST
이전 논문 : Transformer - attentioon is all you need 1. Introduction 논문이 다루는 task Input : 무한한 길이의 시퀀스 (Infinitely long sequences) Output : 입력 시퀀스에 대한 처리 결과 (Processed output of the input sequence) 해당 task에서 기존 연구 한계점 Transformer의 quadratic attention complexity로 인해 무한한 길이의 입력을 처리하는 데 한계가 있습니다. quadratic attention complexity란 어텐션 메커니즘의 계산 복잡도를 의미합니다. Transformer에서 사용되는 어텐션 메커니즘은 각 토큰이 다른 모든 토큰과의 관계를 계..
SimCLR v1 이미지 데이터의 정답 label이 없는 상황에서 효과적으로 visual representation을 추출하는 SimCLR이라는 이름의 unsupervised learning algorithm을 소개합니다. SimCLR은 data augmentation을 통해 얻은 postive/ negative sample들에 대해 contrastive learning을 적용시켰으며, 성능 측면에서 supervised learning으로 학습한 모델들에 준하는 모습을 보여줍니다. Contrastive Learning Framework Unsupervised Learning이란 데이터의 label 없이 네트워크 모델을 학습하는 것을 의미합니다. 이전에 Computer vision 분야에서는 이미지를 임의..
https://arxiv.org/pdf/1912.04958.pdf 논문 본문의 링크입니다. Contribution 본 논문에서 제안된 style-based generator로 고해상도 이미지를 높은 퀄리티로 생성합니다. Disentanglement를 측정하는 지표 두가지를 제안합니다. 1024 x 1024 고해상도 사람얼굴 데이터셋 “FFHQ” 발표 Style-based generator StyleGAN 논문에서는 Discriminator나 loss에 관한 설명은 자세하게 나와있지 않고 style-based generator에 대한 설명이 대부분입니다. Style-based generator를 사용한 GAN 구조를 StyleGAN 이라고 합니다. generator를 제외한 다른 부분은 대체로 PGGAN의..