[논문리뷰] - VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time - 마이크로소프트가 내놓은 괴물

[논문리뷰] - VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time - 마이크로소프트가 내놓은 괴물

Abstract We introduce VASA, a framework for generating lifelike talking faces with appealing visual affective skills (VAS) given a single static image and a speech audio clip. Our premiere model, VASA-1, is capable of not only producing lip movements that are exquisitely synchronized with the audio, but also capturing a large spectrum of facial nuances and natural head motions that contribute to..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2024. 4. 23.
[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

Transformer의 탄생 배경자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attention) 메커니즘을 통해 입력과 출력 사이의 의존성을 직접적으로 모델링할 수 있는 트랜스포머가 제안되었습니다. 기존 순차 모델들이 단어 하나하나를 차례로 처리했던 것과 달리, 트랜스포머는 어텐션을 통해 전체 문장을 한번에 참조할 수 있게 되었습니다. 이를 통해 병렬 처리가 가능해져 계산 효율이 크게 향상되었습니다. 또한 문장의 길이에 상관없이 성능이 유지되는 장점도 가지고 있습니다. 이렇게 혁신적인 아이디어를 제시한 ‘Attention is all you need’ 논문은 트랜스포머 모델의 기반이..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2024. 4. 18.
당신의 삶의 질을 높여줄 AI tool 60가지 ! (1)

당신의 삶의 질을 높여줄 AI tool 60가지 ! (1)

1. Research - ChatGPT : OPENAI가 출시한 대화 기반 검색입니다. 입력받은 내용을 바탕으로 인간과 같은 텍스트를 이해하고 생성하는 AI 기반 챗봇으로, 자세한 답변과 요약, 설명을 제공하며 연구와 검색을 돕습니다. 너무 유명한 챗지피티죠 ! - Perplexity : 질의를 깊이 이해하고 다양한 소스에서 정확하고 관련성 높은 정보를 간결하게 제공하는 데 특화된 AI 어시스턴스 입니다. https://www.perplexity.ai/ Perplexity Attach images, text, or PDFs. Sign in to attach files. www.perplexity.ai - Bing Chat : 대화와 문맥적으로 관련성 높은 검색 결과를 제공하도록 설계된 마이크로소프트의 B..

  • format_list_bulleted Data science/LLM
  • · 2024. 2. 17.
[생존분석 깊이 이해해보기] - 생존분석을 그려보자 !

[생존분석 깊이 이해해보기] - 생존분석을 그려보자 !

생존분석((Survival Analysis))은 뭘까요 ? (생존분석 포스팅 v1)[https://minyoungxi.tistory.com/88] 생존분석((Survival Analysis))은 관심있는 어떤 사건이 발생할 때까지 경과된 시간 ((time to event)) 을 분석하는 기법입니다. 이름이 생존분석이라서 무조건 '죽음과 생존' 이런 느낌으로 받아들이실 수 있지만, 생존분석은 주로 '시간'과 관련된 데이터를 다루는 통계학의 한 분야로 생각하시면 됩니다. 생존분석의 '생존'은 의학 분야에서 유래했지만, 이 분석 방법은 다양한 분야에서 사용됩니다 ! 생존분석의 핵심은 어떤 사건이 발생할 때까지 걸리는 시간을 분석하는 것이며, 이를 생존시간((Survi..

  • format_list_bulleted Data science/R programming & 통계
  • · 2024. 1. 10.
[CNN] Convolution 연산을 도대체 왜 사용하는건데 ?!

[CNN] Convolution 연산을 도대체 왜 사용하는건데 ?!

Convolution는 왜 Fully Connected Layer 보다 좋을까요? 이미지를 FC Layer에 넣는다고 생각해보면 모든 픽셀 단위를 너무 세세하게 보게됩니다. 한 픽셀씩 너무 자세하게 보고 위치 정보를 무시하기 때문에 픽셀들의 위치를 서로 막 바꿔서 학습하는 것과 다르지 않습니다. ( 퍼즐을 섞는 것과 같습니다. 즉, 위치 정보를 고려하지 않습니다. 예를 들어 귀나 눈이 이미지의 오른쪽 구석에 있다던지...) 그렇다면 CNN의 동작 방식은 어떨까요? CNN은 주변(일부 영역)만 연결합니다. 신경망을 잘 끊어서 위치 정보를 잃지 않도록 하는 것이죠. Convolution은 이미지의 위치별 특징을 찾을 수 있습니다. 선택과 집중을 통해 이미지를 가까이 있는 것들만 연결합니다. 이렇게 하면 위치..

  • format_list_bulleted Data science
  • · 2024. 1. 5.
[Related] self-attention과 residual block 비교

[Related] self-attention과 residual block 비교

EfficientViT - [https://minyoungxi.tistory.com/94] multi-head self attention은 본 논문의 연구에서 텐서의 재구성과 element wise 연산 때문에 메모리 사용이 비효율적이라고 언급되었습니다. 트랜스포머 모델은 일반적으로 메모리 바운드되며, 특히 MHSA에서의 메모리 바운드 연산은 GPU/CPUs의 컴퓨팅 파워를 충분히 활용하지 못하게 하여 모델의 실행 속도에 부정적인 영향을 줍니다. MHSA와 피드-포워드 네트워크(FFN) 층의 비율을 적절히 조정함으로써 메모리 접근 시간을 상당히 줄일 수 있으며, 각 어텐션 헤드에 다양한 특징을 제공함으로써 중복을 줄이고 계산 효율성을 향상시킬 수 있다고 합니다. 최근 연구에 따르면 메모리 비효율적인 연산..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2023. 11. 8.
반응형
LIST