[논문리뷰] - VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time - 마이크로소프트가 내놓은 괴물

Abstract We introduce VASA, a framework for generating lifelike talking faces with appealing visual affective skills (VAS) given a single static image and a speech audio clip. Our premiere model, VASA-1, is capable of not only producing lip movements that are exquisitely synchronized with the audio, but also capturing a large spectrum of facial nuances and natural head motions that contribute to..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 23.

[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

Transformer의 탄생 배경자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attention) 메커니즘을 통해 입력과 출력 사이의 의존성을 직접적으로 모델링할 수 있는 트랜스포머가 제안되었습니다. 기존 순차 모델들이 단어 하나하나를 차례로 처리했던 것과 달리, 트랜스포머는 어텐션을 통해 전체 문장을 한번에 참조할 수 있게 되었습니다. 이를 통해 병렬 처리가 가능해져 계산 효율이 크게 향상되었습니다. 또한 문장의 길이에 상관없이 성능이 유지되는 장점도 가지고 있습니다. 이렇게 혁신적인 아이디어를 제시한 ‘Attention is all you need’ 논문은 트랜스포머 모델의 기반이..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 18.

당신의 삶의 질을 높여줄 AI tool 60가지 ! (1)

1. Research - ChatGPT : OPENAI가 출시한 대화 기반 검색입니다. 입력받은 내용을 바탕으로 인간과 같은 텍스트를 이해하고 생성하는 AI 기반 챗봇으로, 자세한 답변과 요약, 설명을 제공하며 연구와 검색을 돕습니다. 너무 유명한 챗지피티죠 ! - Perplexity : 질의를 깊이 이해하고 다양한 소스에서 정확하고 관련성 높은 정보를 간결하게 제공하는 데 특화된 AI 어시스턴스 입니다. https://www.perplexity.ai/ Perplexity Attach images, text, or PDFs. Sign in to attach files. www.perplexity.ai - Bing Chat : 대화와 문맥적으로 관련성 높은 검색 결과를 제공하도록 설계된 마이크로소프트의 B..

• format_list_bulleted Data science/LLM
• · 2024. 2. 17.

[논문리뷰] - 구글이 내놓은 의료 도메인 특화 LLM- Large Language Models Encode Clinical Knowledge

Large Language Models Encode Clinical Knowledge Metadata Title:: Large Language Models Encode Clinical Knowledge Authors:: Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Ag..

• format_list_bulleted 카테고리 없음
• · 2023. 11. 10.

논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 27.

[MLOps] - 로컬 쿠버네티스 환경 만들어보기

로컬 쿠버네티스 로컬 쿠버네티스는 물리 머신에서 손쉽게 쿠버네티스를 테스트할 수 있는 방법이다. 한 대의 머신에 올인원으로 구성되어 이중화가 보장되지 않는 점에 주의해야 한다. 미니큐버 Minikube 미니큐브 (Minikube)는 물리머신에 로컬 쿠버네티스를 쉽게 구축하고 실행할 수 있는 도구로, 쿠버네티스의 SIG-Cluster-Lifecycle이라는 분과회에서 만들었다. 미니큐브는 단일 노드 구성이라 여러 대의 구성이 필요한 쿠버네티스 기능 등은 사용할 수 없다. 또한, 미니큐브는 로컬 가상 머신에 쿠버네티스를 설치하기 위해 하이퍼 바이저가 필요하다. 미니큐브 설치 brew install minikube 미니큐브 설치 후 버전 확인 minikube version hyperkit은 m1 맥에서 설치가..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 25.