[논문리뷰] - TransformerFAM: Feedback attention is working memory - 어텐션! 너 조금씩 깊게 봐봐

이전 논문 : Transformer - attentioon is all you need 1. Introduction 논문이 다루는 task Input : 무한한 길이의 시퀀스 (Infinitely long sequences) Output : 입력 시퀀스에 대한 처리 결과 (Processed output of the input sequence) 해당 task에서 기존 연구 한계점 Transformer의 quadratic attention complexity로 인해 무한한 길이의 입력을 처리하는 데 한계가 있습니다. quadratic attention complexity란 어텐션 메커니즘의 계산 복잡도를 의미합니다. Transformer에서 사용되는 어텐션 메커니즘은 각 토큰이 다른 모든 토큰과의 관계를 계..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 24.

[논문리뷰] - VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time - 마이크로소프트가 내놓은 괴물

Abstract We introduce VASA, a framework for generating lifelike talking faces with appealing visual affective skills (VAS) given a single static image and a speech audio clip. Our premiere model, VASA-1, is capable of not only producing lip movements that are exquisitely synchronized with the audio, but also capturing a large spectrum of facial nuances and natural head motions that contribute to..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 23.

[Medical Series : Can you feel my Heartbeat? ] - 너와 나의 심장에 대해서 알아보자 !

심장이란 어떤 장기인가 심근은 평활근(Smooth muscle)과 횡문근(Striated muscle)의 중간 성질을 가지고 있다. 심장은 심근(myocardium)이라는 특수한 근육으로 만들어진 펌프입니다. 신체에서 근육은 내장이나 혈관벽에 있는 "평활근(Smooth muscle)"과 사지-복부-복벽 등에 있는 "횡문근(Striated muscle)"의 두 종류가 있습니다. 심근은 그 중간 성질을 가진 근육입니다.  횡문근의 특징은 줄무늬 모양이 있다는 것인데, 심장을 현미경으로 관찰하면 내장근육이면서 횡문근과 같은 줄무늬 모양이 보입니다. 그렇다고 해서 손과 발의 근육처럼 자신의 의지대로 움직이거나 멈추게 할 수 있는 수의근(voluntary muscle)은 아닙니다.  더욱이 심근은..

• format_list_bulleted Medical
• · 2024. 4. 22.

[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

Transformer의 탄생 배경자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attention) 메커니즘을 통해 입력과 출력 사이의 의존성을 직접적으로 모델링할 수 있는 트랜스포머가 제안되었습니다. 기존 순차 모델들이 단어 하나하나를 차례로 처리했던 것과 달리, 트랜스포머는 어텐션을 통해 전체 문장을 한번에 참조할 수 있게 되었습니다. 이를 통해 병렬 처리가 가능해져 계산 효율이 크게 향상되었습니다. 또한 문장의 길이에 상관없이 성능이 유지되는 장점도 가지고 있습니다. 이렇게 혁신적인 아이디어를 제시한 ‘Attention is all you need’ 논문은 트랜스포머 모델의 기반이..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 18.

당신의 삶의 질을 높여줄 AI tool 60가지 ! (1)

1. Research - ChatGPT : OPENAI가 출시한 대화 기반 검색입니다. 입력받은 내용을 바탕으로 인간과 같은 텍스트를 이해하고 생성하는 AI 기반 챗봇으로, 자세한 답변과 요약, 설명을 제공하며 연구와 검색을 돕습니다. 너무 유명한 챗지피티죠 ! - Perplexity : 질의를 깊이 이해하고 다양한 소스에서 정확하고 관련성 높은 정보를 간결하게 제공하는 데 특화된 AI 어시스턴스 입니다. https://www.perplexity.ai/ Perplexity Attach images, text, or PDFs. Sign in to attach files. www.perplexity.ai - Bing Chat : 대화와 문맥적으로 관련성 높은 검색 결과를 제공하도록 설계된 마이크로소프트의 B..

• format_list_bulleted Data science/LLM
• · 2024. 2. 17.

[논문리뷰] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics - 헬스케어에 사용되는 LLM들을 조사해보자

ABSTRACT 논문 "A Survey of Large Language Models for Healthcare"는 헬스케어 분야에서 대규모 언어 모델(Large Language Models, LLMs)의 중요성과 발전에 대해 광범위하게 다룹니다. 이 연구는 기존의 사전 훈련된 언어 모델(PLMs)에서부터 최신 LLMs로의 진화를 추적하며, 이러한 모델들이 어떻게 헬스케어 응용 프로그램의 효율성과 효과성을 향상시킬 수 있는지 탐구합니다. 이는 환자 상담, 의료 질문 응답, 진단 지원과 같은 다양한 영역에서 LLMs의 활용 가능성을 시사합니다. 논문은 또한 PLMs와 최신 LLMs 간의 비교를 통해 LLMs의 진보된 능력과 한계를 분석하고, 헬스케어 분야에 적합한 훈련 데이터, 방법론 및 최적화 전략에 대해..

• format_list_bulleted 카테고리 없음
• · 2024. 1. 23.