반응형
LIST
Accurate structure prediction of biomolecular interactions with AlphaFold 3논문 링크 : https://www.nature.com/articles/s41586-024-07487-w Nature에 엄청난 논문이 나왔었죠. Alphafold1이 나왔을 때 사람들이 엄청 놀랐는데, 벌써 세 번째 모델이 나왔습니다. 2024년 11월에 Publish된 해당 논문은 생성 모델이, 인공지능이 실제로 바이오 분야에 엄청난 도움이 된다는 것을 가장 잘 느끼게 해줍니다. 해당 논문 리뷰 전에 생성 모델의 기초가 되는 부분들을 리뷰해보면서 가봅시다. Diffusion우선 Diffusion 모델의 발전 과정과 개념에 대해서 리뷰를 하고 넘어가도록 하겠습니다.di..
Impact Factor : 1.7 Journal Impact Factor (2023) Citations : 7 IntroductionSound analysis에 관련된 프로젝트를 처음으로 참여하게 되어서 관련된 논문을 찾아보던 중 가장 유사한 내용을 연구한 페이퍼를 찾게 되어서 소개드립니다. 이 페이퍼는 기침 소리를 사용하여 여러 질병을 자동으로 진단하는 새로운 기계학습 모델인 DKPNet41에 대해 설명하고 있습니다. 연구 목적 : Covid-19, 심부전, 급성 천식, 정상 상태를 포함하는 4가지 진단 카테고리에 대한 기침 소리 데이터를 수집하고, 이를 이용해 자동 진단 모델을 개발 및 검증. - 4-class cough detection -> Covid-19, heart failure, actur..
1. Introduction 생체신호와 관련된 프로젝트를 진행하고 있는데, 가장 어려운 부분은 역시나 메디컬 도메인 지식입니다.작년 말부터 진행 중이었던 현재 프로젝트를 너무 데이터 그 자체와 약간의 도메인 지식 그리고 인공지능 모델링 측면에서만 봐서 그런지 너무나 더딘 개선 속도가 마음에 걸려서 처음으로 돌아왔습니다. 많은 생체신호 데이터를 사용 중이지만, 그 중에서도 가장 중심적으로 활용이 되어야 하는 ECG와 PPG에 관해서 조금 더 deep하게 알아볼 것입니다. 개별적인 논문을 모두 자세히 보려고 했지만, 사실 ECG라는 데이터로 할 수 있는 연구가 너무나 많다보니 Feature Extraction 역시 각 연구의 목적에 따라 처리 방법이 너무나 다릅니다. 제가 가지고 있는 데이터는 125Hz인..
논문 요약 FlashAttention 2는 FlashAttention의 후속 논문으로, GPU에서 더욱 효율적인 어텐션 연산을 수행하기 위한 최적화 기법들을 제안합니다. 기존의 Attention 연산과의 차이점을 비교해보며 본 논문의 주요 Contribution을 위주로 한 번 살펴보겠습니다. Contribution 1. 알고리즘 최적화를 통한 비-행렬곱 연산 감소- FlashAttention-2는 softmax 연산 등에서 불필요한 연산을 제거하고 행렬곱 위주의 연산을 수행하도록 알고리즘을 개선했습니다.- GPU에서 행렬곱이 훨씬 빠르게 수행되므로 전체 연산 효율이 크게 향상되었습니다.- 반면 기존의 어텐션 구현에서는 비-행렬곱 연산이 상대적으로 많았습니다.비행렬곱 연산(non-matrix mult..
1. Interesting Point"We identify that a key weakness of such models is their inability to perform content-based reasoning, and make several improvements. First, simply letting the SSM parameters be functions of the input addresses their weakness with discrete modalities, allowing the model to selectively propagate or forget information along the sequence length dimension depending on the current..