[논문리뷰] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning - 더 빠르고 더 좋다 !

논문 요약 FlashAttention 2는 FlashAttention의 후속 논문으로, GPU에서 더욱 효율적인 어텐션 연산을 수행하기 위한 최적화 기법들을 제안합니다. 기존의 Attention 연산과의 차이점을 비교해보며  본 논문의 주요 Contribution을 위주로 한 번 살펴보겠습니다.  Contribution 1. 알고리즘 최적화를 통한 비-행렬곱 연산 감소- FlashAttention-2는 softmax 연산 등에서 불필요한 연산을 제거하고 행렬곱 위주의 연산을 수행하도록 알고리즘을 개선했습니다.- GPU에서 행렬곱이 훨씬 빠르게 수행되므로 전체 연산 효율이 크게 향상되었습니다.- 반면 기존의 어텐션 구현에서는 비-행렬곱 연산이 상대적으로 많았습니다.비행렬곱 연산(non-matrix mult..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 28.

[논문리뷰] - ⭐️Mamba: Linear-Time Sequence Modeling with Selective State Spaces⭐️ - 맘바 ! Transformer의 대체자 ?

1. Interesting Point"We identify that a key weakness of such models is their inability to perform content-based reasoning, and make several improvements. First, simply letting the SSM parameters be functions of the input addresses their weakness with discrete modalities, allowing the model to selectively propagate or forget information along the sequence length dimension depending on the current..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 26.

[논문리뷰] - xLSTM: Extended Long Short-Term Memory - LSTM을 트랜스포머처럼 만들어보자고 ?

1. Introduction이전 Transformer 논문 리뷰 : https://minyoungxi.tistory.com/104 [논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attminyoungxi.tistory.com원문 : https://arxiv.org/abs/2405.04517 xLSTM: Extended Long Short-Term MemoryIn the 1990s, the constant error carousel and gating were ..

• format_list_bulleted 카테고리 없음
• · 2024. 5. 16.

[논문리뷰] - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS - 랭크를 줄여라 ! + X-LoRA !!

1. IntroductionLoRA paper: https://arxiv.org/abs/2106.09685LoRA github: https://github.com/microsoft/LoRA 이전 트랜스포머 논문https://minyoungxi.tistory.com/104 [논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attminyoungxi.tistory.com논문이 다루는 task & 해당 task에서 기존 연구 한계점이 논문은 자연어 처리(Natural ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 10.

[Medical Series : BioSignal ] - ECG랑 PPG로 심혈관 정보를 알아내볼까?

비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보에는 여러 가지가 있으며, ECG(Electrocardiogram, 심전도)와 PPG(Photoplethysmogram, 광용적맥파)는 이 중에서도 매우 중요한 역할을 합니다. 이들 각각의 신호를 통해 얻을 수 있는 정보와 그 의학적 의미에 대해 자세히 설명하겠습니다.ECG (Electrocardiogram, 심전도) ECG는 심장의 전기적 활동을 측정하는 방법으로, 심장의 리듬과 속도, 그리고 일부 질환을 진단하는 데 사용됩니다. ECG 신호에서 QRS 복합체의 시간 간격과 모양은 심장의 펌프질 효율성과 관련이 있어 심박출량 추정에 유용할 수 있습니다. 예를 들어, QRS 기간의 변화는 심장의 전..

• format_list_bulleted Medical
• · 2024. 5. 8.

[Medical Series : Can you feel my Heartbeat? ] - 심전도는 12가지 통로가 있어

심장으로 흐르는 12가지의 전기 통로  심전도(ECG)의 각 리드는 심장의 다양한 부위에서 발생하는 전기적 신호를 측정합니다. 이를 통해 심장의 기능과 상태를 평가할 수 있습니다.  전통적인 12-lead ECG는 다음과 같은 리드로 구성됩니다.  표준 임상 리드(Limb Leads)  표준 임상 리드(Standard limb leads)는 심전도에서 사용하는 기본적인 리드 유형 중 하나로, 심장의 전기적 활동을 측정하는 데 사용됩니다. 이 리드들은 심장의 전기적 신호를 다양한 각도에서 포착하여 심장의 기능과 상태를 평가하는 데 중요한 역할을 합니다. 표준 임상 리드는 심전도에서 기본적으로 사용되는 세 개의 리드, 즉 리드 1~3을 포함합니다.  리드 I: 왼쪽 팔과 오른쪽 팔 사이의 전기적 활동을 측정..

• format_list_bulleted Medical
• · 2024. 5. 8.