[논문리뷰] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning - 더 빠르고 더 좋다 !

논문 요약 FlashAttention 2는 FlashAttention의 후속 논문으로, GPU에서 더욱 효율적인 어텐션 연산을 수행하기 위한 최적화 기법들을 제안합니다. 기존의 Attention 연산과의 차이점을 비교해보며  본 논문의 주요 Contribution을 위주로 한 번 살펴보겠습니다.  Contribution 1. 알고리즘 최적화를 통한 비-행렬곱 연산 감소- FlashAttention-2는 softmax 연산 등에서 불필요한 연산을 제거하고 행렬곱 위주의 연산을 수행하도록 알고리즘을 개선했습니다.- GPU에서 행렬곱이 훨씬 빠르게 수행되므로 전체 연산 효율이 크게 향상되었습니다.- 반면 기존의 어텐션 구현에서는 비-행렬곱 연산이 상대적으로 많았습니다.비행렬곱 연산(non-matrix mult..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 28.

[논문리뷰] - ⭐️Mamba: Linear-Time Sequence Modeling with Selective State Spaces⭐️ - 맘바 ! Transformer의 대체자 ?

1. Interesting Point"We identify that a key weakness of such models is their inability to perform content-based reasoning, and make several improvements. First, simply letting the SSM parameters be functions of the input addresses their weakness with discrete modalities, allowing the model to selectively propagate or forget information along the sequence length dimension depending on the current..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 26.

[논문리뷰] - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS - 랭크를 줄여라 ! + X-LoRA !!

1. IntroductionLoRA paper: https://arxiv.org/abs/2106.09685LoRA github: https://github.com/microsoft/LoRA 이전 트랜스포머 논문https://minyoungxi.tistory.com/104 [논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attminyoungxi.tistory.com논문이 다루는 task & 해당 task에서 기존 연구 한계점이 논문은 자연어 처리(Natural ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 10.

[Deep Dive Python] List 와 Dictionary 를 자세히 알아볼까? - 1

리스트와 딕셔너리  Python에서 반복적인 작업을 자동화 하고자 만들어진 가장 일반적인 방법은 리스트(list)타입을 쓰는 것입니다.  리스트는 아주 간편하며 다양한 문제를 해결하는 데 사용할 수 있습니다. 리스트를 자연스럽게 보완할 수 있는 타입이 딕셔너리(dict)타입 입니다. 딕셔너리 타입은 검색에 사용할 키(key)와 키에 연관된 값(value)를 저장합니다.  딕셔너리는(분할상환 복잡도로) 상수 시간에 원소를 삽입하고 찾을 수 있습니다. 따라서 동적인 정보를 관리하는 데는 딕셔너리가 가장 이상적이죠 ! 파이썬은 리스트와 딕셔너리를 다룰 때 가독성을 좋게 하고 기능을 확장해주는 특별한 구문과 내장 모듈을 제공합니다. 이로 인해 다른 언어가 제공하는 단순 배열, 벡터, 해시 테이블 타입보다 훨씬 ..

• format_list_bulleted Data science
• · 2024. 5. 8.

[논문리뷰] - DeepOnto: A Python Package for OntologyEngineering with Deep Learning

1. Introduction  논문이 다루는 task본 논문이 다루는 task는 온톨로지 엔지니어링에 딥러닝 기술, 특히 언어 모델을 통합하는 것입니다. 온톨로지 엔지니어링은 지식 표현과 추론을 위한 핵심 분야로, 온톨로지 설계, 구축, 평가, 유지보수 등 다양한 단계를 포함합니다. 온톨로지는 인간과 기계 모두 이해할 수 있는 개념과 관계의 체계를 제공함으로써 지식 공유와 활용을 촉진합니다. 최근 거대 언어 모델의 등장으로 기존 온톨로지 엔지니어링 방식의 한계를 극복할 수 있는 가능성이 열리고 있습니다. 예를 들어, BERT 등의 언어 모델은 풍부한 맥락 정보를 활용해 개념 간 유사도를 판단할 수 있어 온톨로지 정렬이나 완성 작업에 효과적입니다. 그러나 딥러닝 모델은 그 예측 과정이 불투명하고 대량의 학..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 25.

[논문리뷰] - TransformerFAM: Feedback attention is working memory - 어텐션! 너 조금씩 깊게 봐봐

이전 논문 : Transformer - attentioon is all you need 1. Introduction 논문이 다루는 task Input : 무한한 길이의 시퀀스 (Infinitely long sequences) Output : 입력 시퀀스에 대한 처리 결과 (Processed output of the input sequence) 해당 task에서 기존 연구 한계점 Transformer의 quadratic attention complexity로 인해 무한한 길이의 입력을 처리하는 데 한계가 있습니다. quadratic attention complexity란 어텐션 메커니즘의 계산 복잡도를 의미합니다. Transformer에서 사용되는 어텐션 메커니즘은 각 토큰이 다른 모든 토큰과의 관계를 계..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 24.