[논문리뷰] - SSM과 S4 모델들을 알아보자 ! ( + Transformer , Mamba ) - State Space Model for New-Generation Network Alternative to Transformers: A Survey

SSM(Space State Model)은 뭐야 ?SSM은 기존 Transformer(https://minyoungxi.tistory.com/104) 기반 모델에 비해 다양한 작업에서 계산 비용이 낮으면서 큰 잠재력을 보이며 주목받고 있습니다. 제어 이론 및 계산 신경 과학에 뿌리를 두고 있으며, 동적 시스템을 상태 변수로 모델링하여 딥러닝에 적용됩니다. 그렇다면 Transformer의 문제는 무엇일까요 ? Transormer는 Attention 기법을 통해서 일반적으로 장거리 종속성을 개선했지만,  Transformer의 문제점은 유전체 또는 극도로 긴 텍스트와 같은 맥락에서는 확장이 잘 되지 않습니다.  왜 극도로 긴 input에서 느릴까 ? self-attention 매커니즘 때문. self-att..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 6. 24.

[논문리뷰] - xLSTM: Extended Long Short-Term Memory - LSTM을 트랜스포머처럼 만들어보자고 ?

1. Introduction이전 Transformer 논문 리뷰 : https://minyoungxi.tistory.com/104 [논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attminyoungxi.tistory.com원문 : https://arxiv.org/abs/2405.04517 xLSTM: Extended Long Short-Term MemoryIn the 1990s, the constant error carousel and gating were ..

• format_list_bulleted 카테고리 없음
• · 2024. 5. 16.

[논문리뷰] - TransformerFAM: Feedback attention is working memory - 어텐션! 너 조금씩 깊게 봐봐

이전 논문 : Transformer - attentioon is all you need 1. Introduction 논문이 다루는 task Input : 무한한 길이의 시퀀스 (Infinitely long sequences) Output : 입력 시퀀스에 대한 처리 결과 (Processed output of the input sequence) 해당 task에서 기존 연구 한계점 Transformer의 quadratic attention complexity로 인해 무한한 길이의 입력을 처리하는 데 한계가 있습니다. quadratic attention complexity란 어텐션 메커니즘의 계산 복잡도를 의미합니다. Transformer에서 사용되는 어텐션 메커니즘은 각 토큰이 다른 모든 토큰과의 관계를 계..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 24.

[논문리뷰] - ViT를 실시간 애플리케이션으로 사용할 수 있다? - EfficientViT - Memory Efficient Vision Transformer with Cascaded Group Attention

EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Metadata [!meta]- Metadata – PDF Title:: EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Authors:: Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, Yixuan Yuan, Year:: 2023 ItemType:: preprint Keywords:: Computer Science - Computer Vision and Pattern Recognition Related:: AB..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 11. 8.

[논문구현] Attention is all you need - 코드를 만들어보자 2

Multi-Head Attention Layer 지금까지의 Self-Attention에 대한 개념은 모두 Multi-Head Attention Layer를 이해하기 위한 것이었다. Attention 계산을 논문에서는 Scaled Dot-Product Attention이라고 명명한다. Transformer는 Scaled Dot Attention을 한 Encoder Layer마다 1회씩 수행하는 것이 아니라 병렬적으로 h회 각각 수행한 뒤, 그 결과를 종합해 사용한다. 이 것이 Multi-Head Attention이다. 이러한 연산을 수행하는 이유는 다양한 Attention을 잘 반영하기 위해서이다. 만약 하나의 Attention만 반영한다고 했을 때, 예시 문장에서 ‘it’의 Attention에는 ‘ani..

• format_list_bulleted 카테고리 없음
• · 2023. 8. 1.

[논문구현] Attention is all you need - 코드를 만들어보자 - 1

Transformer Transformer의 구조는 간략하게 설명해서 input sentence를 넣어서 output sentence를 생성해내는 model이다. Trnasformer는 Encoder와 Decoder로 구성되어있다. 아래의 이미지는 전체적인 Transformer의 구조도이다. 왼쪽 부분을 Encoder, 오른쪽 부분을 Decoder라고한다. 전체적인 동작 과정은 논문 리뷰에 설명했으니 여기서는 코드를 위주로 풀어가려고 한다. Encoder & Decoder Encoder의 목표는 context를 제대로 생성(문장의 정보를 빠뜨리지 않고 압축)하는 것. Decoder는 context를 input으로 받아 Sentence를 output으로 생성해낸다. context만 받는 것이 아니라 out..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 31.