[논문리뷰] - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS - 랭크를 줄여라 ! + X-LoRA !!

1. IntroductionLoRA paper: https://arxiv.org/abs/2106.09685LoRA github: https://github.com/microsoft/LoRA 이전 트랜스포머 논문https://minyoungxi.tistory.com/104 [논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attminyoungxi.tistory.com논문이 다루는 task & 해당 task에서 기존 연구 한계점이 논문은 자연어 처리(Natural ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 5. 10.

[Medical Series : BioSignal ] - ECG랑 PPG로 심혈관 정보를 알아내볼까?

비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보에는 여러 가지가 있으며, ECG(Electrocardiogram, 심전도)와 PPG(Photoplethysmogram, 광용적맥파)는 이 중에서도 매우 중요한 역할을 합니다. 이들 각각의 신호를 통해 얻을 수 있는 정보와 그 의학적 의미에 대해 자세히 설명하겠습니다.ECG (Electrocardiogram, 심전도) ECG는 심장의 전기적 활동을 측정하는 방법으로, 심장의 리듬과 속도, 그리고 일부 질환을 진단하는 데 사용됩니다. ECG 신호에서 QRS 복합체의 시간 간격과 모양은 심장의 펌프질 효율성과 관련이 있어 심박출량 추정에 유용할 수 있습니다. 예를 들어, QRS 기간의 변화는 심장의 전..

• format_list_bulleted Medical
• · 2024. 5. 8.

[Medical Series : Can you feel my Heartbeat? ] - 심전도는 12가지 통로가 있어

심장으로 흐르는 12가지의 전기 통로  심전도(ECG)의 각 리드는 심장의 다양한 부위에서 발생하는 전기적 신호를 측정합니다. 이를 통해 심장의 기능과 상태를 평가할 수 있습니다.  전통적인 12-lead ECG는 다음과 같은 리드로 구성됩니다.  표준 임상 리드(Limb Leads)  표준 임상 리드(Standard limb leads)는 심전도에서 사용하는 기본적인 리드 유형 중 하나로, 심장의 전기적 활동을 측정하는 데 사용됩니다. 이 리드들은 심장의 전기적 신호를 다양한 각도에서 포착하여 심장의 기능과 상태를 평가하는 데 중요한 역할을 합니다. 표준 임상 리드는 심전도에서 기본적으로 사용되는 세 개의 리드, 즉 리드 1~3을 포함합니다.  리드 I: 왼쪽 팔과 오른쪽 팔 사이의 전기적 활동을 측정..

• format_list_bulleted Medical
• · 2024. 5. 8.

[Deep Dive Python] List 와 Dictionary 를 자세히 알아볼까? - 1

리스트와 딕셔너리  Python에서 반복적인 작업을 자동화 하고자 만들어진 가장 일반적인 방법은 리스트(list)타입을 쓰는 것입니다.  리스트는 아주 간편하며 다양한 문제를 해결하는 데 사용할 수 있습니다. 리스트를 자연스럽게 보완할 수 있는 타입이 딕셔너리(dict)타입 입니다. 딕셔너리 타입은 검색에 사용할 키(key)와 키에 연관된 값(value)를 저장합니다.  딕셔너리는(분할상환 복잡도로) 상수 시간에 원소를 삽입하고 찾을 수 있습니다. 따라서 동적인 정보를 관리하는 데는 딕셔너리가 가장 이상적이죠 ! 파이썬은 리스트와 딕셔너리를 다룰 때 가독성을 좋게 하고 기능을 확장해주는 특별한 구문과 내장 모듈을 제공합니다. 이로 인해 다른 언어가 제공하는 단순 배열, 벡터, 해시 테이블 타입보다 훨씬 ..

• format_list_bulleted Data science
• · 2024. 5. 8.

[Medical Series : Can you feel my Heartbeat? ] - 심장에 전기가 흐른다구요 !? 심전도(Electrocardiogram)에 대해서 알아보자

심장의 전기적 활동 심장에는 극히 미량의 전기를 리드미컬하게 분명히 ! 일으키고 있습니다. 그 리듬은 심장의 규칙적인 움직임의 원친이 되고 있습니다. 이것을 심장의 "전기적 활동(electical activity)라고 합니다. 이 전기적 활동을 받아 심근의 수축이나 이완과 같은 "기계적 활동"이 일어나는 것이죠. 그러나 이 전기적 활동은 매우 미량의 전기로 일어나기 때문에 그 상태를 알기 위해서는 심장의 극히 작은 전기적 활동을 포착하여 체외의 증폭 장치로 증폭해야 확인할 수 있습니다. 각 심근세포의 전기적 활동 심장은 심근세포가 많이 모여서 이루어진 장기입니다. 따라서, 심장 전체를 보기 전에 우선 1개의 심근세포에서는 어떠한 전기적 활동이 일어나는지 관찰해봅시다.   심근세포의 전기적 활동에는 칼륨이..

• format_list_bulleted Medical
• · 2024. 4. 27.

[논문리뷰] - DeepOnto: A Python Package for OntologyEngineering with Deep Learning

1. Introduction  논문이 다루는 task본 논문이 다루는 task는 온톨로지 엔지니어링에 딥러닝 기술, 특히 언어 모델을 통합하는 것입니다. 온톨로지 엔지니어링은 지식 표현과 추론을 위한 핵심 분야로, 온톨로지 설계, 구축, 평가, 유지보수 등 다양한 단계를 포함합니다. 온톨로지는 인간과 기계 모두 이해할 수 있는 개념과 관계의 체계를 제공함으로써 지식 공유와 활용을 촉진합니다. 최근 거대 언어 모델의 등장으로 기존 온톨로지 엔지니어링 방식의 한계를 극복할 수 있는 가능성이 열리고 있습니다. 예를 들어, BERT 등의 언어 모델은 풍부한 맥락 정보를 활용해 개념 간 유사도를 판단할 수 있어 온톨로지 정렬이나 완성 작업에 효과적입니다. 그러나 딥러닝 모델은 그 예측 과정이 불투명하고 대량의 학..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 25.