[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

Transformer의 탄생 배경자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Attention) 메커니즘을 통해 입력과 출력 사이의 의존성을 직접적으로 모델링할 수 있는 트랜스포머가 제안되었습니다. 기존 순차 모델들이 단어 하나하나를 차례로 처리했던 것과 달리, 트랜스포머는 어텐션을 통해 전체 문장을 한번에 참조할 수 있게 되었습니다. 이를 통해 병렬 처리가 가능해져 계산 효율이 크게 향상되었습니다. 또한 문장의 길이에 상관없이 성능이 유지되는 장점도 가지고 있습니다. 이렇게 혁신적인 아이디어를 제시한 ‘Attention is all you need’ 논문은 트랜스포머 모델의 기반이..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2024. 4. 18.

[논문리뷰] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics - 헬스케어에 사용되는 LLM들을 조사해보자

ABSTRACT 논문 "A Survey of Large Language Models for Healthcare"는 헬스케어 분야에서 대규모 언어 모델(Large Language Models, LLMs)의 중요성과 발전에 대해 광범위하게 다룹니다. 이 연구는 기존의 사전 훈련된 언어 모델(PLMs)에서부터 최신 LLMs로의 진화를 추적하며, 이러한 모델들이 어떻게 헬스케어 응용 프로그램의 효율성과 효과성을 향상시킬 수 있는지 탐구합니다. 이는 환자 상담, 의료 질문 응답, 진단 지원과 같은 다양한 영역에서 LLMs의 활용 가능성을 시사합니다. 논문은 또한 PLMs와 최신 LLMs 간의 비교를 통해 LLMs의 진보된 능력과 한계를 분석하고, 헬스케어 분야에 적합한 훈련 데이터, 방법론 및 최적화 전략에 대해..

• format_list_bulleted 카테고리 없음
• · 2024. 1. 23.

[논문리뷰] - 더 똑똑해진 Med-PaLM이 왔다! - Towards Expert-Level Medical Question Answering with Large Language Models

Towards Expert-Level Medical Question Answering with Large Language Models Abstract Med-PaLM2는 의학적인 질문-답변 테스트 셋에 대해서는 지난 버전인 Med-PaLM은 물론이고, 이제는 인간 의사에 버금가거나 어떤 측면에서는 더 좋은 성과를 보여준다는 것을 이 논문은 보여주고 있습니다. 특히 의료 분야에서 극히 중요한 정확성, 위험성, 더 나아가서는 의료 형평, 접근성, 인종, 사회적 요인 등 의료 내/외적인 측면들까지 이번 논문에서는 잘 테스트되었습니다. 또한 의료 전문가들 뿐만 아니라, 비전문가인 일반 환자의 입장에서도 이런 기술이 어떻게 받아들여질 지에 대해서도 검증되고 있습니다. 사실상 Med-PaLM2는 이제 real-wo..

• format_list_bulleted 카테고리 없음
• · 2023. 11. 10.

[논문리뷰] - 구글이 내놓은 의료 도메인 특화 LLM- Large Language Models Encode Clinical Knowledge

Large Language Models Encode Clinical Knowledge Metadata Title:: Large Language Models Encode Clinical Knowledge Authors:: Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Ag..

• format_list_bulleted 카테고리 없음
• · 2023. 11. 10.

[논문리뷰] - ViT를 실시간 애플리케이션으로 사용할 수 있다? - EfficientViT - Memory Efficient Vision Transformer with Cascaded Group Attention

EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Metadata [!meta]- Metadata – PDF Title:: EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Authors:: Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, Yixuan Yuan, Year:: 2023 ItemType:: preprint Keywords:: Computer Science - Computer Vision and Pattern Recognition Related:: AB..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 11. 8.

SAM : Segment Anything - 싹 다 세그멘트 해버려 !

Abstract Next token prediction으로 학습한 GPT가 온갖 task를 잘한다. Computer Vision에서도 이런 만능 모델을 만들고 싶어서 새로운 task, model, data를 개발했다. Segmentation은 당연히 잘하고, 다른 테스크들에서도 성능이 높음. CV 분야에서 파운데이션 모델(Foundation model)을 만드려는 시도 파운데이션 모델(Foundation model)이란 하나의 테스크로 학습시킨 모델이 학습하지 않았던 다양한 분야에 바로 적용될 수 있는 general한 모델 ( ex. gpt ) Motivation 최근에 출시된 대규모의 언어모델 (ex. chat GPT)은 Zero-shot / Few-shot Generalization 성능을 보이고 있..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 9. 4.