[논문리뷰] Vision language models are blind - VLM은 사실 장님이었나 ?

Introduction 최근 8개월 동안 Vision Language Models (VLMs)의 발전으로 다양한 이미지-텍스트 처리가 가능해졌습니다. VLM들은 장면 내 객체 식별, 복잡한 작업 수행 등에서 뛰어난 성능을 보이고 있습니다. 현재의 VLM 벤치마크들은 인간과 AI 간의 전반적인 격차를 측정하지만, 구체적인 시각적 한계를 지적하지는 않습니다.이 논문은 VLM이 실제로 인간처럼 이미지를 "보는지" 검증하기 위해 로우 레벨 차원에서 시각 작업에 대한 새로운 벤치마크를 제안합니다. 이 벤치마크는 2D 기하학적 도형만을 포함하며, 최소한의 지식을 요구합니다.연구진은 4개의 최신 VLM (GPT-4V, Gemini-1.5 Pro, Claude-3 Sonnet, Claude-3.5 Sonnet)을 8가..

• format_list_bulleted 카테고리 없음
• · 2024. 7. 11.

[논문리뷰] - ECG(심전도), PPG(광전용적맥파) feature extraction 연구 논문을 읽어봅시다. ( ECG feature extraction , 심전도 인공지능 )

1. Introduction 생체신호와 관련된 프로젝트를 진행하고 있는데, 가장 어려운 부분은 역시나 메디컬 도메인 지식입니다.작년 말부터 진행 중이었던 현재 프로젝트를 너무 데이터 그 자체와 약간의 도메인 지식 그리고 인공지능 모델링 측면에서만 봐서 그런지 너무나 더딘 개선 속도가 마음에 걸려서 처음으로 돌아왔습니다. 많은 생체신호 데이터를 사용 중이지만, 그 중에서도 가장 중심적으로 활용이 되어야 하는 ECG와 PPG에 관해서 조금 더 deep하게 알아볼 것입니다. 개별적인 논문을 모두 자세히 보려고 했지만, 사실 ECG라는 데이터로 할 수 있는 연구가 너무나 많다보니 Feature Extraction 역시 각 연구의 목적에 따라 처리 방법이 너무나 다릅니다.  제가 가지고 있는 데이터는 125Hz인..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2024. 7. 10.

[Insight] Scale’s Alex Wang on the US-China AI Race - Scale AI의 수장 Alex Wang이 말하는 AI 전쟁

최근 Scale AI의 CEO인 Alex Wang의 인터뷰가 담긴 팟캐스트를 들었는데요, AI가 글로벌 권력 균형을 어떻게 변화시킬 수 있는지에 대한 Alex Wang(Scale AI의 CEO)의 인사이트가 인상적입니다.  (https://www.chinatalk.media/p/scales-alex-wang-on-the-us-china) Scale AI라는 회사는 AI 트레이닝 데이터 라벨링을 위한 API를 제공하는 비즈니스 모델을 가지고 있는 회사입니다. 특히, 자율 주행 관련 데이터를 필요로 하는 Waymo, Uber 등의 기업이 주요 고객이라고 합니다.  본 인터뷰는 ChinaTalk 에서 진행했습니다. 인공지능의 발전에 빼놓을 수 없는 국가가 중국이죠 ? 자율주행은 물론 데이터의 절대적인 양을 따..

• format_list_bulleted Insight
• · 2024. 6. 26.

[Insight] Claude 3.5 Sonnet 발표. OpenAI를 압도하는 Antropic

Antropic ?! 엄청난 LLM product가 또 출시되었습니다.매주마다 LLM 관련 다양한 논문들이 나오고 있는데요, 저번주에는 정말 엄청난 프로덕트가 출시되었네요. Antropic의 Claude 3.5 Sonnet 출시 소식입니다.올해 3월 Antropic은 Claude 3.0 모델을 출시하면서 ChatGPT-4 보다 더 성능이 좋은 모델을 공개했습니다. Claude3.0은 Opus, Sonnet, Haiku라는 3가지 모델로 이루어져 있는데요, 각 모델은 성능뿐만 아니라 윤리성 검증까지 마친 상태라고 했죠.  엔트로픽은 OpenAI의 엔지니어들이 샘 알트만의 행보에 반대하여 퇴사 후 설립한 회사입니다. ( 샘 알트만의 영리화 정책 )Antropic은 OpenAI와 차별성을 두기 위해 공익회사임..

• format_list_bulleted Insight
• · 2024. 6. 24.

[논문리뷰] - SSM과 S4 모델들을 알아보자 ! ( + Transformer , Mamba ) - State Space Model for New-Generation Network Alternative to Transformers: A Survey

SSM(Space State Model)은 뭐야 ?SSM은 기존 Transformer(https://minyoungxi.tistory.com/104) 기반 모델에 비해 다양한 작업에서 계산 비용이 낮으면서 큰 잠재력을 보이며 주목받고 있습니다. 제어 이론 및 계산 신경 과학에 뿌리를 두고 있으며, 동적 시스템을 상태 변수로 모델링하여 딥러닝에 적용됩니다. 그렇다면 Transformer의 문제는 무엇일까요 ? Transormer는 Attention 기법을 통해서 일반적으로 장거리 종속성을 개선했지만,  Transformer의 문제점은 유전체 또는 극도로 긴 텍스트와 같은 맥락에서는 확장이 잘 되지 않습니다.  왜 극도로 긴 input에서 느릴까 ? self-attention 매커니즘 때문. self-att..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2024. 6. 24.

[논문리뷰] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning - 더 빠르고 더 좋다 !

논문 요약 FlashAttention 2는 FlashAttention의 후속 논문으로, GPU에서 더욱 효율적인 어텐션 연산을 수행하기 위한 최적화 기법들을 제안합니다. 기존의 Attention 연산과의 차이점을 비교해보며  본 논문의 주요 Contribution을 위주로 한 번 살펴보겠습니다.  Contribution 1. 알고리즘 최적화를 통한 비-행렬곱 연산 감소- FlashAttention-2는 softmax 연산 등에서 불필요한 연산을 제거하고 행렬곱 위주의 연산을 수행하도록 알고리즘을 개선했습니다.- GPU에서 행렬곱이 훨씬 빠르게 수행되므로 전체 연산 효율이 크게 향상되었습니다.- 반면 기존의 어텐션 구현에서는 비-행렬곱 연산이 상대적으로 많았습니다.비행렬곱 연산(non-matrix mult..

• format_list_bulleted 딥러닝 논문 리뷰
• · 2024. 5. 28.