[논문리뷰] - Feature Removal Is A Unifying Principle For Model Explanation Methods - part1

[논문리뷰] - Feature Removal Is A Unifying Principle For Model Explanation Methods - part1

이 논문은 비교적 최근 나온 XAI 관련 논문입니다. 본 논문은 모델 설명 방법론(eXplainable AI)에 대한 새로운 관점을 제시합니다. 연구자들은 다양한 모델 설명 방법을 제안했지만, 대부분의 방법들이 어떻게 서로 관련되어 있는지, 또 어떤 방법이 다른 것보다 우월한지에 대해 아직 명확하게 정의되지 않았습니다. 이 논문의 저자들은 이런 문제들을 해결하기 위해 'removal-based explanations'(제거 기반 설명방법)이라는 원칙에 집중합니다. 이 원칙은 모델에서 특정 Feature 집합을 제거하고 그 영향을 측정하는 것입니다. 저자들은 이 원칙을 기반으로 'removal-based explanations'이라는 프레임워크를 개발하였습니다. 이 프레임워크에 대해서 논문이 전개됩니다. ..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2023. 8. 1.
[R] - 통계데이터분석 - 일원분산분석(one-way ANOVA) , 분산분석 가정

[R] - 통계데이터분석 - 일원분산분석(one-way ANOVA) , 분산분석 가정

일원분산분석(one-way ANOVA) 집단을 구분하는 독립변수가 하나일 때 모집단 간 평균의 동일성을 검정하는 방법 귀무가설 : 집단 간 평균은 모두 동일하다. 대립가설 : 집단 간 평균은 모두 동일하지 않다. 어느 한 집단이라도 다른 집단과 통계적으로 유의한 차이를 보인다면 귀무가설은 기각됨 R programming InsectSprays 데이터를 이용해서 실습을 진행합니다. 아래의 코드를 통해 주어진 데이터셋에서 살충제의 종류별로 여러가지 함수를 적용해 볼 수 있습니다. 전체 카운트 횟수, 평균, 표준편차를 가져옵니다. tapply(InsectSprays$count, InsectSprays$spray, length) tapply(InsectSprays$count, InsectSprays$spray,..

  • format_list_bulleted Data science/R programming & 통계
  • · 2023. 8. 1.

[R] 통계데이터 분석 - 분산분석 - 분산분석 설계 ( ANOVA )

분산분석 ( analysis of variance , ANOVA ) 여러 모집단 간의 평균의 동일성을 검정 t검정을 이용한 평균검정을 수행하면 두 개의 표본을 바탕으로 각각 대응되는 두 개의 모집단의 평균이 서로 동일한지 검증할 수 있습니다. 다시말해 두 집단이 있을 때, 두 집단의 평균값이 같은지 검증할 수 있습니다. 하지만 t 검정을 이용해서 두 집단을 초과하는 집단의 평균값을 비교할 수는 없습니다. ( ex. 3개의 집단 ) 오늘 다루게 될 분산분석은 여러 모집단 간의 평균의 동일성을 검증합니다. 일원분산분석(one-way ANOVA) 이원분산분석(two-way ANOVA) 공분산분석(analysis of covariance, ANCOVA) 반복측정 분산분석(repeated measures ANOV..

  • format_list_bulleted Data science/R programming & 통계
  • · 2023. 7. 31.

[논문구현] Attention is all you need - 코드를 만들어보자 - 1

Transformer Transformer의 구조는 간략하게 설명해서 input sentence를 넣어서 output sentence를 생성해내는 model이다. Trnasformer는 Encoder와 Decoder로 구성되어있다. 아래의 이미지는 전체적인 Transformer의 구조도이다. 왼쪽 부분을 Encoder, 오른쪽 부분을 Decoder라고한다. 전체적인 동작 과정은 논문 리뷰에 설명했으니 여기서는 코드를 위주로 풀어가려고 한다. Encoder & Decoder Encoder의 목표는 context를 제대로 생성(문장의 정보를 빠뜨리지 않고 압축)하는 것. Decoder는 context를 input으로 받아 Sentence를 output으로 생성해낸다. context만 받는 것이 아니라 out..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2023. 7. 31.
Attention의 Query Key Value 자세히 보쟈

Attention의 Query Key Value 자세히 보쟈

Query, Key, Value를 활용해 Attention을 계산해보자. Attention이라고 한다면 어떤 것에 대한 Attention인지 불명확하다. 구체적으로, Query에 대한 Attention이다. 이 점을 꼭 인지하고 넘어가자. 이후부터는 Query, Key, Value를 각각 Q">Q, K">K, V">V로 축약해 부른다. Query의 Attention은 다음과 같은 수식으로 계산된다. Q">Q는 현재 시점의 token을, K">K와 V">V는 Attention을 구하고자 하는 대상 token을 의미했다. 우선은 빠른 이해를 돕기 위해 Q">Q, K">K, V">V가 모두 구해졌다고 가정한다. 위의 예시 문장을 다시 가져와 ‘it’과 ‘animal’ 사이의 Attention을 구한다고 해보자..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2023. 7. 31.
논문리뷰 - Attention is all you need - 어텐션 플리즈 !

논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

  • format_list_bulleted Data science/딥러닝 논문 리뷰
  • · 2023. 7. 27.
반응형
LIST