[논문리뷰] - Feature Removal Is A Unifying Principle For Model Explanation Methods - part1

이 논문은 비교적 최근 나온 XAI 관련 논문입니다. 본 논문은 모델 설명 방법론(eXplainable AI)에 대한 새로운 관점을 제시합니다. 연구자들은 다양한 모델 설명 방법을 제안했지만, 대부분의 방법들이 어떻게 서로 관련되어 있는지, 또 어떤 방법이 다른 것보다 우월한지에 대해 아직 명확하게 정의되지 않았습니다. 이 논문의 저자들은 이런 문제들을 해결하기 위해 'removal-based explanations'(제거 기반 설명방법)이라는 원칙에 집중합니다. 이 원칙은 모델에서 특정 Feature 집합을 제거하고 그 영향을 측정하는 것입니다. 저자들은 이 원칙을 기반으로 'removal-based explanations'이라는 프레임워크를 개발하였습니다. 이 프레임워크에 대해서 논문이 전개됩니다. ..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 8. 1.

[논문구현] Attention is all you need - 코드를 만들어보자 2

Multi-Head Attention Layer 지금까지의 Self-Attention에 대한 개념은 모두 Multi-Head Attention Layer를 이해하기 위한 것이었다. Attention 계산을 논문에서는 Scaled Dot-Product Attention이라고 명명한다. Transformer는 Scaled Dot Attention을 한 Encoder Layer마다 1회씩 수행하는 것이 아니라 병렬적으로 h회 각각 수행한 뒤, 그 결과를 종합해 사용한다. 이 것이 Multi-Head Attention이다. 이러한 연산을 수행하는 이유는 다양한 Attention을 잘 반영하기 위해서이다. 만약 하나의 Attention만 반영한다고 했을 때, 예시 문장에서 ‘it’의 Attention에는 ‘ani..

• format_list_bulleted 카테고리 없음
• · 2023. 8. 1.

논문리뷰 - Attention is all you need - 어텐션 플리즈 !

Attention is all you need [Paper] : (https://arxiv.org/abs/1706.03762) 기존 자연어처리 분야에서 엄청난 혁신을 불러온 논문 'Attention all you need'에 대해서 리뷰해봅시다 ! 본 리뷰는 논문 리뷰와 후에 pytorch를 사용해 구현해보기까지 준비했습니다. 저는 NLP에 크게 관심이 없지만 attention 기법은 자연어처리뿐만 아니라 비전 분야에서도 SOTA를 달성했습니다. 이전에 포스팅한 vit 그리고 swim-transformer 등 attention과 transformer에 대한 학습은 인공지능을 공부한다면 필수적입니다. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준으로 최신 고성능 모델들은 Transfor..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 27.

[R] - 독립표본 평균검정 ( two-independent samples t test )

독립표본 평균검정 ( two-independent samples t test ) 1. 두 개의 독립표본 데이터를 이용하여 각각 대응되는 두 개 의 모집단 평균이 서로 동일한지 검정 2. 두 집단이 서로 차이가 없는지 검정 R 프로그래밍 https://minyoungxi.tistory.com/68 [R] 통계데이터 분석 - 여러가지 평균검정법 : 일표본 평균검정 ( One-Sample t test ) , 독립표본 평균 일표본 평균검정 ( one-sample t test ) 하나의 표본 데이터를 이용하여 모집단의 평균이 특정 값과 같은지 검정하는 방법 표본집단이 특정 모집단과 일치하는지 혹은 그렇지 않은지 알고싶을 때 이 minyoungxi.tistory.com 지난 포스팅에서 사용한 MASS 라이브러리의 ..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 7. 25.

[MLOps] - 로컬 쿠버네티스 환경 만들어보기

로컬 쿠버네티스 로컬 쿠버네티스는 물리 머신에서 손쉽게 쿠버네티스를 테스트할 수 있는 방법이다. 한 대의 머신에 올인원으로 구성되어 이중화가 보장되지 않는 점에 주의해야 한다. 미니큐버 Minikube 미니큐브 (Minikube)는 물리머신에 로컬 쿠버네티스를 쉽게 구축하고 실행할 수 있는 도구로, 쿠버네티스의 SIG-Cluster-Lifecycle이라는 분과회에서 만들었다. 미니큐브는 단일 노드 구성이라 여러 대의 구성이 필요한 쿠버네티스 기능 등은 사용할 수 없다. 또한, 미니큐브는 로컬 가상 머신에 쿠버네티스를 설치하기 위해 하이퍼 바이저가 필요하다. 미니큐브 설치 brew install minikube 미니큐브 설치 후 버전 확인 minikube version hyperkit은 m1 맥에서 설치가..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 25.

논문 리뷰 - Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015)

https://arxiv.org/abs/1503.03585 Deep Unsupervised Learning using Nonequilibrium Thermodynamics A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we devel arxiv.org 오늘 준비한 논문은 Diffusion model입니다. 이 논문..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 21.