[R] - 통계데이터분석 - 일원분산분석(one-way ANOVA) , 분산분석 가정

일원분산분석(one-way ANOVA) 집단을 구분하는 독립변수가 하나일 때 모집단 간 평균의 동일성을 검정하는 방법 귀무가설 : 집단 간 평균은 모두 동일하다. 대립가설 : 집단 간 평균은 모두 동일하지 않다. 어느 한 집단이라도 다른 집단과 통계적으로 유의한 차이를 보인다면 귀무가설은 기각됨 R programming InsectSprays 데이터를 이용해서 실습을 진행합니다. 아래의 코드를 통해 주어진 데이터셋에서 살충제의 종류별로 여러가지 함수를 적용해 볼 수 있습니다. 전체 카운트 횟수, 평균, 표준편차를 가져옵니다. tapply(InsectSprays$count, InsectSprays$spray, length) tapply(InsectSprays$count, InsectSprays$spray,..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 8. 1.

[논문구현] Attention is all you need - 코드를 만들어보자 2

Multi-Head Attention Layer 지금까지의 Self-Attention에 대한 개념은 모두 Multi-Head Attention Layer를 이해하기 위한 것이었다. Attention 계산을 논문에서는 Scaled Dot-Product Attention이라고 명명한다. Transformer는 Scaled Dot Attention을 한 Encoder Layer마다 1회씩 수행하는 것이 아니라 병렬적으로 h회 각각 수행한 뒤, 그 결과를 종합해 사용한다. 이 것이 Multi-Head Attention이다. 이러한 연산을 수행하는 이유는 다양한 Attention을 잘 반영하기 위해서이다. 만약 하나의 Attention만 반영한다고 했을 때, 예시 문장에서 ‘it’의 Attention에는 ‘ani..

• format_list_bulleted 카테고리 없음
• · 2023. 8. 1.

[R] - 통계데이터분석 - F검정

F검정 분산분석은 F검정(f test)을 통해 수행합니다. F 검정은 집단 간 분산(between-groups variability)과 집단 내 분산(within-groups variability)의 비로 계산되는 F값(F value, F statistic)을 가설 검정을 위한 검정통계량으로 사용합니다. F 검정 결과가 통계적으로 유의하면 집단 간 평균의 차이가 존재합니다. ( 즉 독립변수가 종속변수에 영향을 미침 ) 왜 분산 ? 집단 간 분산과 집단 내 분산의 비교 , 집단 간 분산이 클수록 그리고 집단 내 분산이 작을수록 집단평균이 다를 가능성이 증가합니다. 위의 내용을 종합해보면 집단 간 분석이 클수록 그리고 집단 내 분산이 작을수록 집단 평균이 다를 가능성이 증가합니다. 따라서 이 두 종류의 분산..

• format_list_bulleted 카테고리 없음
• · 2023. 7. 31.

[R] 통계데이터 분석 - 분산분석 - 분산분석 설계 ( ANOVA )

분산분석 ( analysis of variance , ANOVA ) 여러 모집단 간의 평균의 동일성을 검정 t검정을 이용한 평균검정을 수행하면 두 개의 표본을 바탕으로 각각 대응되는 두 개의 모집단의 평균이 서로 동일한지 검증할 수 있습니다. 다시말해 두 집단이 있을 때, 두 집단의 평균값이 같은지 검증할 수 있습니다. 하지만 t 검정을 이용해서 두 집단을 초과하는 집단의 평균값을 비교할 수는 없습니다. ( ex. 3개의 집단 ) 오늘 다루게 될 분산분석은 여러 모집단 간의 평균의 동일성을 검증합니다. 일원분산분석(one-way ANOVA) 이원분산분석(two-way ANOVA) 공분산분석(analysis of covariance, ANCOVA) 반복측정 분산분석(repeated measures ANOV..

• format_list_bulleted Data science/R programming & 통계
• · 2023. 7. 31.

[논문구현] Attention is all you need - 코드를 만들어보자 - 1

Transformer Transformer의 구조는 간략하게 설명해서 input sentence를 넣어서 output sentence를 생성해내는 model이다. Trnasformer는 Encoder와 Decoder로 구성되어있다. 아래의 이미지는 전체적인 Transformer의 구조도이다. 왼쪽 부분을 Encoder, 오른쪽 부분을 Decoder라고한다. 전체적인 동작 과정은 논문 리뷰에 설명했으니 여기서는 코드를 위주로 풀어가려고 한다. Encoder & Decoder Encoder의 목표는 context를 제대로 생성(문장의 정보를 빠뜨리지 않고 압축)하는 것. Decoder는 context를 input으로 받아 Sentence를 output으로 생성해낸다. context만 받는 것이 아니라 out..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 31.

Attention의 Query Key Value 자세히 보쟈

Query, Key, Value를 활용해 Attention을 계산해보자. Attention이라고 한다면 어떤 것에 대한 Attention인지 불명확하다. 구체적으로, Query에 대한 Attention이다. 이 점을 꼭 인지하고 넘어가자. 이후부터는 Query, Key, Value를 각각 Q">Q, K">K, V">V로 축약해 부른다. Query의 Attention은 다음과 같은 수식으로 계산된다. Q">Q는 현재 시점의 token을, K">K와 V">V는 Attention을 구하고자 하는 대상 token을 의미했다. 우선은 빠른 이해를 돕기 위해 Q">Q, K">K, V">V가 모두 구해졌다고 가정한다. 위의 예시 문장을 다시 가져와 ‘it’과 ‘animal’ 사이의 Attention을 구한다고 해보자..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2023. 7. 31.