AI,rport

[Nutrient] 피쉬오일(오메가3)은 정말 뇌에 좋기만 할까: EPA 연구가 던진 질문

minyoungxi — Mon, 4 May 2026 19:55:00 +0900

피쉬오일은 정말 뇌에 좋기만 할까: EPA 연구가 던진 질문

피쉬오일은 건강기능식품 진열대에서 가장 익숙한 이름 중 하나다. 심장 건강, 염증 조절, 눈 건강, 뇌 건강. 작은 캡슐 하나에 붙는 기대가 꽤 크다. 그래서 오메가-3라는 말은 어느새 “몸에 좋은 지방”이라는 짧은 이미지로 굳어졌다.

그런데 최근 Cell Reports에 실린 한 연구가 이 익숙한 믿음에 제동을 걸었다. 질문은 단순하다.

피쉬오일은 정말 언제나 뇌에 좋을까?

Medical News Today가 소개한 이 연구의 초점은 일반적인 건강한 사람의 일상 섭취가 아니다. 연구진이 들여다본 상황은 더 좁다. 반복적인 경미한 외상성 뇌손상, 즉 repeated mild traumatic brain injury 이후의 회복 과정이다. 이 맥락에서 피쉬오일 속 오메가-3 지방산 중 하나인 EPA(eicosapentaenoic acid)가 뇌혈관 회복에 불리하게 작용할 수 있다는 신호가 관찰됐다.

이 글은 피쉬오일을 겁주기 위한 글이 아니다. 오히려 반대에 가깝다. “좋은 성분”이라는 말이 얼마나 쉽게 맥락을 지워버리는지, 그리고 영양제를 볼 때 왜 “무엇을 먹느냐”만큼 “누가, 언제, 어떤 상태에서 먹느냐”가 중요한지 정리해보려 한다.

이 글의 핵심 질문
피쉬오일이 좋은가, 나쁜가를 단정하기보다 EPA가 어떤 몸의 상태에서 다르게 작용할 수 있는지 살펴본다.

이 연구가 말하지 않는 것부터 보자

이 주제는 제목만 보고 오해하기 쉽다. “피쉬오일이 뇌에 해롭다”로 읽히면 너무 빠르다. 이번 연구가 말하는 것은 훨씬 좁고, 그래서 더 중요하다. 연구의 메시지는 이렇게 정리할 수 있다.

정리하면

피쉬오일이나 EPA가 모든 사람에게 나쁘다는 뜻은 아니다. 다만 반복적인 뇌손상 이후처럼 뇌가 혈관과 조직을 다시 복구해야 하는 상황에서는 EPA가 회복 반응을 방해할 가능성이 있다.

영양 성분은 몸속에서 한 가지 역할만 하지 않는다. 어떤 작용은 한 상황에서는 도움이 되고, 다른 상황에서는 방해가 될 수 있다. EPA는 염증 조절, 지질 대사, 혈관 생성 조절과 관련해 연구되어 왔다. 그런데 손상 이후 뇌가 새 혈관을 만들고 혈액뇌장벽을 회복해야 하는 순간이라면, 그 조절 작용이 예상과 다른 방향으로 움직일 수 있다.

좋은 약도 상황을 탄다. 좋은 영양제도 마찬가지다.

연구의 배경은 “반복적인 가벼운 뇌손상”이었다

우리가 뇌손상이라고 하면 큰 사고를 먼저 떠올린다. 하지만 연구자들이 주목한 것은 더 조용한 손상이다. 스포츠 경기 중 반복되는 머리 충격, 군 복무 중 폭발 압력, 낙상, 가벼운 뇌진탕이 누적되는 상황처럼 말이다.

한 번의 충격은 “괜찮아 보이는” 수준일 수 있다. 문제는 반복이다. 뇌는 매번 회복하려고 하지만, 회복이 끝나기 전에 다음 충격이 오면 시스템 전체가 미세하게 흔들릴 수 있다.

CDC도 반복적인 머리 충격을 별도로 설명한다. 여기에는 증상이 뚜렷한 뇌진탕뿐 아니라, 맞은 직후 특별한 증상을 느끼지 못하는 충격도 포함된다. 다만 CDC는 동시에 중요한 주의를 덧붙인다. 한두 번의 뇌진탕이나 가끔 있는 머리 충격이 CTE로 이어진다는 강한 근거는 없으며, CTE는 현재 사후 뇌 조직 검사로만 확진할 수 있다.

주의해서 읽을 지점
반복 충격은 가볍게 볼 일이 아니지만, 모든 머리 충격을 곧바로 CTE 공포로 연결해서도 안 된다.

이번 연구는 바로 그 사이의 회복 과정을 들여다봤다. 뇌가 다친 뒤 무엇을 다시 세우려고 하는지, 그리고 피쉬오일 속 EPA가 그 과정에 어떤 영향을 주는지 본 것이다.

핵심은 뉴런만이 아니라 혈관이었다

뇌 건강 이야기는 자주 뉴런 중심으로 흐른다. 기억력, 집중력, 인지 기능 같은 단어가 먼저 떠오르기 때문이다. 하지만 뇌는 뉴런만으로 버티는 장기가 아니다. 혈관이 산소와 영양분을 공급하고, 혈액뇌장벽이 외부 물질의 출입을 조절하며, 대사 교환이 안정적으로 이루어져야 한다.

이번 연구에서 중요한 구조는 신경혈관 단위(neurovascular unit)였다. 특히 뇌혈관 안쪽을 이루는 뇌 미세혈관 내피세포가 핵심 단서로 제시됐다. 이 세포들은 혈류, 장벽 기능, 대사 교환, 조직 회복에 관여한다. 뇌 전체에 혈관망이 촘촘히 깔려 있다는 점을 생각하면, 내피세포의 작은 변화도 시간이 지나며 의미 있는 차이를 만들 수 있다.

Medical News Today 기사에서 연구자 Onder Albayram은 뇌의 거대한 혈관 네트워크를 언급하며, 내피 기능의 미묘한 변화도 장기적으로 영향을 줄 수 있다고 설명했다. 이 연구는 “오메가-3가 뉴런에 좋으냐 나쁘냐”를 단순히 묻는 연구가 아니다. 더 정확히는 손상 이후 뇌혈관 회복 시스템이 제대로 작동하느냐를 묻는다.

EPA와 DHA는 같은 오메가-3가 아니다

피쉬오일을 이야기할 때 가장 많이 뭉개지는 부분이 여기다. 우리는 흔히 EPA와 DHA를 함께 “오메가-3”라고 부른다. 제품 라벨에도 두 성분이 나란히 적혀 있다. 하지만 둘은 몸속에서 같은 방식으로 움직이지 않는다.

NIH Office of Dietary Supplements에 따르면 오메가-3 지방산에는 ALA, EPA, DHA 등이 포함된다. ALA는 식물성 식품에 많고, EPA와 DHA는 생선·해산물·피쉬오일·일부 조류 오일 등에 들어 있다. ALA가 EPA와 DHA로 전환될 수는 있지만 전환율은 제한적이어서, EPA와 DHA를 늘리려면 식품이나 보충제를 통해 직접 섭취하는 방식이 실제적이라고 설명한다.

DHA는 뇌와 망막에 많이 존재하는 구조적 지방산으로 자주 언급된다. 반면 EPA는 염증 매개, 지질 대사, 혈관 생성 조절 등 다른 경로와 연결된다. 둘 다 오메가-3지만, 같은 역할을 한다고 보면 안 된다.

이번 연구에서도 차이가 드러났다. 인간 뇌 미세혈관 내피세포를 이용한 실험에서 EPA는 혈관 네트워크 형성과 상처 회복 능력을 떨어뜨리는 방향으로 작용했지만, DHA에서는 같은 효과가 뚜렷하지 않았다고 보도됐다.

이 대목은 실용적이다. “오메가-3가 좋다더라”에서 멈추지 말고, 제품 속 EPA와 DHA 비율, 복용 목적, 자신의 현재 상태를 함께 봐야 한다는 뜻이기 때문이다.

뇌가 회복하려 할 때 EPA가 브레이크처럼 작용한다면

손상 이후 뇌는 여러 일을 동시에 한다. 염증을 조절하고, 손상된 조직을 정리하고, 혈류를 안정화하고, 필요한 곳에 새 혈관을 만들며, 장벽 기능을 회복한다. 깔끔한 스위치 하나로 끝나는 과정이 아니다. 아주 정교한 공사 현장에 가깝다.

이번 연구에서 EPA는 이 공사 현장의 일부 장비를 늦추는 것처럼 보였다. 특히 새 혈관 형성, 즉 angiogenesis와 내피세포 회복 반응이 약해지는 신호가 관찰됐다. 동물 모델에서는 장기 피쉬오일 섭취가 반복적인 경미한 뇌손상 이후 신경혈관 기능 변화, 피질 부위의 tau 축적, 신경학적 수행 및 공간 학습 저하와 연결됐다고 보도됐다.

여기서 tau라는 이름이 등장하면 긴장감이 올라간다. Tau 단백질은 알츠하이머병과 CTE 같은 신경퇴행성 질환에서 자주 언급된다. 그러나 이 지점에서 문장을 조심해야 한다. 이 연구만으로 “피쉬오일이 CTE를 만든다”고 말할 수는 없다.

정확한 표현은 이쪽에 가깝다.

과장하지 않는 표현
반복적인 뇌손상 모델에서 EPA와 관련된 혈관 회복 저하 및 tau 관련 신호가 관찰됐고, 이는 CTE 관련 병리와의 연결 가능성을 더 연구할 필요가 있다.

건강 글쓰기에서 신뢰는 종종 이런 조심스러운 문장에 있다. 독자를 놀라게 하는 문장보다, 어디까지가 확인됐고 어디부터가 질문인지 나눠주는 문장이 오래간다.

기존 연구들과는 어떻게 다를까

여기서 흥미로운 긴장이 생긴다. 오메가-3와 외상성 뇌손상에 관한 기존 문헌은 대체로 “가능성 있는 보호 효과”를 이야기해왔다. 예를 들어 2013년 PubMed에 등재된 리뷰는 DHA와 EPA가 TBI에서 신경 회복에 유망한 실험실 근거를 가지고 있다고 설명했다. 2024년 Nutrients 리뷰도 오메가-3 지방산이 동물 모델에서 염증, 산화 스트레스, 혈액뇌장벽 손상, 부종, 축삭 손상 등을 줄이는 방향으로 연구되어 왔다고 정리한다.

그렇다면 이번 연구는 기존 연구를 뒤집은 걸까? 그렇게 단순하게 볼 필요는 없다.

오히려 이번 연구는 질문을 더 세밀하게 만든다.

이번 연구가 새로 여는 질문들

오메가-3 전체를 한 덩어리로 봐도 되는가?
DHA 중심 결과와 EPA 중심 결과를 구분해야 하는가?
급성 손상, 반복 손상, 회복기, 장기 섭취라는 조건이 결과를 바꾸는가?
뇌세포 보호와 뇌혈관 회복은 같은 방향으로 움직이는가?

기존 연구가 “오메가-3가 TBI에서 도움이 될 수 있다”는 가능성을 보여줬다면, 이번 연구는 “어떤 오메가-3가, 어떤 손상 맥락에서, 어떤 세포 시스템에 작용하는가”를 더 따져야 한다고 말한다. 건강정보가 성숙해지는 방식은 대개 이렇다. 처음에는 큰 효과를 보고, 그다음에는 예외와 조건을 찾는다.

누가 이 연구를 유심히 봐야 할까

일반 독자가 가장 궁금해할 부분은 결국 이것이다.

“그럼 나도 피쉬오일을 끊어야 하나?”

현재 근거만으로는 그렇게 말할 수 없다. 하지만 아래에 해당하는 사람이라면 한 번쯤 점검할 이유가 있다.

한 번쯤 점검하면 좋은 경우

반복적인 뇌진탕이나 머리 충격 경험이 있는 사람
복싱, 축구, 미식축구, 격투기 등 접촉 스포츠 경험이 많은 사람
군 복무나 직업 환경에서 폭발, 충격, 낙상 위험에 노출된 사람
반복 낙상 위험이 높은 사람
경미한 외상성 뇌손상 이후 회복 중인 사람
EPA 함량이 높은 피쉬오일 보충제를 장기간 복용 중인 사람

이런 경우에는 보충제를 혼자 판단하기보다 의료진과 상의하는 편이 안전하다. 특히 항응고제나 항혈소판제 등 다른 약을 복용 중이라면 피쉬오일은 뇌손상 여부와 별개로도 상담이 필요할 수 있다. NIH ODS도 오메가-3 보충제의 안전성과 약물 상호작용을 별도로 다룬다. 보충제는 “음식에 가까우니 괜찮겠지”로 넘기기엔 몸속에서 하는 일이 많다.

핵심은 공포가 아니라 개인화다. 영양제는 내 몸의 이력과 함께 읽어야 한다.

피쉬오일을 먹고 있다면 확인할 것

피쉬오일을 이미 먹고 있다면, 당장 서랍 속 캡슐을 버릴 필요는 없다. 대신 라벨을 한 번 더 볼 필요는 있다.

확인할 것은 복잡하지 않다.

피쉬오일 복용 전 5문항

왜 먹고 있는가
심혈관 건강, 중성지방, 눈 건조, 염증, 막연한 뇌 건강 중 무엇을 기대하고 있는지 먼저 분명히 해야 한다.
EPA와 DHA 비율이 어떻게 되는가
“오메가-3 1,000 mg”만 보지 말고 EPA와 DHA가 각각 얼마나 들어 있는지 봐야 한다.
최근 머리 손상이나 반복 충격 이력이 있는가
뇌진탕, 접촉 스포츠, 낙상, 폭발·충격 노출이 있었다면 장기 복용을 의료진과 상의하는 편이 좋다.
함께 먹는 약이 있는가
특히 항응고제, 항혈소판제, 수술 전후 상황처럼 출혈 위험과 관련된 맥락은 별도 상담이 필요하다.
식사로 채울 수 있는 부분은 없는가
NIH ODS는 영양 필요를 가능하면 식품을 통해 충족하는 것이 좋다고 설명한다. 생선, 견과류, 씨앗류, 전체 식사 패턴을 함께 봐야 한다.

이 연구가 남기는 가장 좋은 질문

우리는 건강 정보를 너무 자주 성분 단위로 소비한다.

“마그네슘은 수면에 좋다.”
“비타민 D는 면역에 좋다.”
“오메가-3는 뇌에 좋다.”

이런 문장은 기억하기 쉽다. 하지만 몸은 그렇게 단순하게 움직이지 않는다. 성분은 용량, 기간, 조성, 질병 상태, 나이, 약물, 식습관, 손상 여부에 따라 다른 얼굴을 보일 수 있다.

피쉬오일도 마찬가지다. EPA와 DHA의 비율이 다르고, 섭취 기간이 다르고, 먹는 사람의 상태가 다르다. 특히 뇌손상 이후처럼 회복과 재구성이 필요한 시기에는 “평소에 좋다고 알려진 작용”이 반드시 좋은 방향으로만 흐르지 않을 수 있다.

이번 연구가 남기는 가장 좋은 질문은 “피쉬오일이 좋은가, 나쁜가”가 아니다.

“내가 먹는 이 성분은 지금 내 몸의 상황과 맞는가?”

그 질문 하나만으로도 영양제를 보는 방식은 꽤 달라진다.

균형 잡힌 결론

피쉬오일은 여전히 많은 사람이 복용하는 보충제이고, 오메가-3 지방산은 다양한 영역에서 연구되어 왔다. 하지만 많이 먹는다는 사실이 모든 상황에서 안전하고 유익하다는 뜻은 아니다.

이번 Cell Reports 연구는 EPA가 반복적인 경미한 뇌손상 이후 뇌혈관 회복 과정에서 불리하게 작용할 수 있는지 묻는다. 동물 모델과 인간 세포 실험은 그 가능성을 보여줬다. 특히 EPA가 내피세포 회복, 혈관 형성, 신경혈관 안정성에 영향을 줄 수 있다는 점은 앞으로 더 확인할 가치가 있다.

다만 이 연구를 일반화하는 데는 한계가 있다. 동물 모델과 세포 모델의 결과를 곧바로 모든 사람에게 적용할 수는 없다. CTE 환자 조직에서 EPA 관련 신호가 관찰됐다는 보도도 인과관계를 증명하는 것은 아니다.

그러니 지금 필요한 태도는 “피쉬오일은 위험하다”가 아니다.

조금 더 정확히 말하면 이렇다.

피쉬오일도 맥락을 탄다.

오메가-3도 EPA와 DHA를 나눠서 봐야 한다.

뇌가 회복 중이라면, 좋은 성분도 좋은 타이밍인지 다시 물어야 한다.

캡슐은 작다. 하지만 그 안에 들어 있는 질문은 작지 않다.

레퍼런스

Medical News Today. “Fish oil supplements: Could they sometimes harm the brain?” / “Omega-3s may affect brain repair: Should you avoid them?”
https://www.medicalnewstoday.com/articles/fish-oil-omega-3-brain-health-brain-repair
Cell Reports / ScienceDirect. “Eicosapentaenoic acid reprograms cerebrovascular metabolism and impairs repair after brain injury, with relevance to chronic traumatic encephalopathy.”
https://www.sciencedirect.com/science/article/pii/S2211124726002135
Cold Spring Harbor Laboratory. “Fish oil may increase CTE risk after brain injury.”
https://www.cshl.edu/fish-oil-may-increase-cte-risk-after-brain-injury/
ScienceDaily / Medical University of South Carolina. “Fish oil may be hurting your brain, new study finds.”
https://www.sciencedaily.com/releases/2026/04/260426012303.htm
NIH Office of Dietary Supplements. “Omega-3 Fatty Acids: Fact Sheet for Health Professionals.”
https://ods.od.nih.gov/factsheets/Omega3FattyAcids-HealthProfessional/
CDC. “About Repeated Head Impacts.”
https://www.cdc.gov/traumatic-brain-injury/about/repeated-head-impacts.html
Valero-Hernandez E, Tremoleda JL, Michael-Titus AT. “Omega-3 Fatty Acids and Traumatic Injury in the Adult and Immature Brain.” Nutrients. 2024. DOI: 10.3390/nu16234175.
https://pmc.ncbi.nlm.nih.gov/articles/PMC11643940/
Mills JD, Bailes JE, Sedney CL, Hutchins H, Sears B. “Omega-3 fatty acids as a putative treatment for traumatic brain injury.” J Neurotrauma. 2011/2013 PubMed record.
https://pubmed.ncbi.nlm.nih.gov/23363551/

Editor Notes

Tone check: v0보다 블로그 리듬을 더 자연스럽게 다듬었다. 공포성 제목이나 단정적 문장을 피하고, “맥락을 탄다”는 중심 문장을 반복축으로 사용했다.
Factual/source check: Medical News Today, CSHL, ScienceDaily/MUSC, ScienceDirect 원논문 랜딩, NIH ODS, CDC, PubMed/PMC 리뷰를 추가 확인했다. Cell/Elsevier 원문 전문 및 supplement는 접근 제한으로 세부 수치 확인이 필요하다.
Structure check: 도입 → 오해 방지 → 연구 맥락 → 기전 → EPA/DHA 구분 → 기존 연구와의 긴장 → 독자 적용 → 결론 → 참고자료 순서로 재구성했다. 시각 자료 언급은 빼고, 블로그용 강조 박스와 컬러 포인트로 가독성을 보강했다.
Publication readiness: v4는 시각 자료 관련 내용을 제거하고 텍스트 강조/색상 HTML 블록을 적용한 리뷰용 초안. 과학적 완성도를 더 높이려면 원논문 전문에서 식이 조성, EPA 농도, 동물 수, rmTBI 프로토콜, tau 측정법을 보강해야 한다.

[논문리뷰] - Vision은 메타지! Meta AI가 만든 DiNO 시리즈에 대해서 알아보자.

minyoungxi — Thu, 23 Apr 2026 16:00:20 +0900

Meta AI

Vision 분야의 최신 연구트렌드는 Meta Ai의 리서치를 따라가면 됩니다.

Meta는 최근 Llama의 네 번째 시리즈를 출시했지만, 평가가 그렇게 좋지 않았죠? 상대적으로 LLM 기술에 뒤쳐져 있는 Meta이지만, Vision 분야라면 이야기는 달라집니다.

메타의 연구들을 따라가보면 Vision 분야에서 새 돌파구를 찾고 있는 듯 보이고, 실마리를 찾은 것 같아 보입니다.

사실 와닿지 않을 수 있습니다.

망한 라마4

ChatGPT 지브리나 구글의 nano banana에 비해서 Meta가 보여줬다는 느낌은 안 듭니다.

SAM 정도가 생각나긴 하지만요 앞서 언급한 프로덕션에 비해서 임팩트가 떨어지는 것은 사실입니다.

하지만 메타의 비전 관련 연구들을 보면 분명한 목표가 느껴집니다.

MAE 연구 - https://arxiv.org/abs/2111.06377

https://arxiv.org/abs/2104.14294

메타의 연구들을 보면서 메타의 AI 비전 그 중에서도 'DiNO' 시리즈를 살펴보겠습니다.

메타의 목표는 GPT의 학습 전략을 컴퓨터 비전에도 적용하고 싶어하는 것 같습니다.

우선 ChatGPT와 같은 LLM 모델을 만들기 위해서는 두 가지 학습 과정이 필요합니다.

바로 Pretrain과 fine tuning 입니다. 딥러닝을 공부하시는 분들은 분명히 들어보셨을거예요.

이 두 단계는 AI 모델에게 각각 다른 성질의 정보를 학습시킵니다.

Pretrain

첫 번째로 Pretrain 단계를 봅시다.

인터넷의 굉장히 많은 글들을 보면서요 어떤 부분까지의 글을 입력을 받은 후에 바로 직후의 단어를 잘 예측하는 방식을 통해서 학습시킵니다.(Autoregressive한 방식)

이 pretrain 과정에서는 글 안의 내용의 논리적인 의미나 도덕성, 가치 판단과는 상관없이 단순히 언어가 어떤 패턴으로 구성되는지 이 세상의 글들이 어떤 규칙으로 나열되는지를 단어 나열의 패턴으로써 학습하게 됩니다. 그리고 이 과정은 일종의 Self-supervised learning 입니다. SSL의 의미는 우선 Supervised Learning을 알면 이해할 수 있습니다.

전통적인 머신러닝에서는요 데이터와 데이터에 해당하는 정답 레이블 즉, 데이터-라벨 쌍을 기본으로 생각했습니다.

데이터의 입력을 통해 라벨을 예측하는 모델 이 모델을 학습하는 방식이 지도 학습(Supervised Learing)입니다.

예를 들어 숫자 이미지가 들어갔을 때 그게 어떤 숫자인지 정확히 맞추도록 학습, 질문 글이 들어왔을 때 적절한 대답 글을 맞추도록 학습. 이 학습에는 아까 말했듯이 데이터-라벨 쌍이 필요합니다.

Supervised Learning, 출처 - 임커밋

Self supervised Learning은 라벨은 없이 데이터만 가지고 해당 데이터가 어떻게 구성되는지 패턴을 학습하는 방식이 self-supervised learning 입니다.

self-supervised learning, 출처-임커밋

self-supervised learning은 입출력에다가 각각 어찌저찌 조작을 한 다음에 이 조작된 입력을 가지고 조작된 출력을 잘 학습하도록 합니다. 이렇게 함으로써 이 데이터를 이루는 규칙이 어떤 식으로 들어가는지 이 데이터가 가지고 있는 의미를(Semantic) 모델이 학습하게 됩니다.

그러면 여기서 다시 아까의 LLM pretrain으로 돌아오면 chatGPT같은 언어모델의 pretrain도 일종의 self-supervised learning이라고 했죠 ? 이 pretrain에 필요한 것은 어떤 질문 대답 쌍, 이 질문에는 이 대답이어야 한다. 이런 식의 라벨 쌍이 아닙니다.

pretrain에는 단순한 글, 이런 블로그와 같은 글들이 앞부분까지 떼어낸 조작 입력에 대해서 직후 단어만 추출한 조작을 가한 데이터를 예측하도록 self-supervised learning하는 방식을 pretrain에 사용하고 이 방식을 토대로 언어가 어떻게 구성되는지 학습합니다.

FineTuning

아까 언급한 것처럼 이 pretrain을 통해서요 글의 논리나 도덕적 원리가 아닌 글 자체의 나열, 즉 언어 그 자체로 어떤 원리로 구성되는지를 모델이 학습합니다. 이 pretrain을 거쳐서 언어가 어떤 원리로 이루어져 있는지 깨달은 모델은 finetuning 단계를 거쳐서 어떤 말을 해야할지 배우게 됩니다.

이 finetuning 단계에서 모델은 데이터와 이 데이터에 대응하는 어떤 값을 통해서요 아까 말한 논리적 의미, 도덕적 원리, 진위 여부와 같은 정보를 배우게 됩니다. 참고로 방금 라벨이 아니라 '어떤 값'이라고 표현한 이유는 이 finetuning에는 지도 학습뿐만 아니라 온갖 여러가지 방법들이 있기 때문입니다. 데이터와 라벨로 이야기하는 supervised learning으로 언어 모델의 finetuning을 정의할 수는 없기 때문에 조금은 모호한 표현인 '대응하는 어떤 값'이라는 표현을 사용합니다.

이 finetuning(RLHF, DPO)와 같은 방법들에게는 공통점이 있습니다. 바로 pretrain보다 데이터셋이 작은 규모인데요.

왜냐하면 데이터셋 샘플들이 pretrain 때보다 더 희소하기 때문입니다.

pretrian에서는 그냥 단순한 글을 가져왔지만 finetuning에서는 Prompt, Responses, Preference와 같은 구성을 만족하는 데이터셋을 갖춰야 하기 때문입니다. 이런 구성을 만족하는 데이터는 당연히 단순한 글보다 희소할 수 밖에 없기 때문이겠죠 ?

그래서 이런 ChatGPT와 같은 LLM을 학습할 때는요 두 과정이 필수적입니다.(Pretrain, Finetuning)

Pretrain 없이는요 언어를 구사하는 능력을 학습할 수 없고, finetuning이 없으면 모델이 단순한 단어의 배치만 학습하기 때문에 쓸모가 없을테죠.

다시 메타의 비전으로 돌아와보겠습니다.

Vision에서 사용하는 이미지 데이터는 LLM에서 사용하는 데이터처럼 pretrain-finetuning을 그대로 적용하기에는 좀 어렵습니다.

그 이유는 바로 pretrian 때문인데요, finetuing같은 경우는 컴퓨터 비전 분야의 여러 task들(Classification, Segmentation...)이 있고 이 task를 위해 준비된 데이터를 사용하면 됩니다.

제 생각에 pretrain을 적용하기 어려운 이유는 두 가지가 있는데요

첫 번째는 이미지가 나열 개념이 아니라는 점, 두 번째는 이미지가 언어에 비해서 redundancy가 크다는 점입니다.

우선 나열 개념이 아니라는 점은 1차원이 아니라는 것인데요. 이건 어느 정도 직관적입니다.

LLM에서 사용하는 언어 모델은 나열의 다음 subword 예측 task로 학습합니다. 이걸 이미지에 적용하려고 보니까 이미지는 2D이기 때문에 다음이라는 개념이 말이 안되는 것 같습니다.

두 번째로 이미지가 언어에 비해 정보 Redundancy가 크다는 점인데요 만약에 이미지 내부 구성에서도 용케 다음이라는 개념을 잘 정의했다고 칠게요. 하지만 언어에서 한 단어 한 단어가 이루는 유기적인 의미 연결보다 이미지에서 다음으로 이루어지는 연결은 중복같은 군더더기가 훨씬 많겠죠? (배경)

그래서 이런 문제들이 있지만, 앞서 말했듯이 pretrain이 없으면 본다는 개념(시각적 정보)이 없기 때문에 다양한 비전 Task들을 한 모델이 일반적으로 잘하지는 못할 것 같습니다. 이건 현재 빅테크들의 이미지 모델이 동일하게 겪고있는 문제입니다.

text 입력을 바탕으로 editing을 잘하기도 하고, text 입력을 바탕으로 그 이미지를 잘 만들기도 합니다.

하지만 비전 task를 종합적으로 잘하는, 즉 본다는 것에 대한 일반적인 이해가 있는 그런 비전 모델은 아직 없습니다.

이렇게 비전 모델들의 난항 속에서 Meta는 DiNO라는 실마리를 찾았습니다.

DiNO는 SSL의 일종이라서 라벨이 붙어있지 않은 데이터 이미지를 학습시킬 수 있습니다.

이로 인해 pretrain에서 대규모 데이터를 통해 얻는 이점인 '본다'는 것에 대한 일반적인 이해를 모델에게 주입시킬 수 있습니다.

실제로 라벨이 없는 대규모 데이터로 pretrain한 결과 사람이 사물을 인식하는 것과 거의 슷하게 물체를 구별하는 듯한 패턴을 보여줍니다. 학습된 DiNO가 만든 feature map을 보면 어떤 라벨 지침없이 단순히 2D 이미지만 가지고 학습했을 때 사진 속의 물체 패턴을 정확하게 인식하는 것을 볼 수 있습니다.

이렇게 구별할 수 있는 feature map을 뽑을 수 있는 pretrain weight를 사용하면 finetuning은 다른 task로의 finetuning으로 확장했을 때 더 좋은 성능을 낼 수 있을 것입니다.

그리고 여기서 더 흥미로운건 DiNO도 GPT와 마찬가지로 Scale up이 잘 된다는 것입니다. 2021년 DiNO v1부터 2025년의 v3까지 모델 크기를 키워오면서 성능도 준수하게 향상되는 모습을 보여주고 있습니다.

feature map이 점점 매끈하게 뽑히는 모습을 볼 수 있습니다.

사실 모델 구조나 학습 방법이 작은 규모에서만 잘 동작하고 Scale을 높였을 때 그만큼 성능이 나오지 않는 경우가 다른 연구에서는 빈번한데 DiNO의 경우 v3까지 성능이 잘 향상되어온 것 같네요.

이렇게 DiNO는 GPT의 학습 전략을 답습할 수 없었던 문제, 이미지 데이터로 pretrain이 어렵다는 문제를 잘 해결할 수 있어 보입니다. 메타는 실제로 컴퓨터 비전 관련 연구나 제품에 확실히 많은 기대를 걸고 있는 것으로 보입니다.

비전 분야에서 GPT가 보여줬던 어떤 임팩트를 내 준다면, 비전 분야에서의 도약과 더 나아가서 언어와 이미지 멀티모델 AI에 대해서 더 큰 기대를 해볼 수 있을 것 같습니다.

2021년 DiNO v1의 등장 - Distillation + EMA

학습을 하기는 하는데 라벨로 학습하는 것이 아니라 고수(Teacher)에게 전달받습니다. 여기서 고수란 출력이 같은 모양인 다른 딥러닝 모델입니다. 고수가 뱉은 출력을 정답이라 믿고 이 출력과 같아지도록 학습하는 방식이 Distillation입니다. 이 때 보통 학습해서 변화하는 모델을 Student model이라고 하고, 고수 모델을 Teacher model 이라고 합니다.

그러면 Student model 학습 때는 라벨이 필요가 없겠죠?
그저 Teacher model의 출력만 보고 그걸 토대로 학습할 수 있습니다.
하지만 이 distillation에는 한계가 있습니다. 웬만하면 teacher model 이상으로 좋은 성능이 나오지는 않는다는 것이죠.

다음으로 사용하는 잡기술은 EMA(Exponential Moving Average)입니다.
EMA는 이동 평균을 통해서 학습 과정에서 들쭉날쭉 변하는 weight를 안정적으로 잡아줍니다. 많은 Vision task에서 학습 중인 원래 모델보다 더 좋은 성능을 보이는 경우가 많습니다. 이 말인 즉슨 학습하는 과정중에서 학습 중인 모델 자기 자신보다 더 뛰어난 모델이 존재한다는 뜻입니다.

Centering Sharpening

Dino에서 자기 자신보다 뛰어난 EMA teacher로부터 전수받아서 자기 자신도 발전시키고, 그 직후에 ema 모델도 조금 더 향상되고 이 과정을 반복한다고 했습니다. 하지만 문제가 있다고 했는데 이건 collapse라는 요행의 늪에 빠지기 쉽다고 했습니다.

collapse가 뭐냐면 학습 과정에서 모델이 loss 숫자를 줄이는데, 입력의 특성을 배워서 줄이는게 아니라 학습 설계의 빈틈으로 요행을 써서 loss를 줄이는 방법을 의미합니다.

mode collapse는 한 숫자만 만들어도 학습 설계에 문제가 없는 상태

그래서 loss는 낮아지지만 모델을 학습해서 활용하고자 했던 목적은 제대로 수행하지 못합니다. 그래서 이번에는 dino가 무슨 collapse에 빠지고 이 collapse를 어떻게 피하는지 알아보겠습니다.

첫 번째 방법은 centering입니다.

일단 centering이 뭔지 보기 전에요 centering으로 풀고자 하는 collapse가 무슨 증상인지부터 보겠습니다. dino 모델은 라벨은 정해주지 않았지만 일단 출력으로 뭔가인 것 같다는 classification을 한다고 했습니다.

그래서 모델의 출력에 softmax를 해서요 뭔가 일 것 같다는 확률을 출력합니다. 그런데 아까 했던 설명 dino는 자기 자신의 ema의 출력을 teacher로 삼는다고 했습니다. EMA는 현재의 모델과 과거의 모델을 가지고 만들어진다고 했는데요 하지만 만약에 과거와 현재의 항상 모든 입력에 대해서 같은 출력을 내왔다면 어떨까요 ?

예를 들어서 출력 벡터의 3번째만 0.99 나머지는 아주 작게 이런 출력을요 항상 어떤 입력이 들어와도 이렇게만 출력을 내도록 모델이 요행을 부린다, 이러면 어떨까요 ? teacher의 출력이랑 같으니까 loss는 작은데요 어떻죠?

classification을 제대로 하는 모델은 아니겠죠? 더 중요한건 EMA는 어차피 자기 자신으로부터 만드니까요 새로 계산된 ema도 같은 출력을 낼 것입니다.

그래서 이 collapse를 해결하지 못하면 모델은 학습 과정에서 한 가지 출력에만 꽂혀서 제대로 학습되지 않을 것입니다.

이 collapse를 centring으로 해결합니다. teacher 역할의 EMA 모델에서 softmax 직전 벡터를 어떤 벡터로 빼줄 겁니다. 빼주는 벡터는요 minibatch 축의 자기 자신 평균입니다. 정확하게는 자기 자신 평균 자체도 EMA로 업데이트를 해서 EMA 벡터를 빼긴 합니다. 아무튼 핵심 의미는 자기 자신 평균을 빼는건데 이 행위의 의미는 뭘까요 ?

바로 특정 출력으로 쏠림을 방지한다는 것입니다. 아까의 collapse 상황처럼 계속 특정 출력에 쏠려있으면 이 평균 벡터도 특정 출력 위치에 쏠린 상태겠죠? 하지만 centering에서 이 벡터로 빼니까 출력이 하나로 몰리지 않고 분산되도록 퍼진 상태를 만듭니다. 그래서 이 centering을 통해서 입력이 서로 달라 보이면 다른 값의 벡터를 출력하도록 올바르게 학습시킵니다.

그런데 centering 만으로는 부족한데요, 반대 성질의 다른 collapse도 있기 때문입니다.

이번 collapse도 한 상태의 출력만 내긴 하는데요, 이번에는 그 출력이 전부다 고르게 분포할 경우입니다. 이게 무슨 말이냐면 이번에도 모델은 항상 같은 출력을 내는데요, 합 확률 1을 전체가 거의 같게 나눠가집니다.

그러면 이런 출력으로 계속 유지되는 teacher라도요 student가 그대로 따라하면 loss는 낮고 teacher는 변함이 없겠죠 ? 심지어 더 문제는요 centering은 이걸 해결해주지 못하고 이런 출력 평탄화를 더 가속화합니다. 벡터에서 약간이라도 큰 값이 있으면 centering에서 억제돼서 평평하게 바뀌는거죠.

그래서 이걸 해결하는 방법을 Sharpening이라고 부릅니다. sharpening은 teacher 모델에서 softmax의 logit에다가요 0.0x로 나누는 즉, logit을 곱셈 뻥튀기하는 방식입니다. 곱셈 뻥튀기를 하면 출력들의 조그마한 차이도 이 차이를 더 키우구요 여기에 softmax에는 exponential이 있으니까 차이가 한 번 더 벌어집니다. 이 sharpening으로 점점 더 평평한 분포가 되는 collapse를 해결해서요 어느 하나를 분명히 고르도록 만드는 효과를 냅니다.

centring과 sharpening을 적당히 먹이면은요 Dino가 collapse 요행에 빠지지 않습니다. sharpening으로 teacher 모델 출력이 어느 하나를 분명히 선택하게 해서요 의미없이 평평하게 분포하게 되는 걸 막습니다.

그러면 어느 하나를 분명히 고르긴 하지만요 sharpening만으로는 항상 같은 것만 선택할 수도 있죠? (sharpening만 쓰면 하나만 선택 -> 무작위성 제거 -> 엔트로피 0)

이 때 centering으로 하나만 고르는 상황을 억제합니다. 이렇게 학습된 dino는 서로 같은 입력에 대해서는 같은 출력을 내면서요 서로 다른 것은 다르다고 확신하도록 학습됩니다. 이렇게 dino는 ema로 자신을 학습하는 방식에 두 가지 안전 장치인 centering과 sharpening으로 모델을 ssl합니다.

다른 모델들은 예를 들어 SimCLR의 경우 다른 sample로부터의 repulsion으로 force 방향을 정하거나 MoCo의 경우 SimCLR + Momentum queue를 사용합니다. 모두 근본적으로 "output distribution이 degenerate해지는 것을 막는다"는 같은 목표죠. 차이는 제약을 (a) sample-sample 관계, (b) sample-teacher 관계, (c) sample-population statistics, (d) sample-cluster 관계 중 어디에 걸었느냐입니다.

DiNOv2 and v3

Dino v2, v3는 스케일링 이슈, 다른 말로 v1 때보다 큰 규모로 학습할 때의 이야기입니다.
논문을 보면 여러 키워드들이 나와서 혼란스러운데요 크게 두 가지로 분류됩니다.

DiNO에다가 다른 논문의 방법론을 차용했다.
타 논문이랑 다른 방법을 사용하거나 직접 방법을 고안했다.

2는 Data Curation과 Global vs Local로 나뉩니다.

우선 Data Curation은 쉽게 말해서 정제입니다. 웹에서 수집한 데이터가 너무 날 것이라서 입니다. 모델 사이즈를 키울건데, overfitting이 발생하지 않도록 하려면 데이터도 많이 필요하죠 ? 그래서 이미지 수집을 엄청해서 이미지는 많이 모였습니다.
그런데 문제가 있는 것은 중복과 의미없는 데이터가 너무 많습니다.

먼저 중복을 보면, 유명한 짤은 똑같은 짤들이 여러 블로그와 여러 사이트에서 쓰고 그러죠? 문제는 이걸 그냥 모은 상태 그대로 학습에 쓰면, 모델이 유명한 짤에 weight를 더 많이 주게 됩니다. 반대로 희소한 데이터의 경우 상대적으로 중복이 별로 없을테니까요, 겹치는 경우가 별로 없어서 가중치가 적을겁니다. 그런데 이걸 하나씩 가중치를 설정해줄 수 없으니 여기서 사용하는게 Data Curation입니다.

Dino v2에서는 이 data curation에 Deduplication과 Retrieval을 사용했습니다.
Deduplication은 이미지별로 임베딩을 뽑아서 너무 똑같은 것들은 지웁니다. 그래서 중복을 방지하는 역할이고, Retrieval은 이미지를 기반으로 검색하는데요 잘 마련딘 데이터로 검색해서 같은 범주의 이미지들을 확보합니다.

이 둘의 효과는 뭘까요 ?
날 것의 대규모 데이터에서요 너무 겹치는 것들 혹은 단색 이미지처럼 의미없는 이미지도 걸러지게 됩니다. 그러면서 일반적인 공개 데이터셋들보다 더 큰 규모로 데이터를 확보할 수 있습니다.

Data curation은 v2 뿐만 아니라 v3에서도 하는데요, v2의 방법에 Clustering이 추가됩니다.
좀 더 디테일하게는 5 level clustering이라고 하는데요, 쉽게 말해서 학습시킬 때 이미지를 바로 랜덤으로 뽑는게 아니라 cluster를 랜덤으로 뽑고, 그 다음에 cluster에서 이미지를 뽑습니다.

그게 무슨 의미냐면 원래는 랜덤으로 샘플링했을 때, 모든 이미지가 같은 확률이죠?(샘플링)
하지만 어떤 종류의 이미지들은 많고 어떤 종류의 이미지는 적을 수 있는데요.
그러면 샘플이 많은 종류의 이미지로 모델이 편향될 수 있습니다. 그런데 cluster를 먼저 샘플링하면 이미지 종류마다 골고루 노출되니까요 균형잡힌 분포로 모델을 학습시킬 수 있습니다.

5 level cluster는 뭐냐면 cluster 내부에서 더 세세하게 이미지 임베딩을 큰 덩어리로 나누고 그 안에 덩어리끼리 또 나누는 방식으로 진행하는 것입니다. 이렇게 하면 각 cluster마다 균형잡힌 분포로 샘플링 됩니다. 만약 개랑 닭이 9:1 비율로 있어도 다른 클러스터에 있다면 비슷한 횟수로 모델에 사용되는 것입니다.

그 다음은 global과 local의 충돌입니다. 이건 Dinov3에서 언급합니다.

충돌을 성능으로 확인합니다. 학습 과정을 보니까요 classification은 계속 올라가지만 segmentation 능력은 peak를 찍고 떨어지고 있네요.

classification은 이미지를 전체적으로 봐야하니까 global representation 정보 기반입니다. 반면에 segmentation은 이미지의 디테일을 잘 잡아야 하니까요 local한 dense feature가 중요합니다.

그런데 segmentation 성능이 점점 떨어진다고 했죠 ?

왜 그런지 보니까요 학습 초반에는 patch가 자기 근처의 요소, 의미적으로 자기 자신이 속한 곳과 유사도가 높습니다. 학습 초반에는 꽃잎 패치가 자기들끼리 attention이 높게 잡히죠?

즉 segmentation이 잘 된다고 할 수 있습니다. 하지만 이 능력은 학습이 진행되면서 점점 떨어지는데요 이 때 고점 성능을 회복시키기 위해서 gram anchoring이라는 것을 사용합니다.

고점 상태의 모델을 teacher로 두고 이 teacher의 patch 별 출력을 뽑아서요 모든 patch간 내적이 현재 student와 같아지도록 만듭니다. 고점 상태의 모델은 patch간 상관관계가 깔끔하게 나올테니까요 논문에서는 dense feature가 high quality인 상황입니다. 그러면 student가 고점 상태의 teacher의 dense feature를 쫓아가면은요 나중에도 dense feature가 깔끔하게 회복되는 것을 확인할 수 있습니다. 신기한 점은 이 gram acnchoring은 초반이나 고점을 찍은 뒤에 바로 쓰지 않습니다. 이미 학습을 많이 시킨 후에 마지막에 잠깐 켜서 교정처럼 시킵니다.

DiNO Pretrain의 핵심

Multicrop은 다양한 crop으로 만드는 학습 전략.

ViT에 대해서 먼저 알아야 합니다. Vit, Vision Transformer에서는 3가지를 알면 됩니다.

이미지를 patch 단위로 쪼갠다.
Transformer 구조로 이미지를 이해한다.
Classification은 CLS token을 쓴다

우선 첫 번째 patch 단위입니다. ViT 이전에는 주로 pixel 단위 이미지를 입력했습니다. 그런데 vit의 transformer는 토큰처럼 의미 단위 취급을 위해서 이미지를 patch로 만듭니다. 이걸 한 샘플 당 정보의 크기 관점에서 보면 patch 단위가 pixel 단위보다 정보가 많죠 ?

pixel은 단순히 한 점이지만, patch는 의미 단위, NLP에서 subword같은 단위라고 볼 수 있습니다. 그래서 ViT에서는 의미 단위로 Attention 할 수 있도록 이미지를 Patch 단위의 2D 나열로 입력받습니다. 그리고 그 다음 Transformer 구조로 이미지를 이해한다는 점인데요, 그 중에서도 Encoder Only Transformer 형태로 Patch 단위로 self attention해서 이미지를 이해합니다.

아까 말했듯이 이미지를 patch 단위로 표현하고요, self attention은 patch 간의 상관관계를 분석합니다. 그리고 마지막 cls token은 BERT에서도 쓰는데, CLS token의 필요성을 설명하기 위해서 self attention 구조를 먼저 보겠습니다.

self attention을 잠깐 복습하자면

self attention은 입력과 출력이 같은 shape이고 그 shape는 patch의 나열입니다. self attention 출력의 각 patch는 전체 patch와의 상관관계가 한 차례 분석된 결과입니다. 하지만 이 구조에서는 classification 같은 task에 쓸 patch 정의가 어렵습니다. 왜일까요? 어떤 patch를 classification에 쓸 거라고 정해야하는데요 문제는 모델 설계 단계에서는 그걸(주요 patch를) 아직 알 수 없습니다.

심지어 더 최악은요 이미지 크기가 다르면 patch 개수도 다르니까요 출력이 일관된 구조인 상황도 아닙니다. 바로 그래서 cls token을 사용합니다. 이미지랑 상관없이 특정 task에 쓸 임시 patch를 두고 encoder layer stack의 마지막에 CLS token을 task에 사용합니다.

그러면 이 CLS Token은 어떤 이미지 입력에서든 존재해서 항상 task를 수행해왔죠? 그래서 task에 맞는 attention mapping이 되어 있을 것입니다. Inference 단계에서도 이 CLS Token은 attention mapping이 잘 되어있고 이 task를 잘 수행하기 위한 준비가 되어있습니다. 그래서 어떤 이미지가 들어오든 일관되게 task를 수행하기 위해서 이 task token의 역할로써 CLS token이 있습니다.

Appendix

DiNO의 Gradient flow

얀 르쿤은 말했다. LLM을 이기는건 JEPA (Joint Embedding Predictive Architecture)라고.

minyoungxi — Thu, 16 Apr 2026 11:16:21 +0900

얀 르쿤의 역작 JEPA(Joint Embedding Predictive Architecture)

단순한 파라미터 확장과 데이터 증가에 의존하는 기존의 딥러닝 스케일링(Scaling) 패러다임은 AI의 질적 추론 능력 향상에 한계를 보이고 있습니다. 얀 르쿤(Yann LeCun)은 이러한 구조적 단점을 극복하고, AI가 물리적 세계의 동역학을 이해하는 '월드 모델(World Model)'을 구축하기 위한 대안으로 JEPA를 제안합니다.

이러한 기존 패러다임의 한계는 모라벡의 역설 (Moravec’s Paradox) 과 맞닿아 있습니다. 현재의 컴퓨팅 시스템은 복잡한 수학적 연산과 대규모 데이터 처리에는 탁월한 성능을 보이지만, 인간이 직관적으로 수행하는 기초적인 지각 및 감각 처리에는 여전히 취약합니다. 이는 단순히 모델의 규모를 키우는 방식만으로는 지능의 본질적인 도약을 이뤄낼 수 없음을 시사합니다.

결과적으로 현재의 모델 학습 구조로는 AI 에이전트가 주변 환경을 인지하고 추론하는 월드 모델을 온전히 구성할 수 없습니다. 인간 수준의 지능에 도달하기 위해서는 근본적인 방법론의 전환이 요구되며, 얀 르쿤은 데이터의 양적 팽창에 의존하는 대신 추상적 표현 레벨에서의 예측(Predictive)에 집중하는 JEPA 아키텍처를 그 필수적인 첫걸음으로 정의합니다.

여기, 딥러닝의 3대 구루 중 한 명인 얀 르쿤은, 바로 ‘JEPA (Joint Embedding Predictive Architecture)가 그 첫걸음이라고 이야기합니다.

LLM의 한계점

얀 르쿤은 목적 기반 AI(Objective-Driven AI)라는 용어를 종종 강연에서 언급을 했습니다.
목적 기반 AI를 언급하며 거대언어모델 LLM의 한계에 대해서 폭넓게 이야기 했는데요, 주요 내용은 아래와 같습니다.

엄밀하게 따지면 LLM은 '상식'이라는 개념이 없습니다
- LLM은 텍스트로 표현되는 것 그 너머에 있는 근본적인 현실(Reality)에 대한 지식은 아주 제한적으로만 갖고 있을 뿐 또는 갖고 있는 것처럼 보일 뿐이고 '환각(Hallucination)'이라고 부르는 이상한 실수들을 저지릅니다. 예를 들어서, ‘Dissociating Language and Thought in Large Language Models’라는 논문을 보면, LLM이 언어의 규칙이라든가 패턴 같은 ‘형식적’인 언어 능력은 뛰어나지만, 세상의 언어를 실제로 이해하고 사용하는 등의 ‘기능적’ 언어 능력은 불안정하다는 것을 보여줍니다.

월드 모델 (World Models)

얀 르쿤이 생각하는 ‘AI에 대한 비전의 핵심’에는 ‘월드 모델’이라는 개념이 있습니다. 월드 모델이라는 건, 말 그대로 ‘세계가 움직이는, 작동하는 방식, 원리를 내부적으로 표현 (Representation) 한 것’이라고 할 수 있겠습니다. 얀 르쿤은 AI 모델에게 ‘주변 세계의 맥락’ - 즉 월드 모델 - 을 부여할 수 있다면, 모델의 성능을 개선할 수 있다고 이야기합니다.

자기지도 학습 (Self-supervised Learning)

또 하나의 중요한 관점은, 주변을 관찰하면서 세상에 대해서 학습하는 아기처럼, 자기지도 학습을 사용하는 겁니다. GPT, BERT, LLaMA 및 기타 파운데이션 모델은 모두 이 자기지도 학습 방법론을 기반으로 해서 우리가 머신러닝을 활용하는 방식을 바꿨습니다.

추상적 표현 (Abstract Representations)

자기지도 학습(Self-Supervised Learning) 아키텍처에서 모델은 센서에 입력되는 정보 중 학습에 유효한 데이터와 불필요한 노이즈를 명확히 구분해야 합니다. 이는 모델이 각 상태(State) 전이 과정에서 유의미한 특징(Feature)만을 선별적으로 대조하고 인지할 수 있어야 함을 의미합니다.

이러한 필터링 메커니즘은 연속된 시야에서 불필요한 디테일을 소거하고 핵심적인 차이만을 인지하는 인간의 시각 처리 과정과 유사합니다. 표면적으로는 정보의 손실이나 인지적 한계로 보일 수 있는 이러한 정보 취사선택 과정이, 실제로는 주어진 맥락(Context)에 가장 적합한 데이터의 본질을 추출하는 핵심 최적화 요소로 작용합니다.

이러한 관점에 기반하여 얀 르쿤은 아키텍처 설계 시 기존의 픽셀 단위(Pixel-level) 비교 방식을 지양해야 한다고 주장합니다. 대신 이미지의 핵심 의미망을 압축한 '추상적 표현(Abstract Representation)'을 도출하여 이를 기반으로 모델이 예측을 수행하도록 만드는 것이 더 적절한 접근법이라고 제안합니다.

'추상적 표현'은 복잡한 정보를 특정 작업 또는 분석을 하는데 더 적합하고 의미있도록 단순화하는 것을 말합니다. 이런 '표현'은 대상의 중요한 측면에 더 집중하고 덜 중요한 세부 사항은 무시하는 방법으로, 시스템 (그게 사람이든 기계든 간에)이 정보를 보다 '효율적'이고 '효과적'으로 처리할 수 있게 해 줍니다.

아키텍처 - 목적 기반 AI (Objective-Driven AI)

얀 르쿤은 자율 인공지능 (Autonomous Intelligence)를 위한 모듈화된 (Modular), 제어 가능한 (Configurable) 아키텍처를 제안하면서, 엄청난 양의 레이블 데이터 없이도 AI가 월드 모델을 학습할 수 있는 자기지도 학습 방법의 중요성을 강조합니다.

Image Credit: Meta AI blog post, Yann LeCun on a vision to make AI systems learn and reason like animals and humans

JEPA는 무엇이고 어떻게 작동하는가?

JEPA (Joint Embedding Predictive Architecture)는, AI가 물리적 세계를 인지하고 상호작용하는 '월드 모델'을 구현하기 위한 핵심 집약체입니다. 이 아키텍처는 예측에 필수적인 정보만을 유지하고 불필요한 세부 사항은 무시함으로써, 연산 및 추론 과정에서 발생하는 불확실성을 효과적으로 제어하도록 설계되었습니다.

JEPA는 이렇게 작동합니다:

입력 (Inputs): JEPA는 서로 관련있는 입력 쌍을 받습니다. 예를 들어 비디오라면 순차 프레임 (x 는 현재의 프레임, y 는 다음 프레임이라든가)을 받는 거죠.
인코더 (Encoders):x와 y 쌍의 입력을 받으면, 인코더는 입력값의 필수적인 특징만 포착을 하고, 관련이 없는 세부 사항은 생략해서 추상적 표현 (Abstract Representation; 각각 s_x 와 s_y)로 변환합니다.
예측 (Predictor) 모듈: 현재 프레임을 추상적으로 표현한 s_x를 기반으로 다음 프레임의 추상적 표현 s_y를 예측하도록 트레이닝됩니다.

말 그대로 인코딩한 ‘임베딩 (Embedding; 위에서는 ‘추상적 표현’이죠)’을 결합 (Joint)해서 예측 (Predictive) 모듈을 트레이닝하는 아키텍처 (Architecture)죠.

이렇게 입력을 변환하고 예측 모듈을 트레이닝하는 과정에 ‘불확실성 (Uncertainty)’이 있을 수밖에 없는데요. JEPA는 두 가지 방법으로 이 불확실성을 처리합니다:

인코딩하는 단계에서, 인코더가 관련이 없는 정보를 삭제합니다. 예를 들어서, 입력 데이터의 어떤 Feature가 너무 불확실하거나 노이즈가 끼어 있다면, 이를 입력값의 추상적 표현 (Abstract Representation)에 포함하지 않습니다.
인코딩을 한 후 잠재 변수 (Latent Variable; z)를 활용합니다. 잠재 변수 z 는 S_y 에는 있지만 S_x 에서는 관찰할 수 없는 요소를 말합니다. z는 미리 정의된 값의 집합 내에서 여러가지 값을 가질 수 있는데요, 이 각각의 값은 x에서는 관찰할 수 없지만 미래의 상태 y에 나타날 수 있는 가설적인 시나리오나 상태를 나타냅니다. z 값을 변경해 가면서, 보이지 않는 요소의 작은 변화가 이후의 상태에 어떤 영향을 미칠 수 있는지 예측 모델이 시뮬레이션할 수 있습니다.

Image Credit: Yann LeCun’s Munich presentation (September 29, 2023)

재미있는 건, 여러 개의 JEPA를 다단계로 (multistep) 또는 반복 (recurrent)되도록 결합하거나, 계층적인 JEPA (Hierarchical JEPA)로 쌓아올려서 여러 단계의 추상화 수준, 여러 개의 타임 스케일에서 예측을 하도록 할 수도 있다는 겁니다.

I-JEPA : 이미지를 위한 JEPA

2023년 6월 발표된 I-JEPA (Image-based JEPA)는 JEPA 아키텍처를 기반으로 한 최초의 모델입니다.

마스킹 (Masking): 먼저, 이미지를 아주 많은 수의 패치로 분할하고, 이 패치 중 ‘타겟 블럭’이라고 부르는 일부 패치를 마스킹 - 가리는 거죠 - 해서 모델이 이 패치들에 대한 정보를 알 수 없게 해 놓습니다.
컨텍스트 샘플링 (Context Sampling): 다시 이 이미지의 일부 - 이건 ‘컨텍스트 블럭’이라고 불러줍시다 - 는 마스킹하지 않고 내버려둡니다. 이 컨텍스트 블럭을 사용해서 컨텍스트 인코더가 이미지가 어떻게 시각적으로 구성돼 있는지 나름대로 이해할 수 있게 됩니다.
예측 (Prediction): 자, 이제 예측 모델이 컨텍스트 블럭의 정보를 가지고 배운 내용을 가지고 마스킹된 부분 (타겟 블럭이라고 했죠)이 어떻게 생겼는지 예측을 해 봅니다.
반복 (Iteration): 위의 작업을 반복해서 하면서 모델 파라미터를 계속 업데이트합니다. 이 과정에서 마스킹된 실제 패치 그림하고 예측한 패치 그림의 간극 (Gap)이 줄어들겠죠.

위 설명 보시고 짐작하신 분도 있으실 텐데, 구성 요소의 관점에서 I-JEPA는 세 부분으로 이루어져 있고, 이 각각이 모두 ‘비전 트랜스포머 (ViT; Vision Transformer)’입니다:

컨텍스트 인코더 (Context Encoder): 위에서 ‘컨텍스트 블럭’이라고 한, 이미지의 가려놓지 않은 부분을 처리합니다.
예측 모듈 (Predictor): 컨텍스트 인코더의 출력을 가지고 과연 이미지의 마스킹된, 가려진 부분이 어떻게 생긴 걸까 예측하고, 그 결과를 가지고 반복적으로 학습합니다.
타겟 인코더 (Target Encoder): 마스킹된 타겟 블럭을 가지고, 모델이 학습하고 예측하는데 사용하는 ‘추상적 표현 (Abstract Representation; Embedding)’을 생성합니다. (표현이 좀 추상적이네요 ㅎㅎ)

I-JEPA는 궁극적으로는 마스킹된 이미지의 추상적 표현 (Representation)을 정확하게 예측하도록 예측 모듈 (Predictor)을 트레이닝하는 겁니다. 그 과정에서 마스킹되지 않은 부분을 활용하는 거구요. 이렇게 해서 명시적으로 표기된 레이블이 없이도 모델이 성공적으로 학습하게 하는 ‘자기지도 학습’이 되는 거죠.

JEPA의 확장 가능성

2024년 3월에 발표된 최신 논문, 'Learning and Leveraging World Models in Visual Representation Learning’에서는, ‘이미지 월드 모델 (IWM; Image World Models)’이라는 개념을 소개하면서 ‘마스킹’이 아니라 더 다양하고 광범위한 이미지 손상 (색상이 흔들린다든가, 흐린 부분이 있다든가 하는 것들이죠)에도 잘 대응할 수 있도록 JEPA 아키텍처를 ‘일반화’, ‘확장’할 수있는 방법을 탐색하고 있습니다.

이 연구에서는 ‘두 가지 유형의 월드 모델’을 살펴보는데요:

불변 모델 (Invariant Models): 시나리오가 달라지더라도, 변하지 않고 안정적인, 즉 ‘불변의 특징’을 인식하고 유지하는 월드 모델입니다.
등변량 모델 (Equivariant Models): 입력 데이터가 변할 때 따라오는 그 관계와 변환 내용을 보존하는 월드 모델입니다.

이 연구는 이런 월드 모델을 활용해서 AI가 시각적인 변화가 있을 때 더 잘 적응하고 더 정확하게 예측할 수 있다는 사실을 발견한 연구입니다. 이런 접근 방식은 기존의 AI에 대한 접근 방식과는 다르게, 직접적인 감독이나 지도가 없이도 머신러닝 모델의 효율성을 높일 수 있는 새로운 아이디어라고 할 수 있겠습니다.

[UKB] Olink 단백질이 뭐야 ?

minyoungxi — Wed, 4 Mar 2026 21:17:42 +0900

UKB에서 사용할 데이터를 탐색 도중 Olink Proteomics 데이터를 발견했다.

Genetics 분야는 잘 몰라서 공부한 내용 정리.

생물학적으로 'Olink 단백질'이라는 특수한 형태의 단백질은 존재하지 않습니다. UK Biobank(UKB)에 있는 Olink 데이터는 사람의 혈액(혈장) 속에 있는 일반적인 단백질 바이오마커들을 'Olink'라는 기업의 분석 플랫폼을 이용해 정량화한 데이터셋을 의미합니다. 즉, Olink는 단백질의 이름이 아니라 측정 기술 및 회사 이름입니다.

1. UKB의 Olink 데이터 정의

UK Biobank의 Olink 데이터(주로 UK Pharma Proteomics Project, UKB-PPP를 지칭)는 약 5만 명에서 최대 50만 명에 이르는 참가자의 혈장 샘플에서 약 3,000개 수준의 단백질 발현량을 측정한 대규모 프로테오믹스(단백질체학) 데이터입니다.

목적: 유전체 데이터(GWAS)와 단백질 농도 간의 상관관계를 분석(pQTL 분석)하여 질병의 원인을 찾거나 신약 타겟을 발굴하기 위함입니다.
출력 형태: 단백질의 절대적 농도(예: mg/L)가 아니라, NPX(Normalized Protein eXpression) 라는 임의의 상대적 로그 척도로 값을 제공합니다.

2. 어떻게 생겼는가? (PEA 기술의 분자 구조적 원리)

Olink 기술의 핵심은 PEA (Proximity Extension Assay, 근접 연장 분석법) 입니다. 단백질 자체가 다르게 생긴 것이 아니라, 이 단백질을 잡아내는 센서의 형태가 독특합니다.

측정 과정에서 형성되는 구조는 다음과 같이 생겼습니다.

항체-DNA 프로브 (Antibody-DNA Probe): Olink는 하나의 표적 단백질을 잡기 위해 두 개의 서로 다른 항체를 사용합니다. 각 항체의 꼬리에는 고유한 바코드 역할을 하는 단일 가닥 DNA(ssDNA) 가 결합되어 있습니다.
근접 및 결합 (Proximity Binding): 혈장 샘플에 이 항체 쌍을 넣으면, 두 항체가 하나의 표적 단백질의 서로 다른 부위에 동시에 달라붙습니다.
DNA 이중 나선 형성 (Hybridization): 두 항체가 같은 단백질에 결합하면 꼬리에 달린 두 가닥의 DNA가 물리적으로 매우 가까워집니다. 이때 두 DNA 가닥의 끝부분이 상보적으로 결합하여 짧은 이중 나선 구조를 만듭니다.
연장 및 증폭 (Extension & Amplification): DNA 중합효소(Polymerase)가 이 결합된 부분을 연장하여 완전한 이중 가닥 DNA 바코드를 생성합니다. 이 DNA 바코드를 차세대 염기서열 분석(NGS)으로 읽어내어 "이 단백질이 샘플에 얼마나 있는가"를 정량화합니다.

[AI News] - 앤트로픽 비판, 왜 성급한가: ‘레드라인’은 반국가가 아니라 성숙한 민주주의적 대응이다

minyoungxi — Mon, 2 Mar 2026 16:49:19 +0900

지난 금요일(2월 27일), 도널드 트럼프는 트루스소셜에 이렇게 썼다.

"앤트로픽의 좌파 미치광이들이 참담한 실수를 저질렀다."

이어 모든 연방기관에 앤트로픽 기술의 즉시 사용 중단을 지시했고, 피트 헤그세스 국방장관은 앤트로픽을 ‘공급망 위험(Supply-Chain Risk)’으로 지정했다. 미국 자국 기업에 이 지정이 적용된 것은 역사상 처음이다. 기존에는 중국 군산복합체 연계 기업에만 쓰이던 조치다.

사건의 핵심부터 정리하자.

앤트로픽이 내건 레드라인은 정확히 두 가지다.

미국 시민 대상 대규모 국내 감시(mass domestic surveillance) 금지
완전 자율살상무기(fully autonomous weapons) 금지

다리오 아모데이 CEO는 CBS 인터뷰에서 이를 “좁은 예외(narrow exceptions)”라고 불렀고, 그 외 모든 합법적 국가안보 용도는 지원하겠다고 반복해서 밝혔다.

펜타곤은 이를 거부했다. 군의 입장은 단순하다. AI 모델은 “모든 합법적 목적(all lawful purposes)”에 쓸 수 있어야 하며, 대규모 감시와 자율무기는 이미 연방법과 군 내부 정책으로 금지되어 있으니 계약서에 별도로 적을 필요가 없다는 것이다. 펜타곤 CTO 에밀 마이클은 “어느 수준에서는 군을 신뢰해야 한다”고 말했다.

앤트로픽의 반론은 이랬다. 펜타곤이 보내온 수정 계약 문구에는 “그 안전장치를 임의로 무시할 수 있는 법적 여지(legalese)”가 포함돼 있었고, 실질적으로는 감시와 자율무기 제한에 대해 “거의 진전이 없었다”는 것이다.

여기서 이 사안의 진짜 쟁점이 드러난다. “협조할 것이냐 말 것이냐”가 아니라, 계약 문구의 집행 가능성(enforceability)이다. 펜타곤이 “법이 이미 막고 있다”고 말하는 것과, 그것이 계약서에 구속력 있는 조항으로 명시되는 것은 다르다.

AI 기술은 기존 법이 상정하지 못한 능력을 만들어내고 있고, 아모데이 자신이 지적했듯이 “기술이 법을 앞서고 있다.” 정부가 민간 데이터를 구매해 AI로 분석하는 시나리오는 현행법의 회색지대에 놓여 있다.

오픈AI는 어떻게 같은 원칙으로 계약에 성공했는가?

이 부분이 가장 논쟁적이다.

샘 올트먼은 금요일 밤 자사도 대규모 감시와 자율무기에 대한 동일한 레드라인을 갖고 있으며 “이를 계약에 넣었다”고 밝혔다. 동시에 오픈AI는 펜타곤이 자사 기술을 “모든 합법적 목적”에 쓸 수 있도록 동의했다. Fortune은 “이 두 가지가 어떻게 동시에 참일 수 있는지 불분명하다”고 지적했다.

가장 유력한 해석은 이렇다.

오픈AI의 계약은 현행 연방법이 이미 감시와 자율무기를 금지하고 있다는 점을 계약서에서 “확인(acknowledge)”하는 방식으로 레드라인을 반영했을 가능성이 높다. 반면 앤트로픽은 법과 별개로 계약 자체에 독립적인 금지 조항을 명시하길 요구했다.

이 차이는 사소해 보이지만, 법적으로는 결정적이다.

전자는 법이 바뀌면 제한도 사라진다.
후자는 법과 무관하게 계약 위반이 된다.
앤트로픽이 왜 펜타곤의 “양보안”을 거절했는지, 그리고 오픈AI가 왜 통과했는지는 이 구조적 차이에서 나온다.

업계 반응은 ‘고립’이 아니었다.

업계의 반응은 앤트로픽이 고립되지 않았음을 보여줬다.

300명 이상의 구글 직원과 60명 이상의 오픈AI 직원이 “We Will Not Be Divided” 공개서한에 서명
구글 딥마인드 수석과학자 제프 딘: “대규모 감시는 수정헌법 제4조를 위반하며 표현의 자유에 위축 효과를 준다”
오픈AI 공동창업자 일리야 수츠케버: “앤트로픽이 물러서지 않은 것은 극히 좋은 일”

그렇다면 앤트로픽의 선택은 옳았는가?

원칙의 차원에서, 나는 그렇다고 본다. 이유는 세 가지다.

1) 반군(反軍)이 아니라 권력분산 원칙의 실천
앤트로픽이 요구한 것은 반군적 입장이 아니라 권력 분산이라는 미국 헌정 원리에 부합한다. 민간 사업자가 “법이 알아서 해주겠지”라고 믿는 것은 순진하다. 특히 행정부가 한국전쟁 시대의 국방생산법(DPA)까지 동원하겠다고 위협하는 상황에서 계약상 안전장치를 요구하는 것은 건전한 위험관리다.

2) 공급망 위험 지정은 법적으로 취약하다
해당 법조항(10 USC 3252)은 원래 중국 군산복합체 연계 기업을 겨냥한 것이며, 적용 전 “덜 침해적인 대안을 소진했는지” 입증해야 한다. Fortune이 인용한 법률 전문가는 며칠 만에 급속히 격화된 이 분쟁에서 펜타곤이 “성실한 노력(good faith effort)”을 다했다고 주장하기 어렵다고 지적했다.

3) AI 거버넌스는 경쟁력이다
오픈AI가 동일한 레드라인을 내세우며 계약에 성공한 사실 자체가, 앤트로픽의 원칙이 비현실적이지 않았음을 역설적으로 증명한다. 올트먼은 “이 조건을 모든 AI 기업에 동일하게 적용해달라”고까지 요청했다.

하지만 낙관하기엔 이르다

현실적인 문제는 남아 있다.

앤트로픽은 이미 연방정부 전체에서 퇴출 수순에 들어갔다. 6개월 유예 기간이 있지만, 헤그세스의 해석대로 군 계약업체 전체가 앤트로픽과의 상업적 거래까지 중단해야 한다면, 피해는 정부 계약 규모를 훨씬 초과한다.

한 분석가의 말처럼 “법정에서 이기기까지 수년이 걸릴 것이고, 그 사이 펜타곤과 거래하는 포춘 500 기업의 법무팀은 하나의 질문만 할 것이다 — Claude를 쓸 가치가 이 리스크를 감수할 만한가?”

오픈AI 계약의 실질적 구속력도 검증되지 않았다. “모든 합법적 목적”을 허용하면서 레드라인을 “넣었다”고 말하는 것이 법정에서 어떤 의미를 갖는지는 아직 아무도 모른다. 앤트로픽이 거절한 바로 그 모호성을 오픈AI가 수용한 것일 수도 있다.

결론

결국 이 사건이 던지는 질문은 이것이다.

민주주의 국가에서 정부가 기술 기업에 “우리를 그냥 믿어라”고 요구할 때, 기업이 “계약서로 보여달라”고 말하는 것은 불손인가, 아니면 정상적인 견제인가?

나는 후자라고 생각한다. 그리고 앤트로픽이 그 대가로 치르게 될 비용이 크면 클수록, 이 질문의 무게는 더 무거워진다.

다만 진짜 필요한 후속 논의는 앤트로픽의 용기를 칭찬하는 데서 끝나는 게 아니라, 이런 레드라인이 한 기업의 선의에 의존하지 않고도 작동하는 제도를 어떻게 만들 것인가에 있다.

[Genetic AI] UKB에서 유전자 데이터를 다루기 위한 Potential Issues와 기본적인 Terms를 알아보자

minyoungxi — Mon, 23 Feb 2026 20:39:28 +0900

1. LD(Linkage Disequilibrium, 연관 불평형) — 모든 유전 분석의 기저에 있는 개념

LD는 유전학에서 가장 중요한 개념 중 하나인데, 쉽게 말하면 "게놈에서 가까이 있는 변이들은 서로 독립적이지 않다"는 현상입니다.

비유를 들면, 서울 어떤 아파트 단지에서 101동에 사는 사람이 포르쉐를 탈 확률이 높다고 해봅시다. 그런데 102동은 101동 바로 옆이어서, 102동 사람도 포르쉐를 탈 확률이 높게 나옵니다. 102동 자체가 포르쉐와 관련된 게 아니라, 그냥 101동이랑 물리적으로 가까워서 비슷한 인구가 사는 거예요. 게놈에서도 똑같은 일이 일어납니다. 염색체의 특정 구간은 세대를 거쳐도 함께 유전되는 경향이 있어서, 그 구간 안의 변이들은 서로 강하게 연관됩니다. 이렇게 함께 유전되는 변이 묶음을 haplotype이라고 하고, 그 연관 강도를 수치로 표현한 게 LD입니다(보통 r² 값으로 표현, 0~1 사이).

이게 왜 문제가 되느냐면, GWAS에서 어떤 SNP와 뇌 해마 부피 사이에 통계적으로 유의미한 연관성을 발견했다고 해서, 그 SNP 자체가 원인이라고 볼 수 없다는 겁니다. 그 SNP와 LD에 있는 다른 변이가 진짜 원인일 수도 있어요. 그래서 GWAS 결과에서 "rs1234567 SNP가 해마 부피와 관련 있다"는 표현 대신 "rs1234567을 포함한 locus가 관련 있다"고 표현하는 게 더 정확합니다. 진짜 원인 변이(causal variant)를 특정하는 과정을 fine-mapping이라고 하는데, 이 자체가 하나의 분석 단계입니다.

Locus (복수: Loci) — 게놈에서 특정 위치 또는 구역을 가리키는 말입니다. GWAS에서 "locus를 발견했다"는 표현은 특정 염색체 구간에서 유의미한 신호를 발견했다는 뜻으로, 딱 하나의 SNP가 아니라 LD로 묶인 구간 전체를 의미합니다.

2. Noncoding Rare Variant의 LD Confounding — Ribeiro 논문이 경고한 것의 실체

이제 Ribeiro et al.이 왜 경고했는지를 이해할 수 있습니다. Noncoding rare variant 분석에서 특수한 문제가 발생하는 이유는 두 가지 특성이 충돌하기 때문입니다.

첫째, rare variant는 수가 적어서 개별 검정이 불가능합니다. MAF 0.1%짜리 변이는 490K명 중 겨우 490명만 가지고 있어요. 이 490명과 나머지를 비교해서 통계적으로 유의한 결과를 얻으려면 효과 크기가 극단적으로 커야 합니다. 그래서 gene 단위로 묶어서 burden test를 하는 겁니다.

둘째, noncoding rare variant를 gene에 귀속시키는 게 매우 모호합니다. 코딩 변이는 "이 변이는 BRCA1 엑손 5번에 있다"고 딱 잘라 말할 수 있어요. 하지만 noncoding 변이, 예를 들어 프로모터나 인핸서에 있는 변이는 여러 유전자의 발현을 동시에 조절할 수 있어서, 어느 유전자에 귀속시킬지가 불명확합니다.

이 두 특성이 합쳐지면 무슨 일이 생기느냐면, 어떤 noncoding rare variant가 gene A의 burden score에 포함됐는데 실제로는 그 변이가 gene B와 LD에 있는 더 흔한 common variant에 의해 "끌려다니는" 상황이 발생합니다. 즉, gene A의 noncoding burden test가 유의하게 나왔지만, 사실 그건 gene A 근처에 있는 common variant가 진짜 원인이고 그 common variant와 noncoding rare variant들이 LD로 묶여 있어서 false positive처럼 보이는 겁니다. Ribeiro 논문에서 conditioning analysis(이미 알려진 GWAS common variant 신호를 통계적으로 제거한 후 다시 분석)를 했더니 noncoding rare variant 신호의 상당 부분이 사라진 이유가 바로 이것입니다.

이걸 직관적으로 이해하려면 이렇게 생각하면 됩니다. 반에서 키가 큰 학생과 수학 성적이 높은 학생이 겹치는 이유를 분석한다고 할 때, 사실 그 학생들이 모두 특정 과외 학원을 다니고 있다면 "키가 커서 수학을 잘하는 것"이 아니라 "과외 학원(공통 원인)"이 두 변수를 모두 만든 겁니다. LD confounding도 이와 비슷합니다.

MAF (Minor Allele Frequency, 소수 대립유전자 빈도) — 특정 변이가 인구 집단에서 얼마나 흔한지를 나타내는 수치로, 0~0.5 사이의 값을 가집니다. MAF < 1%이면 rare variant, MAF ≥ 5%이면 common variant로 분류하는 게 일반적입니다.

SNP (Single Nucleotide Polymorphism, 단일 염기 다형성) — 게놈의 특정 위치에서 한 개의 염기(A/T/G/C)가 사람마다 다른 변이로, 인간 게놈에 약 1,000만 개 이상 존재합니다. GWAS에서 분석하는 변이의 가장 기본 단위입니다.

Allele (대립유전자) — 같은 유전자 위치(locus)에 존재할 수 있는 서로 다른 염기 버전입니다. 예를 들어 특정 위치에서 어떤 사람은 A, 다른 사람은 G를 가지면 A와 G가 각각 하나의 allele입니다.

Variant (변이) — Reference genome(표준 참조 게놈)과 비교해서 달라진 모든 염기 변화를 통칭합니다. SNP는 variant의 한 종류이고, indel, structural variant 등도 모두 variant에 포함됩니다.

Exon / Intron — 유전자는 단백질로 번역되는 구간(exon)과 번역되지 않고 중간에 끼어 있는 구간(intron)으로 나뉩니다. WES(Whole Exome Sequencing)는 exon만, WGS는 둘 다 포함한 게놈 전체를 읽습니다.

Promoter (프로모터) — 유전자 바로 앞에 위치하는 DNA 구간으로, 전사인자(transcription factor)가 여기에 결합해서 해당 유전자의 발현을 켜고 끄는 스위치 역할을 합니다. 유전자와 물리적으로 가까이 있습니다.

Enhancer (인핸서) — 유전자 발현을 증폭시키는 조절 구간으로, promoter와 달리 유전자로부터 수십만 염기 이상 떨어진 곳에 있을 수 있습니다. DNA가 3D로 접혀서 유전자 근처로 물리적으로 가까워지면 영향을 발휘합니다.

3. Population Stratification — 인구 집단 구조로 인한 교란

이것도 반드시 알아야 하는 개념입니다. 가령 커피를 많이 마시는 사람에서 폐암 발생률이 높다는 결과가 나왔다고 해봅시다. 하지만 실제로는 커피를 많이 마시는 사람들이 흡연자 비율이 높고, 흡연이 폐암의 진짜 원인이었을 수 있습니다. 이처럼 연구 대상 집단이 연구자가 모르는 어떤 변수 때문에 체계적으로 차이가 날 때 발생하는 문제를 교란(confounding)이라고 합니다.

유전 연구에서는 이 교란이 인구 집단 간 유전적 차이에서 옵니다. 예를 들어 유럽 북부 출신 집단은 유전적으로도 다르고 식생활, 환경도 다릅니다. 이 집단에서 어떤 변이의 빈도가 높고 동시에 특정 뇌 특성도 다르다면, 그 변이가 뇌에 직접 영향을 주는 게 아니라 "같은 출신 집단이기 때문"에 두 가지가 함께 나타나는 것일 수 있습니다.

이를 통제하는 표준적인 방법이 Genetic PCA(Principal Component Analysis)입니다. 수십만 개 SNP 데이터를 PCA 분석해서 개인의 유전적 배경을 수치로 요약한 40개 principal component를 계산한 다음, 이것을 모든 association analysis의 covariates(공변량)로 포함시킵니다. UKB가 이 PC 40개를 이미 제공하기 때문에, UKB 분석에서는 이걸 반드시 포함시켜야 합니다.

그러나 현재 대부분의 WGS + brain imaging 연구가 European ancestry만 분석하는 이유가 바로 여기 있습니다. 다양한 ancestry를 섞어서 분석하면 population stratification 문제가 더 복잡해지고, UKB 자체가 European ancestry 편향이 크기 때문입니다(458,855명이 Non-Finnish European, 나머지 전체가 약 32,000명). African, Asian ancestry는 수가 너무 적어서 통계적 힘(statistical power)이 부족합니다. 이게 연구 일반화의 심각한 한계이기도 합니다.

Coding vs. Noncoding variant — Coding variant는 exon 안에 있어서 단백질 서열에 직접 영향을 주는 변이이고, noncoding variant는 exon 밖(intron, promoter, enhancer 등)에 있어서 단백질 서열은 바꾸지 않지만 유전자 발현량에 영향을 줄 수 있는 변이입니다.

4. Multiple Testing 문제 — p-value가 얼마나 작아야 하는가

일반적인 과학 연구에서는 p < 0.05를 유의 기준으로 씁니다. 하지만 유전 연구에서는 이 기준이 전혀 통하지 않습니다.

WGS에서는 약 1.5억~수억 개의 common variant를 동시에 검정합니다. p < 0.05로 기준을 잡으면 그냥 우연만으로도 750만 개가 "유의미"하게 나옵니다. 그래서 GWAS의 standard 유의 기준은 p < 5×10⁻⁸, 즉 0.00000005입니다. 이걸 genome-wide significance threshold라고 부르며, 약 100만 번의 독립 검정에 대한 Bonferroni 보정에서 유래했습니다.

Brain imaging 연구에서는 이 문제가 더 심해집니다. 수백만 SNP × 수천 IDP를 동시에 검정하면, 단순 Bonferroni 기준으로는 threshold가 p < 5×10⁻¹¹ 이하로 내려갑니다. 이렇게 엄격한 기준을 통과한 신호만이 진짜 신호로 간주됩니다. 반대로 말하면, 이 기준에 미치지 못하면 아무리 생물학적으로 그럴듯해 보여도 "유의미한 발견"으로 주장하기 어렵습니다.

Rare variant collapsing analysis는 여기서 조금 다른 challenge가 있습니다. Common variant GWAS처럼 변이 수는 적지만(수천~수만 개 gene 단위), phenotype 수가 수천 개이고, 또 gene 당 어떤 qualifying variant model(pLoF만 포함할지, missense까지 포함할지, 어떤 MAF cutoff를 쓸지)을 쓰느냐에 따라 검정 수가 폭발적으로 늘어납니다.

5. Winner's Curse와 Replication의 필요성

Winner's curse는 통계학적으로 흥미로운 현상인데, 유전 연구에서 특히 심각합니다. Discovery 단계에서 just barely 유의미하게 나온 신호는 실제 효과 크기(effect size)를 과대추정하는 경향이 있습니다. 왜냐하면 진짜 작은 효과를 가진 변이가 운 좋게 유의성 문턱을 넘으려면 우연히 효과가 더 크게 추정된 샘플이어야 하기 때문입니다.

이것이 실제로 왜 문제가 되냐면, 발견한 유전자 변이의 효과 크기를 바탕으로 임상 적용을 설계하거나 PRS(Polygenic Risk Score)를 만들면, 독립 코호트에서 성능이 크게 떨어집니다. 따라서 제대로 된 연구는 반드시 독립 데이터셋에서 replication을 해야 합니다. UKB를 discovery로 쓴다면 다른 코호트(FinnGen, deCODE, All of Us)에서 같은 신호가 재현되는지 확인해야 합니다.

6. Heritability와 Missing Heritability — "유전자가 얼마나 설명하는가"

연구를 설계할 때 반드시 알아야 하는 또 다른 개념은 heritability(유전가능성)입니다. 쌍둥이 연구 등을 통해 추정한 뇌 해마 부피의 heritability는 약 50~80%입니다. 즉, 해마 부피 차이의 절반 이상이 유전적 요인에 의한 것이라는 뜻입니다.

하지만 GWAS에서 발견한 유전자들이 실제로 설명하는 분산(SNP-based heritability, h²_SNP)은 이보다 훨씬 작습니다. 해마 부피의 경우 SNP heritability가 약 20~30% 수준으로 추정됩니다. 이 차이를 missing heritability라고 하는데, rare variant, gene-gene interaction, 측정 오류 등 여러 이유로 발생합니다. WGS rare variant 분석이 기대되는 이유 중 하나가 바로 이 missing heritability를 일부 설명할 수 있을 것이라는 기대입니다.

뇌 영상 phenotype을 선택할 때도 heritability를 미리 확인해야 합니다. h²_SNP가 낮은 IDP는 유전 분석을 해도 신호를 찾기 어렵고, 설령 찾더라도 해석이 어렵습니다. UKB BIG40 데이터베이스에서 각 IDP의 heritability 추정값을 미리 확인하는 게 연구 설계 첫 단계 중 하나입니다.

7. Collapsing Analysis의 핵심 가정과 함정

Rare variant collapsing analysis를 설계할 때 가장 중요한 결정이 qualifying variant model, 즉 어떤 변이를 gene의 burden에 포함시킬 것인가입니다.

가장 보수적인 접근은 pLoF(predicted Loss-of-Function) 변이만 포함하는 겁니다. 이 변이들은 단백질을 완전히 망가뜨리는 변이(stop-gain, frameshift, splice site 변이)로, 기능 손실이 거의 확실합니다. 하지만 수가 너무 적어서 통계적 힘이 약합니다.

여기에 damaging missense variant(CADD score, AlphaMissense 같은 functional prediction tool이 damaging하다고 예측한 변이)를 추가하면 수는 늘어나지만, functional prediction 자체의 정확도 문제가 들어옵니다. 현재 가장 좋은 tool인 AlphaMissense도 완벽하지 않으며, 이를 포함시키면 false positive가 늘어날 수 있습니다.

Noncoding variant까지 포함하면 이 문제가 극단적으로 커집니다. 어떤 noncoding 변이가 정말 유전자 발현에 영향을 주는지를 판별하는 게 현재 computational biology의 주요 과제 중 하나이고, 아직 완전히 해결되지 않았습니다. 이것이 Ribeiro 논문의 경고가 중요한 이유입니다.

pLoF (predicted Loss-of-Function) variant — 단백질을 완전히 망가뜨린다고 예측되는 변이로, stop-gain(중간에 단백질 합성을 멈추게 함), frameshift(읽기 틀을 바꿔 의미 없는 단백질 생성), splice site variant(mRNA 접합 오류 유발)가 여기에 속합니다.

Missense variant — 코딩 영역에서 염기 하나가 바뀌어서 단백질의 아미노산이 하나 달라지는 변이입니다. 기능에 영향이 있을 수도 없을 수도 있어서, CADD나 AlphaMissense 같은 computational tool로 damaging 여부를 예측합니다.

8. UKB 특유의 편향 — Healthy Volunteer Bias

마지막으로 UKB 자체의 구조적 한계를 알아야 합니다. UKB 참가자는 2006~2010년에 자발적으로 연구에 참여한 사람들입니다. 영국 일반 인구 대비 흡연율이 낮고, 교육 수준이 높고, 사회경제적 지위가 높으며, 전반적으로 더 건강한 사람들이 과대 대표되어 있습니다. 이를 Healthy Volunteer Bias라고 합니다.

뇌 영상 데이터는 이 문제가 더 심합니다. 뇌 MRI는 특히 2014년 이후에 시작됐는데, 그때까지 살아서 탈락하지 않은 건강한 참가자들만 촬영될 수 있었습니다. 즉, stroke처럼 심각한 질환으로 사망하거나 연구 참여를 중단한 사람들은 MRI 데이터가 없습니다. 뇌졸중 같은 심각한 질환의 genetics를 연구하려고 할 때 이 점이 특히 문제가 됩니다. 실제 stroke 환자에서 brain imaging을 가진 사람은 극히 소수이고, 대부분의 뇌 MRI는 stroke 발생 전 건강했을 때 찍힌 겁니다.

이 여덟 가지 개념을 한 줄로 요약하면, 유전 데이터는 서로 독립적이지 않고(LD), 인구 구조로 교란되며(population stratification), 검정 수가 너무 많고(multiple testing), 효과가 과대추정되며(winner's curse), 분석 대상이 이미 건강한 사람들에게 편향되어(healthy volunteer bias) 있습니다. 이 다섯 가지 문제를 어떻게 통제하느냐가 연구 설계의 핵심입니다.

Synonymous (synonymous) variant — 코딩 영역에서 염기가 바뀌었지만 아미노산은 바뀌지 않는 변이로, 단백질 기능에 영향이 없다고 보통 가정합니다. Collapsing analysis에서 제외하는 경우가 많습니다.

Burden score — Rare variant collapsing analysis에서 사용하는 개인당 점수로, 특정 유전자 안에 damaging rare variant가 몇 개 있는지(또는 하나라도 있으면 1, 없으면 0)를 나타냅니다. 이 점수를 phenotype과 연관시켜서 유전자 수준의 분석을 수행합니다.

eQTL (expression Quantitative Trait Locus) — 특정 유전 변이가 어떤 유전자의 mRNA 발현량과 연관되어 있을 때, 그 변이를 eQTL이라고 합니다. GWAS에서 발견한 변이가 eQTL 데이터베이스에 등재되어 있으면 "이 변이가 유전자 발현을 조절함으로써 표현형에 영향을 준다"는 기전 해석을 뒷받침하는 증거가 됩니다.

PRS (Polygenic Risk Score, 다유전자 위험 점수) — GWAS에서 발견된 수천~수백만 개 변이의 효과 크기를 개인 게놈에 가중합산해서 만든 질병 위험 점수입니다. 개별 변이는 효과가 작아도, 합산하면 집단 내 위험도 분포를 어느 정도 예측할 수 있습니다.

Structural Variant (SV) — 단일 염기 변화가 아니라, 염색체 구간이 삭제되거나(deletion), 복제되거나(duplication), 뒤집히거나(inversion), 다른 염색체로 이동(translocation)하는 대규모 변이입니다. WGS에서만 안정적으로 탐지 가능하며, CNV(Copy Number Variant)가 SV의 대표적인 유형입니다.

[Wellness Life] 커피는 정말로 우리의 몸에 좋지 않을까요? 연구와 논문들을 함께 봅시다!

minyoungxi — Sat, 17 May 2025 23:15:15 +0900

커피가 정말 몸에 안좋을까?

커피는 몸에 좋지 않을까요?

대부분의 사람들은 그렇게 생각합니다.

커피에는 곰팡이 독소가 있어서 먹으면 몸에 좋지 않다는 말이 있습니다.

커피에 있는 독소 중에 오크라톡신A, 아플라톡신B1이 있을 수 있다고 얘기합니다. 이건 맞는 말입니다.

'아플라톡신'의 경우 발암성이 있는 독소 중 하나이고 실제로 규제가 이루어지고 있습니다.

생물학적으로 만약에 커피가 정말 몸에 해롭다고 하면, 굉장히 대규모의 인구집단에 대한 연구에서 커피를 많이 마시는 사람의 사망률 증가 혹은 수명 단축, 여러가지 질병 발생과 같은 것들이 연관이 되어 있어야 할 것입니다.

의심이 된다면 이런 정황들을 바탕으로 연구 논문들을 찾아보면 됩니다.

Reference1. Coffee consumption and mortality from all causes, cardiovascular disease, and cancer: a dose-response meta-analysis

2014년에 출판된 논문입니다. 해당 논문은 '커피를 하루에 몇 잔 먹느냐와 전체 사망 발생을 비교'한 연구를 다루고 있습니다.

약 100만명의 관찰군에서 약 12만건의 사망건수를 가지고 분석한 논문입니다.

결론부터 말씀드리면 이 연구에서 커피를 마시는 것은 전체 사망의 감소와 심혈관계 사망의 감소와 연관이 되어있었고, p-value는 당연히 0.001 미만으로 나오고 있습니다.(p-value란 유의 확률을 뜻하며, 0.05 미만일 경우 통계적으로 유의하다고 간주합니다.)

(왼쪽) 전체 사망 (오른쪽) 심혈관 사망

이 연구에서 봤을 때 가장 사망률을 낮출 수 있는 정도는 하루에 4잔 정도의 커피를 마시는 것이고, 심혈관계 사망 확률을 낮춰주는 것은 하루에 3잔으로 분석이 되고 있습니다.

그리고 커피 소비는 '암 사망'과 통계적으로 유의미한 상관성이 없다고 보고됩니다.

전체 사망, 심혈관 사망 그래프를 보면 커피를 하루에 2잔 정도 마시는 사람들은 전체 사망, 심혈관 사망률이 감소했다는 점을 볼 수 있습니다. 하지만 암 사망의 경우에는 0~4잔의 커피에서 의미있는 트렌드가 발견되지 않고, 6잔부터 살짝 올라가는 모습을 볼 수 있습니다.

Reference2. Coffee consumption and health: umbrella review of meta-analyses of multiple health outcomes

2017년 BMJ에 출판된 Umbrella review paper 논문입니다.

위 표를 보면 커피를 먹으면 해로운 10개의 질환과 커피를 먹으면 좋은 10개의 질환을 분류해서 기재했습니다.

우선 '커피를 먹으면 해로운 10개의 질환'을 살펴볼게요.

소아 백혈병, 폐암, 유산, 류머티스형 관절염, 저체중 아이 출산, 림프종, 후두암, 첫 번째와 세 번째 임신기에서의 조산, 구강의 구조적 이형성(순서대로) 이렇게 리스트업 되어있습니다.

다음으로 '커피를 먹으면 좋은 10개의 질환'에 대해서 살펴보면요

제2형 당뇨병, 구강암, 간경변, 신석, 파킨슨병, 백혈병, 심근경색 후 사방, 통풍, 간암, 만성 간 질환 등이 있습니다.

이런 것들을 종합해보면 특히 좋지 않은 질환들을 살펴보겠습니다.

첫 번째, 폐암과 후두암입니다.

개별 연구들을 자세하게 살펴보면 결국에는 커피를 마시면서 줄담배를 피우는 사람이 많다는 연구들이 있습니다. 이런 연구들에서 담배를 제대로 보정하게 된다면 커피와 폐암에서의 통계적 상관성은 소실되게 된다는 내용입니다. 그리고 비흡연자를 따로 떼어서 보면 커피를 많이 마시는 것과 폐암의 증가는 상관이 없다는 결론이 있습니다.

두 번째로는 어렸을 때 혹은 태어나기 전에 문제가 커피와 좀 관련이 있죠.

임신한 엄마가 커피를 너무 많이 마시게 되면 저체중이나 유산 등 이런 것들이 생길 수 있기 때문에 엄마가 되기 위한 기간에는 커피를 자제하면 좋을 것 같다는 생각이 듭니다.

실제로 우리나라 식약처에서 권고량은 카페인 300mg, 즉 하루에 커피 3잔을 권고하고 있습니다.

Reference3. Caffeinated Coffee Consumption and Health Outcomes in the US Population: A Dose–Response Meta-Analysis and Estimation of Disease Cases and Deaths Avoided(2021)

(왼) 심혈관 질환 + 사망 (오) 2형 당뇨병

해당 논문은 2021년에 출판된 논문으로, 커피를 하루에 몇 잔 마시냐와 질환들과의 관계에 대해 메타분석을 진행했습니다. 심혈관 질환과 사망에 대한 그래프를 보면 4잔까지는 줄어드는 트렌드가 관측이 되다가 5잔부터 플랫한 움직임이 관측됩니다. 가장 우리에게 유의미하게 도움이 되는 지점은 3~4잔 정도인 것 같습니다.

2형 당뇨병의 경우 오히려 많이 마실수록 질환에 대한 위험이 줄어드는 것을 관측할 수 있습니다.

(A) 간세포암 (B) 자궁내막암 (C) 흑색종 (D) 흑색종 외의 피부암

간세포암의 경우에도 많이 마실수록 예방 효과가 있다는 것을 확인할 수 있고 자궁내막암도 마찬가지입니다.

흑색종과 흑생종 외의 피부암도 아주 살짝 감소하는 것을 볼 수 있습니다.

종합해보면 커피는 대부분의 질환과 상관성, 인과성이 없다는 결론을 내릴 수 있습니다.

커피와 수면

커피의 위험성이라고 하면 조금 다른 면에서 찾아볼 수 있습니다.

커피가 수면의 질을 떨어뜨릴 수 있는 가능성의 측면에서 볼 수 있죠.

Reference4. Coffee, caffeine, and sleep: A systematic review of epidemiological studies and randomized controlled trials

해당 논문은 약 2700명을 대상으로 하루에 1~4잔 정도의 커피를 마시는 사람이 커피를 끊은 사람 혹은 커피를 5잔 이상 마시는 사람보다 수면의 질이 높다는 연구 결과를 발표했습니다.

또한 하루에 8잔 이상 커피를 마시면 수면이 평균적으로 40분 줄어든다는 점도 관찰되었습니다.

하지만 커피의 수면에 대한 효과는 생각보다 오래갈 수 있습니다.

한 그룹은 2주간 커피를 끊었고, 다른 그룹은 일상 커피를 끊지 않고 아침 6시에 2잔의 더블 에스프레소를 복용하게 하였습니다. 이 때 일상 생활에서 커피를 끊지 않은 그룹에서 카페인을 추가적으로 섭취하게 할 경우 저녁에 자야할 시간에 침에서 상당량의 카페인이 검출되었습니다.

반면, 2주간 커피를 끊은 그룹은 밤에 카페인 농도가 바닥까지 떨어진다는 점을 볼 수 있습니다.

그러면 결론적으로 커피를 하루에 1~2잔 정도의 커피를 마시고 가능한 한 이른 아침에 마시는게 좋지 않을까 생각이듭니다.

모닝커피?

요즘에는 이런 기사들이 나옵니다.

아침에 일어나자마자 커피를 마시면 코티솔에 영향을 주기때문에 좋지 않겠다는 말이 있습니다.

사실 이런 연구들은 너무 소규모라서 나의 코티솔 시스템(시상하부-뇌하수체-부신 축을)을 망가뜨리냐 이런 것들은 증명이 되지 않았습니다. 과한 기사죠.

물론 카페인 섭취에 따른 변화는 개인마다 다릅니다.

결론

실제로 '오크라톡신'과 '아플라톡신'에 대한 공포가 있어서 서울시에서는 서울시 보건환경연구원을 중심으로 25개 자치구와 함께 서울 전역의 커피 제조, 가공 업소에서 커피 원두 59건을 수거해서 분석했고 실제로 이런 곰팡이 독소는 불검출되었으니 우리에게 해롭지 않습니다.

사람들은 전체적인 숫자와 조망에는 둔감한 편이고 스토리에는 예민한 편입니다.

예를 들어서, 최근의 전기차 사태만 봐도 그렇죠.

주차된 전기차의 화재로 인해 전기차의 주차를 금지하는 주차타워와 지하 추자장이 늘고 있습니다.

같은 논리라면 사실 주행 중 화재율이 높은 내연차는 주로 주행 중에 불이 나기 때문에 주행을 금지시켜야 할 것입니다. 사망 사고가 나서 사람이 죽을 수 있는 자동차라는 것을 우리는 대체 왜 지금 이용을 하고 있는지 고민해봐야 합니다. 자동차가 주는 사회적 편익이 리스크에 비해서 훨씬 더 크다는 점을 모두가 동의하기 때문이지 않을까요 ?

이런 네러티브와 숫자에 대한 이야기들은 우리가 늘 민감하게 반응해야 합니다.

스토리는 늘 사람들을 현혹되게 만들고, 건강에 좋지 않다는 워딩은 건강에 좋다는 것보다 조회수가 잘 나오는 세상이기 때문이죠.

다양한 논문들의 결과를 종합해보면 하루에 3~4잔은 만성질환을 예방한다는 점. 그리고 수면에 영향을 미치지 않을 정도로 양을 조절한다면 적절히 즐길 수 있습니다. 오히려 건강에 도움이 된다는 점!

그래서 건강에 도움이 된다고 무리하게 마실 필요도 없고, 건강 관리를 이유로 커피를 아예 끊을 필요도 없습니다.

단, 믹스 커피는 별로 좋지 않습니다.

첨가당에 대한 위험성은 너무 많은 연구가 있습니다. 첨가당은 암 발생률을 100~200% 늘린다는 연구도 많습니다.

[BioInformations] DNA / RNA 데이터는 어디에서 찾아야 할까?

minyoungxi — Tue, 15 Apr 2025 13:53:49 +0900

데이터 찾기

DNA와 RNA의 메틸레이션 데이터가 필요해서 관련 데이터들을 수집하기 위해 여러 연구 논문들을 참고했습니다.

보통 처음 다루는 데이터의 출처나 정보를 얻기 위해서는 비슷한 데이터를 사용한 논문을 보시면 됩니다.

논문을 보면 어떤 데이터를 사용했는지 출처가 상세하게 나와있죠.

가끔 데이터셋 링크를 첨부하거나 저자의 Github에 함께 포함된 경우도 있습니다. ( 정말 종종 )

그래서 이번에는 DNA와 RNA 데이터가 필요해서 관련 논문을 보면 다양한 플랫폼과 기관들에 대한 정보가 많습니다.

NCBI, TCGA, Xena 같은 플랫폼은 생물학이나 바이오인포를 전공하시는 분들이면 많이 들어봤을 것입니다.

DNA와 RNA 데이터 수집을 위한 주요 플랫폼

1. NCBI (National Center for Biotechnology Information)

NCBI는 미국 국립생물공학정보센터로, 전 세계 연구자들이 사용하는 거대한 생물학적 데이터베이스예요. DNA와 RNA 데이터를 포함해 유전체, 단백질, 그리고 다양한 생물학적 정보를 제공합니다.

주요 데이터베이스:
- GenBank: 전 세계에서 수집된 DNA 서열 데이터를 모아놓은 곳이에요. 연구자들이 직접 제출한 데이터도 포함돼 있어서, 다양한 생물 종의 원시 서열을 찾을 수 있습니다.
- RefSeq: NCBI가 큐레이션한 DNA, RNA, 단백질 서열 데이터로, 주석이 함께 제공돼서 유전자 분석에 유용해요.
- SRA (Sequence Read Archive): RNA-seq나 DNA-seq 같은 고속 시퀀싱 데이터를 저장하는 아카이브예요. 원시 데이터를 다운로드해서 분석할 수 있습니다.
특징:
- 생물학적 데이터의 범위가 매우 넓어요. 암뿐만 아니라 모든 생물 종과 질병에 대한 데이터를 다룹니다.
- 원시 데이터와 주석을 제공해서, 데이터를 직접 가공하거나 분석하려는 연구자들에게 적합해요.
- 메틸레이션 데이터도 일부 포함돼 있지만, 특정 질병에 특화된 데이터셋보다는 일반적인 유전체 정보가 주를 이룹니다.
차이점:
- NCBI는 특정 프로젝트나 질병에 초점을 맞추기보다는, 생물학 전반에 걸친 데이터를 제공하는 "종합 데이터 창고" 같은 역할을 해요. 그래서 암 연구만을 위한 데이터보다는 더 포괄적인 정보를 얻을 수 있습니다.

NCBI

2. TCGA (The Cancer Genome Atlas)

TCGA는 암 게놈 아틀라스 프로젝트로, 미국 국립암연구소(NCI)와 국립인간게놈연구소(NHGRI)가 함께 운영해요. 33가지 암 유형에 대한 대규모 유전체 데이터를 제공하며, 특히 암 연구에 특화된 플랫폼입니다.

주요 데이터:
- DNA 메틸레이션 데이터: Illumina 450K 같은 기술로 생성된 메틸레이션 데이터를 제공해요. 암 샘플에서 에피제네틱 변화를 분석할 수 있습니다.
- RNA-seq 데이터: 암 조직의 전사체 데이터를 포함하며, 유전자 발현 수준을 확인할 수 있어요.
- 임상 데이터: 환자의 진단, 치료, 생존 정보가 포함돼 있어서 유전체 데이터와 연계한 분석이 가능합니다.
특징:
- 암 연구에 특화된 데이터를 제공하며, 방대한 데이터셋을 통해 암의 분자적 특성을 깊이 파악할 수 있어요.
- 데이터는 **Genomic Data Commons (GDC)**를 통해 접근 가능하며, 일부는 공개(Open Access), 일부는 통제된 접근(Controlled Access) 방식으로 제공됩니다.
- 메틸레이션 데이터는 암 발생과 진행을 이해하는 데 핵심적인 역할을 하며, TCGA는 이를 위한 풍부한 자료를 갖추고 있어요.
차이점:
- NCBI와 달리 암에 특화된 데이터를 제공한다는 점이 가장 큰 차이예요. 암 연구를 하신다면 TCGA가 훨씬 더 구체적이고 깊이 있는 데이터를 줄 거예요.

TCGA

3. Xena

Xena는 UCSC(University of California, Santa Cruz)에서 개발한 데이터 시각화 플랫폼이에요. TCGA 같은 대규모 유전체 데이터를 쉽게 탐색하고 시각화할 수 있도록 도와줍니다.

주요 기능:
- 데이터 시각화: TCGA, GTEx, ICGC 등의 데이터를 웹에서 바로 볼 수 있어요. 예를 들어, 유전자 발현과 메틸레이션 데이터를 한눈에 비교할 수 있습니다.
- 통합 분석: 여러 데이터 유형(메틸레이션, RNA-seq 등)을 통합해서 상관관계를 분석할 수 있어요.
- 사용자 친화적: 코딩 없이도 웹 인터페이스를 통해 데이터를 탐색할 수 있습니다.
특징:
- 데이터를 직접 생성하지 않고, TCGA 같은 공개 데이터를 활용해 시각화와 분석에 중점을 둔 도구예요.
- 연구자들이 자신의 데이터를 업로드해서 TCGA 데이터와 비교할 수도 있어요.
- 메틸레이션과 RNA 데이터를 함께 시각화해서 에피제네틱 변화와 유전자 발현의 관계를 쉽게 볼 수 있습니다.
차이점:
- Xena는 데이터 제공 플랫폼이라기보다는 시각화와 분석 도구에 가까워요. NCBI나 TCGA가 데이터를 제공하는 "창고"라면, Xena는 그 데이터를 예쁘게 정리해서 보여주는 "전시관" 같은 느낌이에요

xena

플랫폼 간의 차이점 요약

NCBI	생물학 데이터 저장소	DNA, RNA 서열, 메틸레이션 등	광범위한 데이터, 원시 데이터 제공	유전체 연구, 생물학 분석
TCGA	암 게놈 데이터 제공	메틸레이션, RNA-seq, 임상 데이터 등	암 특화, 대규모 데이터셋	암 연구, 통합 분석
Xena	데이터 시각화 및 분석	TCGA 등 공개 데이터 시각화	웹 기반, 사용자 친화적	데이터 탐색, 시각화

결론: 어떤 플랫폼을 선택할까?

DNA와 RNA 데이터를 찾을 때는 연구 목적에 따라 플랫폼을 선택하는 게 좋아요.

NCBI는 다양한 생물학적 데이터를 제공하니까, 암뿐만 아니라 다른 질병이나 종에 대한 연구를 할 때 유용해요.
TCGA는 암 연구에 특화된 데이터를 제공하니, 메틸레이션 데이터를 포함한 암 관련 분석을 원한다면 최고의 선택이에요.
Xena는 TCGA 데이터를 시각화하고 탐색하는 데 최적화된 도구로, 데이터를 다운로드하지 않고도 빠르게 분석을 시작할 수 있어요.

특히 메틸레이션 데이터가 필요하시다면, TCGA에서 데이터를 수집하고, Xena로 시각화하며 분석하는 조합을 추천드려요. 그리고 NCBI를 통해 더 넓은 생물학적 맥락을 확인할 수도 있으니, 이 세 플랫폼을 함께 활용하면 데이터 수집과 분석이 훨씬 수월해질 거예요.

[논문리뷰] Alphafold3 - 생성 모델과 바이오를 결합시켜서 신약 헌팅

minyoungxi — Sun, 30 Mar 2025 16:51:00 +0900

Accurate structure prediction of biomolecular interactions with AlphaFold 3

논문 링크 : https://www.nature.com/articles/s41586-024-07487-w

Nature에 엄청난 논문이 나왔었죠. Alphafold1이 나왔을 때 사람들이 엄청 놀랐는데, 벌써 세 번째 모델이 나왔습니다.

2024년 11월에 Publish된 해당 논문은 생성 모델이, 인공지능이 실제로 바이오 분야에 엄청난 도움이 된다는 것을 가장 잘 느끼게 해줍니다.

해당 논문 리뷰 전에 생성 모델의 기초가 되는 부분들을 리뷰해보면서 가봅시다.

Diffusion

우선 Diffusion 모델의 발전 과정과 개념에 대해서 리뷰를 하고 넘어가도록 하겠습니다.

diffusion 모델은 생성 모델의 한 종류로, 데이터에 점진적으로 잡음을 추가하는 forward process와 이를 역으로 제거하는 Reverse process 를 통해 새로운 데이터를 생성하는 기법입니다.

Forward Diffusion Process에서는 이미지에 고정된(fixed) 정규 분포(=Gaussian분포)로 생성된 Noise가 더해지고,

Reverse Diffusion Process에서는 이미지를 학습된(learned) 정규 분포로 생성된 Noise이미지로 뺍니다.

Diffusion Model이 풀려고 하는 문제는, Forward -> Reverse 단계를 거친 '결과 이미지'를 '입력 이미지'의 확률 분포와 유사하게 만드는 것 입니다. 이를 위해 Reverse단계에서, Noise 생성 확률 분포 Parameter인 평균과 표준편차를 업데이트하며 학습이 진행됩니다.

위 이미지는 2015년 Diffusion model에 해당하는 그림입니다. MLE(Maximum Log-Likelihood Estimation)를 사용한 결과이고, 아래의 그림은 유명한 연구인 DDPM에 해당됩니다. DDPM에서는 Reverse 단계에 U-net 모델을 사용했습니다.

사실 디퓨전 모델을 하나씩 자세학 리뷰하면 하나의 논문으로 거의 1시간을 채울 수 있을 만큼 수학적인 개념이 많이 요구됩니다. 그 중에서도 Markov chain과 Bayesian Rule은 수식을 이해할 때 가장 중요한 개념입니다.

생성 모델의 발전 과정

이제 Diffusion 모델의 발전 과정입니다.

Diffusion 모델의 전반적인 발전 흐름을 SCI급 저널과 최상위 컨퍼런스를 기준으로 선정한 핵심 논문들을 정리한 내용입니다.

2015년에는 확산 확률모델이 등장했습니다. 확산 기반의 생성 모델을 처음으로 제시했고, 이 논문에서는 비평형 통계역학이라는 개념을 활용하여 데이터의 구조를 서서회 파괴하는 forward process와 이를 거꾸로 진행시켜 데이터를 복원하는 reverse process 과정을 정의했습니다.

해당 논문의 가장 중요한 contribution은 이전의 GAN이나 VAE와 다른 제 3의 생성 모델 패러다임을 제시했다는 점입니다. 특히 이 방법은 수학적으로도 이점이 굉장히 많습니다. 예를 들어 명시적인 확률밀도 평가와 우도 계산이 가능하다는 장점이 있고, 얕은 신경망으로도 복잡한 데이터를 생성할 수 있다는 것을 보여줬습니다. 그리고 확산모델의 log likelihood를 계산해보면 다른 확률 모델 대비 경쟁력이 있다는 점도 확인했죠.

그래서 이 논문은 diffusion 모델 연구의 기초가 되었고, 후속 연구들은 이런 forward/reverse 프레임워크 위에서 다양한 개선과 변형을 시도하게 된 것이죠.

스코어 매칭(Score Matching) 방법을 활용한 새로운 생성 모델을 발표했습니다. 이 논문에서는 복잡한 확률분포를 직접 추정하는 대신,데이터 분포의 기울기(Score)를 추정하여 샘플을 생성하는 접근을 취합니다. 구체적으로, 데이터에 다양한 크기의 가우시안 노이즈를 섞은 변형들을 만들고, 각 노이즈 수준에서의 로그확률 기울기를 신경망으로 학습합니다.

그리고 Diffusion 모델 중 가장 중요한 연구 중 하나의 DDPM이 등장합니다.

DDPM(Denoising Diffusion Probabilistic Models)으로 불리는 확산 확률모델 입니다. 앞서 2015년 제안되었던 Diffusion 모델의 아이디어를 현대적으로 계승·발전시킨 이 논문은, 확산모델을 통해 당시 최고 성능의 이미지를 생성하며 큰 반향을 일으켰습니다. 특히 Score Matching 관점과 확산모델의 연결 고리를 이론적으로 제시하고, 효과적인 손실 최적화 기법을 알려준 것이 주요 공헌입니다.

DDPM 논문의 등장은 diffusion모델의 붐을 일으켰습니다. 이후 많은 연구가 DDPM의 구조와 손실을 개선하거나, 샘플링 속도를 높이거나, 조건부 생성에 적용하는 등으로 이어졌습니다. 대표적으로 OpenAI의 분석 논문 등이 나와 확산모델이 GAN을 대체할 강력한 후보로 부상하게 됩니다.

그리고 DDIM은 학습된 DDPM을 수정 없이 사용하면서도 상당히 적은 단계로 빠르게 샘플링할 수 있는 기법입니다. DDIM은 학습 절차를 바꾸지 않고도 확산모델의 느린 샘플링 문제를 상당 부분 개선했다는 큰 기여를 했습니다. 이후 확산모델을 응용할 때 DDIM이 자주 사용되어, 빠른 샘플 생성이나 이미지 편집(interpolation, morphing 등)에 활용되었습니다. 더 나아가 DDIM은 확산모델의 수학적 구조를 이해하는 데 기여하여, 확률적 확산을 ODE로 바라보는 통찰을 제공합니다.

정리하면, DDIM은 확산모델도 모수화에 따라 GAN처럼 결정론적 맵핑이 가능하다는 흥미로운 결과를 보여주었고, 실용적인 가속 이점까지 갖추어 확산 연구자들 사이에 널리 활용되고 있습니다.

연도	논문	Contribution	모델 특징
2015	Deep Unsupervised Learning using Nonequilibrium Thermodynamics - ICML 2015	확산 확률 모델(diffusion probabilistic model)의 개념 제시. 순방향으로 데이터에 점진적으로 노이즈를 추가하고, 역방향으로 노이즈를 제거하며 데이터를 복원하는 마르코프 연쇄 생성 과정 제안.	Forward/Reverse 확산 프로세스 정의
2019	Generative Modeling by Estimating Gradients of the Data Distribution	Score Matching을 활용한 새로운 생성모델 제안. 여러 수준의 가우시안 노이즈를 데이터에 첨가한 후 각 노이즈 수준별 스코어(확률밀도 기울기)를 신경망으로 추정	Noise-Conditional Score Network (NCSN) 제안.
2020	Denoising Diffusion Probabilistic Models (DDPM)	- 확률적 확산 모델과 Score Matching의 연결 규명. - ELBO 기반 손실을 가중치 조정하여 단순화하고, 결과적으로 MSE 손실로 노이즈 예측 학습이 가능함을 제시. - CIFAR-10에서 Inception Score 9.46 / FID 3.17로 SOTA 달성, LSUN 256×256에서도 ProgressiveGAN에 필적하는 화질.
2021	Denoising Diffusion Implicit Models (DDIM) ICLR 2021	-확산 모델의 비마르코프(non-Markov) 샘플링 과정 제안. -DDIM을 통해 샘플링 속도를 10~50배 가속하면서도 샘플 품질 저하가 미미함을 실증	네트워크 구조나 학습은 DDPM과 동일하지만, 생성시 T회가 아닌 훨씬 적은 단계로도 고품질 생성

뛰어난 이미지 품질에도 불구하고, 픽셀 공간에서 작동하는 Diffusion 모델은 계산량이 막대했습니다. 2022년 CVPR의 Rombach라는 사람이 이를 극복하기 위해 잠재 공간에서 확산을 수행하는 LDM (Latent Diffusion Model)을 선보였고, 이는 훗날 Stable Diffusion으로 알려졌습니다.

먼저 별도의 VAE(autoencoder)를 사용해 고해상도 이미지를 저차원 잠재 벡터 공간으로 압축합니다. 이 잠재공간에서는 이미지의 중요한 구조는 보존하면서도 차원이 크게 줄어들기 때문에, 확산모델의 연산부담이 감소. 이후 이 잠재 공간에서 DDPM과 유사한 확산모델을 학습하여, 잠재 벡터를 생성하도록 합니다. 최종적으로 생성된 잠재 벡터를 VAE 디코더로 변환해 이미지를 얻습니다. 이 접근으로, 픽셀 단위로 할 때 대비 수백 배의 속도 향상을 달성했습니다.

그리고 Cross-Attention을 도입했다는 것도 중요한 점입니다. 기존 diffusion U-Net은 클래스 레이블 등의 간단한 조건만 처리했는데, LDM은 Text, Bounding Box, Segmentation Map 등 임의의 조건을 처리하기 위해 U-Net 중간에 Cross-Attn 레이어를 넣었습니다. 예컨대 텍스트 조건의 경우, CLIP의 텍스트 임베딩 시퀀스를 Key, Value로 하고 U-Net의 feature를 Query로 하는 어텐션을 적용합니다. 이를 통해 거대한 텍스트 정보도 효과적으로 활용할 수 있게 되었고, 복잡한 조건부 생성 작업에 확산모델을 적용하는 길이 열렸습니다.

모델을 하나씩 다 자세하게 살펴보지는 않았지만 Diffusion 모델은 안정적인 확률적 생성 모델이고, 현재 이미지 생성 분야에서 가장 강력한 모델 중 하나로 자리 잡았습니다. 특히 저희가 연구하고 있는 메디컬 분야처럼 현실적 정확도와 다양성이 중요한 분야에서도 좋은 성과를 보이고 있고 앞으로도 지속적으로 연구와 응용이 활발할 것으로 기대됩니다.

연도	논문	Contribution	모델 특징
2022	High-Resolution Image Synthesis with Latent Diffusion Models (Stable Diffusion) CVPR 2022	-고해상도 이미지 생성을 위해 잠재 공간(Latent Space)에서 확산을 수행하는 LDM 제안. 픽셀 공간에서 직접 확산하던 기존 방식의 연산량을 크게 절감하면서도 이미지 세부묘사 유지에 성공 -사전학습 VAE로 이미지→잠재벡터 변환 후, 그 잠재공간에 대해 확산모델 적용하여 복잡도 대 품질 절충의 최적점 도달 -또한 U-Net에 Cross-Attention 층을 도입하여 텍스트 등 임의 조건에 따른 이미지 생성을 자연스럽게 지원 -그 결과, 이미지 인페인팅에서 새로운 SOTA를 달성하고, 무조건 생성, 장면합성, 초해상화 등에서도 기존 대비 경쟁력 있는 성능을 보이며, 동일 성능시 계산 비용은 크게 감소됨.	VAE+Diffusion 구조
2022	Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (Imagen)	-대형 언어모델을 텍스트 인코더로 활용한 고해상도 텍스트-투-이미지 확산모델 제안 -DrawBench 벤치마크를 제안하여 타 모델(DALL-E2, GLIDE, LDM 등)과 비교한 결과, 인간 평가에서 Imagen의 텍스트-이미지 품질이 가장 우수함을 입증	- 거대 LM 결합 확산모델: 텍스트->임베딩에 파라미터 수십억 규모

Bioinformatics Data

제가 이 분야를 공부하기 시작하면서 가장 이해하기 힘들었던 부분이 데이터 타입에 관련된 부분이었습니다. 사실 다 같은 텍스트 데이터로 이뤄졌다고 생각했거든요. 현재 제가 연습하고 다루고 있는 데이터는 DNA와 RNA 같은 1차원 서열 정보를 주로 다루고 있습니다. 그런데 모두가 알고 있는 Alphafold나 RFdiffusion과 같은 생성 모델들은 모두 단백질 데이터를 다루고 있어요.

DNA 데이터
- 보통 실험실에서는 특정 유전자(Gene) 또는 유전자들 일부를 PCR 증폭하거나, NGS로 짧게 잘라 시퀀싱한 후, 필요한 서열만 부분적으로 취급합니다.
- 즉, 전체 게놈 중 **“특정 관심 구간”**의 서열이 DNA 데이터가 될 수 있습니다.
- 이중나선 형태가 일반적이지만, 분석할 때는 일단 1가닥(5’→3’ 방향 서열)으로 표현하는 경우가 많습니다.
RNA 데이터
- mRNA, miRNA, lncRNA 등 다양한 종류가 존재하며, 보통 단일가닥(Single-stranded) 구조.
- 2차 구조(부분적 스템-루프, 염기쌍 형성)와 3차 구조가 존재할 수 있으나, DNA에 비해 역동적이고 변형이 많습니다.
- RNA-Seq(NGS)를 통해 세포 내에서 발현된 전사체(Transcriptome)를 “짧은 리드” 형태로 얻은 뒤, 이를 어셈블리하거나 유전자의 mRNA 발현량을 측정하는 용도로 사용합니다.
스케일의 차이
- Genome은 전체 규모가 매우 큰 반면, 연구자가 실제로 분석·조작하려는 DNA/RNA는 특정 유전자(수 kb) 또는 특정 영역 중심으로 접근하는 경우가 많습니다.
- RNA의 경우, 단백질 코딩 길이가 짧으면 수백~~수천 bp(mRNA), 비코딩 RNA는 수십~~수백 nt 정도로 짧기도 합니다.
구조적 특징
- DNA: 디옥시리보스(2’-H) 당, 염기 A/T/G/C, 2중가닥이 기본.
- RNA: 리보스(2’-OH) 당, 염기 A/U/G/C, 주로 단일가닥(부분적 이중가닥 형성 가능), 더 다양하고 역동적인 입체구조.

구분	DNA	RNA	단백질 (Protein)
생물학적 역할	유전 정보 저장, 전달	유전 정보 전달, 유전자 발현 조절 및 단백질 합성 중간 매개	세포 내 생명 현상 직접 수행 (효소작용, 신호전달, 구조적 역할 등)
기본 구성 단위	A, T, G, C	A, U, G, C	20종의 아미노산 (Amino Acid)
데이터 구조적 특징	1차원 서열 정보	1차원 서열 정보	1차원 서열 및 3차원 입체 구조
생물학적 데이터 예시	Genome 시퀀스 데이터	- RNA-seq (발현량 데이터) - 전사체(transcriptome)	- 아미노산 서열 - PDB 단백질 구조 데이터
데이터 분석 목적	-변이 분석 -유전체 연관 연구(GWAS) -SNP 분석 -유전자 발굴	- 유전자 발현 분석 - Alternative splicing - RNA 변형 분석 - 질병 연관성 분석	- 단백질 구조 예측 -기능 예측 -약물 결합 예측 -구조 기반 약물 설계

왜 Genome·단백질 수준에서는 생성 모델 연구가 활발하고, DNA/RNA 수준은 상대적으로 덜 활발한가?

단백질 구조·설계 분야의 배경

풍부한 구조 데이터(PDB 등)
- Protein Data Bank(PDB)에 축적된 단백질 3D 구조가 19만 건 이상 존재하고, AlphaFold2 등으로 예측된 구조도 대규모 공개됨.
- 이렇게 쌓인 방대한 3차원 구조 데이터가 구조 기반 생성 모델(RF Diffusion 등)을 훈련하는 데 큰 자원이 됩니다.
의약·산업적 수요
- 의약품 타겟 또는 효소 설계 등, 단백질 구조 설계의 산업적 가치가 매우 높습니다.
- 따라서 단백질 생성 모델(특히 구조·기능 설계)은 투자가 많고, 빠른 발전을 보이게 되었습니다.
상대적으로 명확한 품질 평가 지표
- 단백질의 “접힘(folding) 안정성”, “결합 에너지”, “효소 반응성” 등 물리·화학적으로 정의된 스코어(Rosetta 등)가 존재.
- 모델이 생성한 구조를 평가하고 피드백하기 용이하여, Diffusion 모델을 포함한 생성적 접근이 빠르게 발전했습니다.

단백질(Protein)에 집중되는 이유

방대한 구조 데이터(PDB 등) 확보
- 실험적으로 결정된 단백질 3D 구조 + AlphaFold2 예측 구조가 대규모로 공개되어 있습니다.
- 3차원 구조가 명확하게 정리·표준화된 형태로 쌓여 있어, RF Diffusion 등 생성 모델 학습에 큰 자원이 됩니다.
의약·산업적 가치는 매우 높음
- 단백질은 효소, 항체, 의약품 타깃으로 산업적 수요가 막대합니다.
- 투자·연구가 활발하며, 새로운 단백질(기능/안정성 향상 등)을 설계·생성하는 연구 필요가 큽니다.
명확한 물리·화학적 품질 평가 지표
- 접힘(folding) 안정성, 결합 에너지, 효소 활성도 등 측정 가능한 스코어가 존재합니다.
- 모델이 생성한 구조를 Rosetta 등으로 검증해 피드백 루프를 빠르게 돌릴 수 있어, 연구 개발이 용이합니다.
단백질 3차원 구조에 잘 맞는 Diffusion 기법
- 단백질은 고정된 형태로 폴딩되므로, 3D 좌표(백본, 원자) 기반의 확산 모델을 적용하면 곧바로 의미 있는 결과를 얻을 수 있습니다.
- 이 점이 RF Diffusion의 빠른 발전으로 이어졌습니다.

단백질은 풍부한 3D 구조 데이터, 명확한 물리·화학적 평가 지표, 높은 산업적 가치 때문에 Diffusion 모델을 비롯한 생성 모델이 빠르게 성장했습니다.
반면 DNA/RNA는 1차원 서열 + 복합적 기능, 구조 데이터 부족, 검증 난이도, 시장 수요 등의 제약으로 인해, 아직은 단백질만큼 Diffusion 모델 연구가 폭발적으로 진행되지 못한 상황입니다.
그러나 mRNA 치료제, 합성생물학 등 분야가 발전함에 따라, DNA/RNA 확산 모델도 앞으로 점차 주목받고 연구가 늘어날 가능성이 높습니다.

우선 Bioinformatics 분야에서는 어떤 데이터를 다루는지 알아보겠습니다.

표를 보면 DNA RNA는 주로 1차원 시퀀스 기반 데이터를 다루며, 유전자 발현 및 변이를 통해 생물학적 현상을 분석합니다. 단백질은 1차원 시퀀스 뿐만 아니라 3차원 입체 구조 정보가 매우 중요하고 구조와 기능이 강력한 상관관계를 갖습니다.

Alphafold3

알파폴드 1,2 는 간략하게 말씀드리면 1차원 서열로 구성된 단백질이 입력으로 들어왔을 때, 이것들이 어떻게 접히면서 어떤 구조가 되는지 예측하는 수준에 머물렀다면 이번에 알파폴드3는 구조를 예측하는 것 뿐만 아니라 단백질이 어떤 DNA와 결합할 수 있는지까지 예측하는 그런 조금 더 업그레이드 된 모델이라고 볼 수 있습니다.

알파폴드 1,2의 경우 단백질이 어떤 분자로 구성되어 있는지에 대한 설계도를 주면 단백질이 이러한 형상으로 생겼을 것이다 라고 예측 모델로 예측을 해주는 것입니다. 그런데 단백질 구조만 예측하는 것이 중요한게 아니라 어떤 DNA와 어떻게 상호작용 하는지 혹은 단백질이 리간드와 결합되었을 때 어떻게 변하는지에 대해서도 신약 개발에 있어서 매우 중요합니다. 알파폴드 3가 이제 그런 역할도 할 수 있는 모델이라고 보시면 될 것 같습니다.

우선 단백질의 구조에 대해서 알아야 하는데요

사진의 가장 위에 있는 것을 보시면 아미노산이 1차원적으로 연결되어 있습니다. (primary)

저기에서 아미노산을 제가 원하는 종류로 바꿀 수 있습니다. 그리고 실제 상온이나 물에 넣게 되면 저 구조가 접히기 시작해요. 아래에 보면 2차구조 secondary처럼 저렇게 바뀌게 됩니다.

저런 2차 구조들이 여러가지 그룹으로 묶이게 되면서 더 복잡한 3차 구조(terti)가 만들어져요. 이런 3차 구조들이 모여서 마지막에 프로틴 구조인 마지막 모습이 됩니다.

그래서 첫 번째부터 마지막 단계까지 예측하는 모델이 알파폴드 1이랑 2 였습니다.

알파폴드3의 경우에는 저러한 단백질과 인풋 값으로 다른 DNA 혹은 리간드를 넣을 때 어떻게 결합하는지를 밝혀내는 일을 합니다.

Alphafold3 Architecture

단백질 구조나 생명 공학에서의 시사점 등 해당 논문에 대해서는 많은 의견이 있습니다. 하지만 이번 발표에서는 머신러닝 관점에서 알파폴드의 모델에 대해서 리뷰하려고 합니다.

우선, 모델의 목표가 이전 AlphaFold 모델과는 조금 다르다는 점에 주목할 필요가 있습니다. AlphaFold2(AF2)는 단백질 단일 서열에 대한 3차원 구조를 예측했고, AlphaFold-Multimer는 여러 단백질이 복합체를 이루는 구조를 예측했습니다. 반면 AlphaFold3(AF3)는 단백질뿐 아니라, 다른 단백질·핵산(DNA/RNA)·소분자 등이 함께 존재하는 복합체 구조도 서열 정보만으로 예측합니다.

이전 AF 모델들은 표준 아미노산(20가지)만 다루면 됐지만, 이제 AF3는 훨씬 다양한 입력 타입(예: 핵산 염기, 비표준 잔기, 소분자 등)을 표현해야 하므로, 더 복잡한 피처화/토큰화 방식을 갖습니다. 해당 토큰화 방식을 별도 섹션에서 다루겠지만, 여기서는 일단 “토큰(token)은 단백질의 경우 단일 아미노산, 핵산의 경우 단일 뉴클레오타이드, 혹은 (표준 아미노산/뉴클레오타이드에 속하지 않는) 개별 원자를 의미한다”고 생각하시면 됩니다.

모델은 크게 세 가지 섹션으로 나눌 수 있습니다.

입력 준비 (Input Preparation)
- 사용자가 예측하고자 하는 분자들의 서열을 제공하면, 이를 숫자 텐서 형태로 임베딩해야 합니다.
- 또한, 모델은 사용자가 제공한 분자들과 유사한 구조를 지닐 것으로 추정되는 다른 분자들의 정보를 검색해서, 이들도 자체적으로 텐서로 임베딩합니다.
표현 학습 (Representation Learning)
- 앞 단계에서 생성된 Single 텐서와 Pair 텐서를 입력으로 받아, 다양한 형태의 어텐션 기법을 적용하여 이들 표현을 업데이트합니다.
구조 예측 (Structure Prediction)
- 업데이트된 Single/Pair 표현과, 1단계에서 준비된 원본 입력을 바탕으로 **조건부 확산(conditional diffusion)**을 사용해 최종 구조를 예측합니다.

Single & Pair

AF 모델 전반에서 단백질 복합체는 크게 두 가지 형태로 표현됩니다.

Single 표현 : 복합체 내 모든 ‘토큰’을 나타냅니다. (ex.아미노산, 원자)
pair 표현 : 복합체 내 아미노산(또는 원자) 쌍 사이의 관계(ex. 거리, 잠재적 상호작용 등)를 표현합니다

이 각각은 원자(atom) 단위나 토큰(token) 단위 중 하나로 다룰 수 있으며 AF3 논문에서 정의된 이름과 색상을 사용해서 저렇게 시각적으로 구분해서 사용할 예정입니다.

가중치(Weights)는 생략하고, 실제로는 활성값(Activation)의 형태 변화만 시각화합니다.
각 활성 텐서에는 논문에서 사용한 차원 이름을 그대로 라벨링하며, 다이어그램의 크기도 (정확하진 않더라도) 해당 차원의 증가/감소를 대략적으로 반영하도록 그렸습니다. 가능하면, (이 다이어그램뿐 아니라 모든 다이어그램에서) 텐서 위에 표시된 이름이 AF3 보충자료에서 쓰인 텐서 이름과 동일하도록 유지했습니다.
보통 텐서는 모델을 거치면서 같은 이름을 유지하지만, 어떤 경우에는 처리 단계별로 다른 버전을 구분하기 위해 이름을 달리 쓸 때도 있습니다. 예를 들어, 원자 단위 single 표현에서는 초기 표현을 c라 하고, Atom Transformer를 거쳐 업데이트된 표현을 q라 부르는 식입니다.
설명을 단순화하기 위해, 도식에 등장하는 대부분의 LayerNorm은 생략했으나, 실제 모델에서는 거의 모든 단계에서 사용됩니다.

사용자가 AF3에 입력하는 실제 데이터는 기본적으로 하나의 단백질 서열이며, 필요에 따라 다른 분자들(핵산, 소분자 등)을 추가로 제공할 수 있습니다. 본 섹션의 목표는 이들 서열을 아래 그림과 같이, 모델 메인 트렁크로 들어가기 위한 6가지 텐서로 변환하는 것입니다. 이 텐서들은 주석을 달아놓은 것과 같습니다.

이 섹션의 최종 결과로 원자(atom) 단위 표현(q, p)뿐 아니라, 해당 원자 정보를 집계(aggregation)하여 만든 토큰(token) 단위 표현(s, z)까지 모두 생성됩니다. 즉, 이 과정이 끝나면 모델은 Single(단일) 표현과 Pair(쌍) 표현을 각각 원자 수준과 토큰 수준 두 가지 형태로 모두 얻게 됩니다.

지금 보시는 이 섹션은 총 5가지로 나뉘게 됩니다.

•s: 토큰 단위 단일(single) 표현 (token-level single representation)

•z: 토큰 단위 쌍(pair) 표현 (token-level pair representation)

•q: 원자 단위 단일(single) 표현 (atom-level single representation)

•p: 원자 단위 쌍(pair) 표현 (atom-level pair representation)

•m: MSA(다중 서열 정렬) 표현 (MSA representation)

•t: 템플릿(template) 표현

Tokenizer

첫 번째는 Tokenizer 입니다.

AF2에서는 고정된 아미노산 세트만 모델이 다뤘고, 각 아미노산마다 토큰 하나를 할당했습니다. 이 방식은 AF3에서 그대로 유지되지만, AF3가 처리할 수 있는 분자 유형이 늘어났기 때문에 추가 토큰들이 도입되었습니다.

표준 아미노산: 1 토큰 (AF2 방식과 동일)
표준 뉴클레오타이드(DNA/RNA 염기): 1 토큰
비표준 아미노산/뉴클레오타이드(메틸화된 뉴클레오타이드, 번역 후 변형이 일어난 잔기 등): 원자별로 각각 1 토큰
그 외 분자(리간드, 이온 등): 원자별로 각각 1 토큰

이로 인해, 어떤 토큰은 여러 개의 원자(예: 표준 아미노산)와 연결되지만, 다른 토큰은 단 하나의 원자(예: 리간드 내 특정 원자)에만 대응될 수 있습니다. 예를 들어, 표준 아미노산이 35개 들어 있는 단백질(아마도 600개 이상의 원자가 존재)이라면, 이 단백질은 토큰 35개로 표현됩니다. 반면 35개의 원자를 가진 어떤 리간드는, 각각의 원자에 1토큰씩 할당되어 역시 35개 토큰이 됩니다.

Retrieval (Create MSA and Templates)

AF3에서 매우 초기 단계에 수행되는 핵심 작업 중 하나는, 마치 언어 모델의 RAG(Retrieval Augmented Generation)와 유사한 방식으로, 우리의 관심 대상인 단백질 또는 RNA 서열과 유사한 서열을 찾아서 (MSA라 부르는 다중 서열 정렬에 모으고), 거기에 대응하는 구조 정보(“템플릿”)가 있으면 이를 추가 입력으로 활용하는 것입니다.

그렇게 찾은 서열과 구조가 모델에서 각각 m(MSA), t(템플릿)라는 입력으로 주어집니다.

MSA(다중 서열 정렬)의 이점

서로 다른 종(種)에 존재하는 상동(homologous) 단백질들은 서열·구조 면에서 상당히 유사한 경우가 많습니다. 단백질 하나의 특정 위치(열, column)가 진화 과정에서 어떻게 바뀌었는지 보면, 그 위치에 어떤 아미노산이 중요한지, 혹은 서로 상호작용하는 아미노산들이 어떻게 공변(covary)하는지를 알 수 있습니다. 이미 AlphaFold2 시절부터, MSA가 단백질의 단일 서열에 비해 훨씬 풍부한 ‘보존·공변 정보’를 제공한다는 것이 밝혀졌습니다.

구조 템플릿(template)의 활용

유사한 서열을 지닌 단백질에 대해 이미 결정된 실험 구조가 있다면, 이는 해당 단백질(우리가 예측하고자 하는 단백질)의 구조를 추론하는 중요한 단서가 됩니다. 완전한 전체 구조를 찾는 대신, 단백질 체인 하나씩 분리하여 유사도를 검사하고, 이 중 상위 품질 구조 4개 정도를 추려 “템플릿”으로 삼습니다. 이는 전통적인 호모로지 모델링(homology modeling)과 유사한 방식입니다.

템플릿은 어떻게 표현되는가?

중심 원자(center atom) 기준 거리 행렬
- 템플릿 구조가 확보되면, 해당 체인의 각 토큰(아미노산 or 뉴클레오타이드 등)에 대해 “중심 원자”(Cα 혹은 C1’)를 골라,
- 각 토큰 쌍 사이 유클리드 거리를 계산합니다.
- 이렇게 얻은 N_token x N_token 거리 행렬을 연속값 대신 히스토그램(bin) 형태로 구분해 **“distogram”**으로 만든 뒤, 모델 입력에 넣습니다.
메타데이터 포함
- 각 토큰이 어느 체인에 속하는지, 실제 결정 구조에서 이 토큰(잔기)이 해석되었는지, 아미노산 내부 지역 거리(백본 길이 등) 같은 정보도 추가.
- 단, 템플릿은 체인 간 상호작용 정보를 포함하지 않으며(체인 A-B 거리 무시), 단일 체인 내 거리에 집중합니다
- 요약하자면, AF3는 “(1) 서열 기반 MSA 구성 → (2) 유사 구조 템플릿 선택” 과정을 통해, 부가 정보를 풍부히 확보합니다.
- 이것이 바로 m(MSA), t(템플릿)으로 모델에 입력되며, 단백질+RNA 복합체든 멀티머든 보다 정확한 구조 예측을 지원하게 됩니다.

Create Atom-Level Representations

q(원자 단위 single 표현)을 만드는 과정은 다음과 같은 단계를 거칩니다:

참조 컨포머(reference conformer) 생성
- 단백질, 핵산, 리간드 각 구성성분에 대해, 미리 알려진 부분 구조(“로컬 구조”에 대한 사전 지식)를 활용해 3D 컨포머를 얻습니다.
- 아미노산의 경우: 이미 에너지가 낮은(안정된) 컨포머가 “표준” 형태로 정해져 있어, 룩업(look-up) 방식으로 불러올 수 있습니다.
- *소분자(리간드 등)**의 경우: RDKit의 ETKDGv3 알고리즘을 이용해 실제 단일 결합 회전 등에 기초한 3D 컨포머를 생성합니다.
원자 단위 특징정보 취합
- 이렇게 얻은 컨포머에서, 각 원자의 상대 위치(좌표)와 전하, 원자번호, 기타 식별 정보 등을 합쳐서 행렬 c에 저장합니다.
- 요약하면, c에는 “원자별 공간좌표 + 물리화학 속성”이 들어 있다고 보면 됩니다.
원자 단위 pair 표현 p 초기화
- 원자들 간 상대 거리 정보를 p에 저장하는데, 컨포머를 통해 알 수 있는 거리만 초기화하고,
- 아직 알 수 없는 거리(토큰 간 상호작용 등)는 마스크( v )로 처리하여 배제합니다(초기 단계에서는 “몰라”로 두는 셈).
- 거리의 역제곱(inverse square)에 대한 임베딩을 적용하고, cl, cm(추가 특징) 등을 투영(projection)한 뒤, 몇 개의 Linear layer + Residual connection을 거쳐 p를 갱신합니다.
원자 단위 single 표현 q 복사 생성
- 초기 행렬 c를 복사해 이름을 q라고 붙입니다.
- 이후 q가 곧바로 업데이트될 주된 원자 단위(single) 표현이며,
- c는 나중에 참조용으로 다시 쓰이므로, 삭제되지 않고 저장해 둡니다.

정리하면, 각 분자(아미노산·핵산·소분자)의 참조 컨포머를 활용해 원자별 좌표·속성을 모으고, 이를 기반으로 원자 단위 pair 표현(p)를 초기화하며, 그 과정에서 생성된 정보를 q로 복사해서 이후 단계에서 계속 업데이트한다는 흐름입니다.

컨포머(conformer)란, 분자의 원자 간 연결 상태(결합) 자체는 동일하지만, 단일 결합(single bond)을 중심으로 한 회전 각도가 달라져서 생기는 서로 다른 3차원 구조를 말합니다.

예: 에탄(탄소-탄소 단일 결합)처럼 단일 결합을 가진 분자는, 그 결합을 축으로 원자가 회전해 여러 가지 3D 배치가 가능하고, 이 각각이 곧 ‘컨포머’입니다.
보통 분자는 결합 길이·각도 등 큰 변화 없이, 단일 결합의 회전만으로도 3D 형태가 달라질 수 있기 때문에, 에너지가 낮은(안정된) 특정 배치를 찾아 “표준 컨포머”로 사용하거나, 시뮬레이션에서 다양한 컨포머를 생성해 어떤 구조가 가장 안정적인지 탐색하기도 합니다.

Update Atom-Level Representations (Atom Transformer)

앞서 q(모든 원자를 표현하는 single)와 p(원자 쌍을 표현하는 pair)를 생성했습니다. 이제 주변 원자 정보를 활용해 이들을 업데이트해야 하는데, 이 때 Atom Transformer라는 모듈을 사용합니다. Atom Transformer는 여러 블록으로 구성되며, 각 블록에서는 p(pair 표현)와 q의 초기 사본( c )을 함께 참고하여, q를 갱신합니다. 이 때 c는 Attention Transformer에서 업데이트되지 않고 유지되므로, 시작 시점 표현을 “잔류(residual) 연결” 방식으로 계속 제공한다고 볼 수 있습니다.

Atom Transformer는 전반적으로 표준 Transformer 구조(레이어 정규화→어텐션→MLP)를 따르지만, c와 p(이차적 입력, “컨디셔닝” 역할)를 추가로 반영한다는 점이 특이합니다. 또한 Attention 후에 별도의 ‘게이트(gating)’ 단계를 삽입해, 모델이 배운 정보를 어느 정도 반영할지 선택하도록 합니다.

다음으로 이 4단계를 순서대로 살펴봅니다:

^ 즉, “초기 사본”이라 함은 “q가 업데이트되기 전에, 만들자마자 복제해 둔 q의 원본” 정도로 이해하면 됩니다.

1. Adaptive LayerNorm

Adaptive LayerNorm (AdaNorm):

AdaNorm은 이를 확장하여, 이 파라미터(γ, β)를 두 번째 입력(즉, Atom Transformer에서는 c)을 바탕으로 동적으로 예측합니다.
즉, 단순 고정값이 아니라, c에 따라 “q의 평균·표준편차를 어떻게 보정할지”가 결정되는 방식입니다.

기존 LayerNorm은 입력 행렬(예: q)에 대해, 채널별 스케일(γ)과 바이어스(β)를 학습된 상수로 적용합니다.

2. Attention with Pair Bias

원자 단위 어텐션(Atom-level Attention)은, 말 그대로 q(원자 시퀀스)에서 쿼리(query), 키(key), 밸류(value)를 뽑아 Self-Attention을 수행합니다.

다만, 여기에는 세 가지 중요한 차이가 있습니다:

Pair-Biasing:
- 쿼리·키 내적(dot product) 결과에, pair 표현(p)에서 선형 변환한 값을 ‘바이어스’로 더해, 어텐션 가중치를 조정합니다.
- 이를 통해, 원자 쌍 간 결합 강도가 높은(p에서 강조) 원자들끼리는 어텐션이 더 크게 작동합니다.
- 단, 이 과정은 p가 q로부터 업데이트되는 것이 아니라, “p→q로 단방향으로” 영향을 주는 것임에 유의하세요.
Gating:
- 쿼리·키·밸류 외에, q를 추가로 한 번 더 투영해 시그모이드(0~1 범위)로 통과시키는 “게이트”를 만듭니다.
- 어텐션 결과를 최종적으로 합칠 때, 이 게이트로 결과를 곱해주어 “어느 정도 정보만 반영”하도록 합니다.
- 이는 LSTM의 게이트와 비슷한 아이디어로, Residual 스트림에 실질적으로 어느 부분을 남길지 선택하게 해 줍니다.
Sparse Attention:
- 원자 수가 많을 수 있으므로, 모든 원자→모든 원자 풀 어텐션을 돌리면 연산량이 매우 큽니다.
- 대신 “Sequence-local atom attention”이라는 스파스 어텐션을 써서, 32개 원자 단위 그룹이 한 번에 128개의 다른 원자를 주로 ‘참조(attend)’하는 식으로 제한합니다.
- 이는 최근 대용량 모델에서 흔히 사용하는 스파스 어텐션 기법과 유사합니다.

3. Conditioned Gating

앞서 “Attention → 결과” 후에 한 번 게이트를 적용했지만, 이번에는 또 다른 게이트를 추가로 적용합니다.
다만 이번 게이트는 c(처음 원자 단위 single 표현)로부터 만들어져, 다시 한 번 “현재 결과에 얼마만큼 정보를 반영할지”를 결정합니다.

4. Conditioned Transition

Transformer MLP 블록과 동일한 역할이지만, 여기서도 Adaptive LayerNorm(c 기반) + Conditional Gating(역시 c 기반)으로 감싸져 **“조건부(Conditioned)”**가 된다는 점이 특징입니다.
SwiGLU 활성함수를 사용:
- AF2에서는 ReLU 기반 Transition을 썼지만, AF3에서는 SwiGLU로 바뀌었습니다.
- ReLU 대비 Swish(또는 SiLU) 함수가 곱해져 더 부드러운(non-linear) 반응을 제공하며, 최근 많은 신경망 아키텍처가 채택하는 방식입니다.
구체적으로 ReLU 방식은 (채널 4배 증폭)→(ReLU)→(원래 채널로 다운 프로젝트) 흐름이었으나, SwiGLU에서는 **(2개 분기 중 하나만 Swish 통과)→(결과를 곱)→(다운 프로젝트)**로 진행합니다.

정리하자면, Atom Transformer 블록은 위 4단계(Adaptive LayerNorm → Attention with Pair Bias → Conditioned Gating → Conditioned Transition)를 순서대로 수행하여, q(원자 단위 single)를 점진적으로 업데이트합니다. 이 과정에서 p(pair)와 c(초기 원자 표현)는 “조건부 입력(conditional input)”로 작동하여, 원자 간 상대관계나 초기 특성을 적절히 반영하도록 돕습니다.

Aggregate Atom-Level → Token-Level

핵심 요약

원자 수준 → 토큰 수준으로 전환
- 지금까지 AF3는 모든 데이터를 “원자 단위”로 저장했지만, 표현 학습(representation learning) 단계부터는 “토큰 단위”로 작업합니다.
- “토큰”이란, 보통 아미노산 하나(표준 단백질)나 뉴클레오타이드 하나(표준 핵산)에 해당합니다.
토큰 단위 표현 만들기
1. 원래 원자 단위 표현(128차원)을 더 큰 차원(384차원)으로 먼저 늘립니다.
2. “같은 토큰에 속하는 원자들”의 표현을 평균하여, 토큰 한 개에 대응되는 벡터를 만듭니다.
  - 이 규칙은 표준 아미노산/뉴클레오타이드에만 적용되며, 비표준 분자 등은 이미 “원자=토큰” 형태라 변화가 없습니다.
MSA 정보와 결합 (sinputs)
- 토큰 단위 표현에 MSA(다중 서열 정렬)에서 얻은 특징·통계를 결합(concatenate) 합니다(있는 경우에만).
- 이렇게 합쳐진 행렬을 sinputs라 부릅니다.
sinit 초기화
- sinputs가 너무 커졌으므로, 다시 384차원으로 투영해 sinit를 만듭니다.
- sinit: 모델이 다음 “표현 학습” 단계에서 실제로 업데이트할 토큰 단위 시퀀스 표현.
- 한편, sinputs는 나중에 “구조 예측(Structure Prediction)” 단계에서 쓰기 위해 따로 저장해 둡니다.

정리하자면, “원자 단위 정보”를 모아 “토큰 단위”로 바꾼 뒤, MSA 등 부가 정보를 합쳐서 sinit라는 초기 시퀀스 표현을 만든다는 과정입니다. 이후 모델의 본격적 학습(Representation Learning)에서 sinit가 계속 업데이트되고, 구조 예측 단계에서 sinputs가 다시 활용됩니다.

이 다이어그램은 토큰 단위 Single 표현(sinit)을 어떻게 Pair 표현(z)로 확장하고, 위치 인코딩과 사용자 지정 결합 정보 등을 어떻게 추가하는지를 단계별로 보여줍니다.

2단계에서는 원자 단위 표현(c, q, p)은 잠시 제쳐 두고, 다음 섹션에서 (m과 t의 도움을 받아) 토큰 단위 표현(s와 z)을 업데이트하는 데 집중할 것입니다.

이 부분은 내용이 너무 길고 어려운 내용이 많아서 가장 중요한 부분인 MSA Module에 대해서만 보겠습니다.

해당 섹션은 크게 Template module, MSA module, Pairformer, 반복(Repeated Blocks & Recycling) 이렇게 4가지로 나뉩니다.

MSA module

이 MSA 모듈은 AlphaFold2의 Evoformer와 매우 유사하며, 핵심 목표는 MSA 표현과 pair 표현을 동시에 개선하면서, 양쪽이 상호작용(cross-talk)할 수 있도록 하는 것입니다.

구체적으로는, 먼저 MSA와 pair 텐서를 각각 독립적으로 업데이트하는 여러 연산을 수행한 뒤, 이 두 표현 간에 정보를 교환하도록 구성되어 있습니다.

가장 먼저 이루어지는 단계는, 이전에 생성된 MSA가 최대 16k 행(row)처럼 매우 클 수 있으므로, 일부 행만 샘플링(subsample)하여 사용한다는 점입니다. 그리고 이렇게 샘플링된 MSA 행들에, single 표현(s)을 선형 변환한 버전을 추가로 더해 줍니다(병합). 이를 통해 MSA와 단일 시퀀스 정보가 조금 더 밀접하게 연결된 상태에서 이후 업데이트가 이루어지도록 하는 것입니다.

그림에서 보면, “inputs rep. (n,c)” 라고 표시된 초록색 박스(혹은 화살표)가 바로 단일 시퀀스 표현(s)이 MSA와 결합될 때 들어오는 경로입니다. 다이어그램상에서는 이 선이 직접적으로 “subsample and embed” 블록(분홍색)에 더해져 MSA representation으로 이동하는 모습을 보여주는데,

이 초록색 입력이 곧 s(단일 표현)을 받아 MSA 채널과 맞추기 위한 선형 변환(Projection) 과정을 내포하고 있다고 보시면 됩니다.
다이어그램은 간단히 “inputs rep. (n,c) + subsample and embed”라고만 표기했지만, 실제 연산 내부에서는 s를 적절히 투영(채널 매핑)하여 MSA 행렬과 합(add)하는 작업이 수행됩니다.

Outer Product Mean

Outer Product Mean 과정을 간단히 풀어 쓴 설명입니다:

MSA에서 열(column) 2개를 비교
- MSA에서 두 위치(토큰 인덱스 i, j)를 잡으면, 각 열은 여러 개의 진화적 서열(행)을 가지고 있습니다.
- 이 두 열(ms,i와 ms,j)을 서로 비교하면, “서열 전체에서 두 위치가 어떻게 함께 변이했는지(공변·상관)” 같은 정보를 알 수 있게 됩니다.
각 진화적 서열마다 외적(outer product)을 구하고 평균
- 모든 진화적 서열을 순회하면서, (ms,i)와 (ms,j)에 대한 외적을 구합니다.
- 이어서 이 외적들을 평균(mean) 내어, i와 j 사이를 대표하는 하나의 결과를 얻게 됩니다.
- 외적은 “(채널 수)×(채널 수)” 형태인데, 이를 나중에 펼쳐(flatten)서 다시 원하는 차원으로 투영(Projection)합니다.
Pair 표현 zi,j에 반영
- 이렇게 얻은 외적 평균 결과를 zi,에 더합니다.
- 즉, “두 위치(i, j) 간의 관계 정보”를 MSA에서 끌어와 pair 표현에 포함시키는 셈입니다.
의의
- 이 단계가 “진화적 서열들 간 교차 정보”를 서로 섞어주는 유일한 지점입니다.
- 덕분에 AF2의 Evoformer에서보다 계산량을 크게 줄이면서도, i와 j 사이의 상관관계를 충분히 활용할 수 있게 했습니다.
- AF2에 비해 MSA→Pair 정보 반영을 단순화하여 효율을 높인 것이 특징입니다.

정리하면, Outer Product Mean은 “MSA의 각 열끼리(토큰 인덱스 i, j) 외적을 구해 평균을 내고, 그 결과를 pair 표현에 반영”함으로써, 두 위치의 공진화(covariation) 정보를 zi,j에 주입하는 핵심 연산입니다.

내적은 “두 사람이 어느 정도 비슷한 취향을 갖는가”를 점수 하나로 말해 주는 것이고,
외적은 “A 사람의 취향 항목(예: 음식, 영화, 음악, 책 등) 각각과 B 사람의 항목 각각이 어디서 얼마나 어울리는지”를 전부 표로 만들어 놓은 것처럼, 모든 항목 쌍별 상호작용을 담아내는 것이라고 생각하면 됩니다.

Row-wise gated self-attention using only pair bias

row-wise gated self attention using only pair bias는 MSA의 각 행(서열) 내에서 pair(z)가 제공하는 토큰 간 관계 정보를 바탕으로, 어떤 위치끼리 주목해야 하는지를 결정하고, 그 결과를 게이트로 조절하여 MSA 표현을 갱신합니다. 이는 MSA가 pair 표현에서 가져온 관계 정보를 자기 자신(MSA row) 안에 반영해, 최종적으로 MSA가 더욱 풍부한 맥락을 갖도록 하는 단계라고 볼 수 있습니다.

Structure Prediction

이제 구조 예측 섹션의 Diffusion 모델의 동작 방식을 보겠습니다.

이 섹션에서는, 토큰 수준에서 학습한 s, z 표현과 모델의 초기 원자·토큰 표현( c, p, sinputs 등)을 이용해, 실제 3D 좌표를 Diffusion 모델을 통해 생성합니다.

기본 원리

Diffusion 모델은 데이터를 조금씩(여러 단계 t에 걸쳐) 무작위 노이즈로 덮어준 뒤, 모델이 “추가된 노이즈를 역으로 예측해서 제거”하도록 학습하는 방식입니다.
추론 시에는 완전히 노이즈로 뒤덮인 상태( xt=T )에서 시작해, 각 단계마다 모델이 예상하는 노이즈를 제거해가며, 최종적으로 깨끗한 상태(구조)를 얻습니다.

AF3에서의 Diffusion

AF3가 학습하는 데이터( x )는 원자들의 (x, y, z) 좌표입니다.
학습 시에는 좌표에 가우시안 노이즈를 점차 많이 더하다가, 모델이 “추가된 노이즈”를 역추정하는 식으로 훈련합니다.
추론 시에는 무작위 좌표에서 시작해, 매 디퓨전 스텝마다 모델이 제시하는 노이즈를 제거해나가며 최종 구조를 얻습니다.

AF3의 구조 예측은 완전히 “Atom-level 확산(diffusion)” 기법으로 새롭게 바뀌었습니다.

매 스텝마다 “원자 좌표를 노이즈화→모델이 노이즈를 예측해 제거” 과정을 거치며, 토큰 단위(s, z) 및 초기 원자 표현(c, p) 등의 정보를 조건(conditional)으로 활용합니다.
이 4단계(토큰→원자→토큰→원자) 루프를 거쳐, 최종적으로 안정적인 3D 구조를 출력하게 됩니다.
이전 AlphaFold2가 사용하던 “Invariant Point Attention” 대신, 디퓨전에서 “임의 회전·평행이동”을 매번 적용해 등가성을 유지하는 방식을 채택한 점도 중요한 변화입니다.

Insight

1. AlphaFold를 Retrieval-Augmented Generation(RAG)으로 해석하기

AF2가 처음 나왔을 당시, 추론(inference) 중에 훈련 데이터(또는 이와 유사한)를 검색해 사용하는 방식은 흔하지 않았습니다.
- 예: MSA(다중 서열 정렬) & 템플릿 검색을 통해 구조 예측.
다른 딥러닝 분야(예: 이미지 분류)에서는 보통 추론 시 추가 검색을 하지 않는 경우가 많았습니다.
AF3는 AF2에 비해 MSA 활용도를 줄이긴 했지만, 여전히 MSA와 템플릿을 추론 단계에서 사용합니다. (반면 ESMFold 등은 retrieval 없는 파라메트릭 접근)
최근에는 거대 언어모델(LLM)에서도 RAG 개념이 흔해졌습니다. 예: 검색 엔진 등을 활용해 최신 지식을 가져와 모델 추론에 반영.

결론: AF3가 MSA/템플릿을 사용해 예측하는 방식은, 대규모 언어모델에서의 RAG와 유사한 흐름이며, 향후 추론 시 “관련 예시 직접 참조” 접근이 더 확산될 가능성이 있습니다.

2. Pair-Bias Attention

AF2, AF3에서 중요한 특징은 Pair-Bias가 들어간 어텐션입니다.
- 쿼리·키·밸류는 동일 소스로부터 오는 self-attention 형태이되, pair 표현에서 나온 추가 바이어스(term)를 주입해 “어떤 위치끼리 더 강하게 연결할지”를 결정.
이는 “가벼운 형태의 정보 공유”로 볼 수 있으며, 완전한 크로스 어텐션보다 부담이 적습니다.
단백질 분야에서는 Pair-Bias Attention이 다른 모델(예: RoseTTAFold 등)에도 일부 쓰이지만, 일반적인 NLP나 CV에서는 아직 흔치 않습니다.

3. Self-supervised 학습 이슈

ESM 등은 “언어모델”처럼 자기지도(self-supervised) 방식으로 대규모 사전학습을 통해 MSA 없이도 구조 예측이 가능함을 보여주었습니다.
AF2도 MSA 마스킹 예측을 일부 활용했으나, AF3에서는 그 부분이 제거되었습니다.
- 왜 자기지도 방식(예: MSA 기반 언어모델)으로 초기화하지 않았는지 작중에서 구체적으로 언급되지 않음.
가능성:
1. 대규모 사전학습이 계산 낭비일 수 있다.
2. 소규모 MSA 모듈을 유지하면, 사전학습 임베딩보다도 실시간 MSA가 더 성능이 낫다.
3. AF3는 아미노산뿐 아니라 DNA/RNA/리간드(하이브리드 토큰)를 다루므로, 사전학습 임베딩과 결합하기 어려웠을 수 있다.

4. 분류(Classification) vs 회귀(Regression)

AF2 시절부터, 거리 예측 시 일정 구간별 binning(분류)과 MSE 손실을 혼합 사용.
분류로 접근하면, 예측이 bin 하나만 벗어나도 오답 처리된다는 점에서 “근접 but off-by-one”을 충분히 보상 못 받을 수 있음.
그럼에도 불구하고, 분류 방식이 다양한 거리를 동시에 예측하는 데 있어 그레이디언트를 안정화한다는 실험적 이점이 있는 것으로 추정.

5. RNN 유사성(게이팅, 반복)과 재활용(Recycling)

게이트(gating)
- AF3 곳곳에 시그모이드 게이트를 두어, 정보가 Residual 스트림에 얼마나 반영될지 통제.
- 이는 LSTM이나 GRU 같은 재발생 신경망(RNN)의 게이팅과 유사하며, 일반적인 Transformer에는 흔치 않음.
반복 적용 및 가중치 재사용
- AF3는 동일 블록을 여러 번 반복(recycling)하며, 점진적으로 구조 예측을 개선.
- 이는 LSTM이 타임스텝마다 같은 가중치를 순환적으로 사용하는 것과 유사한 아이디어.
적응형 연산(adaptive computation)
- Recycling은 “입력이 어려우면 더 많은 스텝을 거치고, 쉬우면 덜 거치는” 식의 적응형 계산 체계와 맥이 닿음.

6. Cross-distillation

AF3에서 low-confidence 영역 처리 시 AF2 예측 결과를 다시 활용(=교차 지식 증류).
“이전 모델이 잘하던 부분을 새 모델이 못한다면, 그 부분만 이전 모델로부터 교정받자”라는 실용적 접근.
결과적으로 AF3는 RF Diffusion 같은 새로운 기술과 AF2의 장점을 결합하는 형태.

요약

AF3는 전반적으로 AF2의 성공 요소(Pair-bias Attention, Recycling)와 최근 ML 트렌드(RAG, 게이팅, 반복적 구조 개선)를 적극 반영하면서도, MSA의 비중을 줄이는 등 계산 효율과 확장성을 개선한 모델입니다. 이러한 발전 방향은 대형 언어모델의 RAG, LSTM-like 게이팅, 구조 예측에서의 분류 접근 등 여러 ML 아이디어와 맞닿아 있어, 향후 딥러닝 분야에서의 적용 범위가 더 확장될 가능성이 큽니다.

[BioInformatics] NGS Data Analysis Workflow - 시퀀싱된 데이터를 파이썬으로 다뤄보자

minyoungxi — Thu, 13 Mar 2025 13:17:40 +0900

NGS(Next Generation Sequencing)가 뭐지 ?

차세대 염기서열 분석(NGS; Next Generation Sequencing)이란 기존의 고전적인 염기서열 분석 방식인 Sanger Sequencing 이후 개발된 기술로, 한 번의 실험에서 수백만 개 이상의 DNA 서열을 병렬로 빠르게 읽어낼 수 있는 고속, 고효율 기술입니다.

기존의 방법은 직접 염기서열분석법이고, 분석하고자 하는 부위를 PCR 증폭해야 해서 목표 범위가 넓어질 경우 많은 시간과 노력, 비용이 소모되어 낮은 효율성을 가지고 있습니다. 하지만 NGS는 DNA 가닥을 각각 하나씩 분석함으로써 기존의 직접 염기서열분석법에 비해 매우 빠르고 저렴하게 염기서열이 가능하다는 장점이 있습니다.

출처 : 쓰리빌리언 홈페이지

NGS는 3가지의 종류가 있습니다.

1. 패널 검사(Targeted Sequencing, Panels)

원하는 유전자 부위(일부 DNA 또는 RNA)를 선별해서 분석합니다.

다중 유전성 패널 검사의 경우, 여러 유전자가 원인이 되는 다양한 질환에서 진단율이 높아 비용 대비 효율성이 높습니다.

유전성 질환, 혈액 종양, 암 질환 등에서 널리 활용되고 있다고 합니다.

2. 엑솜 검사, 전장 엑솜 염기서열분석 (Whole Exome sequencing, WES)

전체 유전체 중 2만여 개에 달하는 유전자의 단백질을 코딩하는 엑손(exon) 부위를 분석하는 것으로 전체 유전체의 1% 정도입니다. 질환과 연관성이 알려진 대부분의 변이는 엑손 부위에 발생하기 때문에 소요 시간 및 분석 비용 대비 효과적인 방법입니다. 패널 검사의 경우 목표한 부위에 포함된 유전자 변이만 검출이 가능한데 반해 엑솜 검사에서는 예측하지 못했던 유전자 변이까지도 발견이 가능합니다.

3. 지놈 검사, 전장 유전체 염기서열분석 (Whole Genome Sequencing, WGS)

한 종의 유전 정보를 저장하는 유전체를 전부 분석합니다.

엑솜 검사에서는 엑손과 매우 인접한 부위의 인트론(intron)에 존재하는 변이까지만 검출이 가능해서 엑손과 멀리 떨어진 부위의 인트론과 조절 부위(regulatory region)에 있는 변이까지 알아보기 위해서는 지놈 검사가 필요해요.

엑솜 검사와 지놈 검사에서는 예상했던 유전자 이외에 다른 유전자에서 예기치 못하게 돌연변이를 발견할 수 있습니다. 그렇기에 환자가 가진 증상만으로 진단하기 어렵거나 원인 유전자가 다양하여 일반적인 패널 검사로 검사가 충분하지 못할 때 유용하게 사용됩니다.

NGS Workflow

시퀀싱된 FASTQ 데이터를 처리하는 프로세스는 아래와 같습니다.

크게 보면 Raw한 FASTQ 데이터를 받아서 품질 검사를 진행합니다(FastQC).

품질이 좋지 않다면 Trimming 이라는 품질 개선 단계를 거치고 STAR 기법을 사용한 Alignment 단계를 따릅니다.

여기까지 마치면 파이썬을 통해서 발현량 등을 분석할 수 있는 데이터가 나오게 됩니다.

시퀀싱 완료된 데이터 형태

- Illumina 장비는 일반적으로 FASTQ 형식으로 데이터 제공
- PacBio 장비는 일반적으로 FASTQ 또는 BAM 파일 제공
- Oxford Nanopore는 전기신호 기반 FAST5 파일을 제공한 후 이를 FASTQ로 변환 가능

FASTQ에 대해서

NCBI에서 제공하는 SRA-tool은 데이터를 쉽게 다운로드하고 관리하는 도구입니다.
FASTQ 형식으로 데이터를 제공하며 데이터 품질 관리 및 데이터 포맷 전환을 제공하는 기본적이고 핵심적인 도구입니다.
아래의 명령어를 통해 필요한 툴을 설치합니다.

# Conda로 설치 (추천)
conda install -c bioconda sra-tools

# Ubuntu
sudo apt-get install sra-toolkit

상적으로 설치가 끝나면 sra-tools를 사용할 수 있습니다.

기본적인 fastq-dump 사용 명령어는 아래와 같습니다.

fastq-dump [옵션] SRR_ID

옵션은 여러가지가 있는데, 가장 많이 사용하는 옵션들에 대해서 살펴보면 다음과 같습니다.

`--split-files` : Paired-end 데이터일 때 Forward와 Reverse read 분리
ex. `fastq-dump --split-files SRR1234567`
`--gzip` : 압축된 gz 형식으로 FASTQ 저장 (용량 절약)
ex. `fastq-dump --gzip SRR1234567`

`fastq-dump --split-files --gzip SRR1234567`

위의 명령어는 SRR1234567 이라는 일반적인 데이터를 다운로드 받을 수 있는 명령어 입니다. 원하는 질병의 SRR은 NCBI SRA 홈페이지(https://www.ncbi.nlm.nih.gov/sra)에서 찾을 수 있습니다.

데이터를 다운받으면 저렇게 두 개의 데이터가 디렉토리에 나타납니다.

이제 데이터를 분석하기 전에 FastQC & Trimming를 통해 다운로드 받은 FASTQ 파일의 품질을 확인하는 것이 좋습니다.

# FastQC 설치 (conda 환경에서)
conda install -c bioconda fastqc

# 품질 확인 진행
fastqc SRR390728.fastq

FastQC & Trimming

FastQC를 실행하면 저렇게 .html 파일과 zip 파일이 생성되는데, 중요한 파일은 .html 파일입니다.

생성된 HTML 파일을 열어보면 아래와 같은 화면이 나오게 됩니다.

FASTQC 리포트를 간단하게 해석하기 위해서 중요한 항목에 대해서만 알아보겠습니다.

보고서에서 중요한 항목:
- Per Base Sequence Quality
    - 각 염기 위치 별 품질(Phred Score)을 확인
    - 품질이 20 이상이면 양호, 20 미만 구간이 많다면 추가 trimming 필요
- Per Sequence Quality Scores
    - 전반적인 데이터 품질 분포 확인 가능
- Sequence Length Distribution
    - 서열 길이의 분포를 통해 trimming이 필요한지 판단 가능
- Overrepresented sequences
    - 중복된 서열이 많은 경우 오염 가능성 의심
- 전반적으로 빨간색 ❌나 노란색 경고⚠️ 항목이 많다면, 품질 저하 가능성이 있으므로 Trimming 필수 수행 권장합니다.

왼쪽의 Summary를 보면 'Per base sequence quality'가 ❌ 표시되어 있으므로 trimming을 해주는게 좋겠네요.

(BIO) min@minyoungxi:~/main/Bio/DNA practice$ sudo apt install trim-galore

Trimming은 FASTQ 파일에서 품질이 낮거나 신뢰할 수 없는 부분을 잘라내는 작업을 말합니다. 즉, NGS로 얻은 FASTQ 데이터의 불필요하거나 품질이 낮은 염기서열을 제거하는 과정입니다.

Trimming 과정에서는 Quality-based trimming(품질 기반 트리밍), Adapter removal(어댑터 제거)와 같은 일들을 수행합니다. 전자의 경우 염기서열 끝부분에서 품질이 낮은 영역을 제거하는 작업이고, 후자의 경우 DNA 조각을 시퀀싱 할 때 사용하는 어댑터가 데이터에 섞이는 경우 어댑터 서열을 제거합니다.

Trimming을 위해서 `trim_galore` 을 설치하고 아래와 같이 명령어를 입력하여 Trimming을 진행합니다.

Trimming이 수행되면 아래와 같은 결과가 나옵니다.

1. Total reads processed
- 처리된 총 리드 수 (reads 수) : 7,178,576개의 리드를 처리했습니다.
2. Reads with adapters
- 어댑터 서열이 포함된 리드 수 : 3,245,087개 (전체의 45.2%)의 리드에 어댑터 서열이 있어서 이를 제거했습니다.
- 이 수치가 높으면 실험 과정에서 사용한 어댑터가 데이터에 많이 포함되었다는 뜻이며, 트리밍이 매우 잘 된 것입니다.
3 . Reads written (passing filters)
- 트리밍 후 최종적으로 남겨진 리드 수 : 7,178,576개 (100%) 모두 남겨졌습니다.
- 모든 리드가 최소 품질 기준을 통과하여 삭제된 리드는 없었습니다.

Alignment 정렬

정렬(Alignment) 이란, FASTQ 파일에서 읽은 짧은 서열(Read)을 기존에 알려진 표준 유전체(Reference Genome)에 정확한 위치로 매핑(mapping)하는 과정입니다.

정렬을 통해 다음의 분석을 수행할 수 있습니다.
- 유전자 발현량 분석 (어떤 유전자에서 얼마나 발현되었는지)
- 변이(variants) 발견 및 분석
- 특정 유전자의 발현 패턴 분석 및 질병 예측 분석 가능

1. STAR 설치

conda install -c bioconda star

2. Reference Genome 준비
먼저 표준 유전체(reference genome)를 준비하고, STAR가 사용할 수 있도록 색인(index)을 생성해야 합니다.

아래는 인간 유전체(GRCh38) 기준의 예시

Reference Genome 다운로드

wget http://ftp.ensembl.org/pub/release-110/fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
gunzip Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz

GTF 파일 (유전자 위치 정보) 다운로드

wget http://ftp.ensembl.org/pub/release-110/gtf/homo_sapiens/Homo_sapiens.GRCh38.110.gtf.gz
gunzip Homo_sapiens.GRCh38.110.gtf.gz

Reference Genome

Reference Genome(기준 유전체)이란 한 생물종의 전체 유전체 정보를 대표적으로 정리한 표준적인 유전체 서열을 의미합니다.

쉽게 말해, 한 종(예: 인간, 쥐, 효모 등)을 대표할 수 있는 표준적인 DNA 서열을 하나의 완전한 세트로 정리한 것입니다.
- 예를 들어, 인간의 대표적인 레퍼런스 유전체는 GRCh38 (Genome Reference Consortium Human Build 38) 입니다.

Reference Genome은 유전체 분석의 기준 역할을 합니다.

특히 NGS 분석에서는 짧게 읽힌 서열(read)을 어디에 매핑(위치)할지 결정하는 기준이 됩니다.

즉, 짧은 서열(Reads, FASTQ 데이터) → Reference genome에 정렬 → 특정 유전자 또는 변이 분석 의 흐름으로 실행됩니다.

FASTQ 데이터 (짧은 서열 Reads)
    ↓ Alignment (STAR 등)
Reference Genome (FASTA) → Reads의 위치를 결정하는 기준
    ↓ 발현량 정량화 (featureCounts, Salmon 등)
Reference Genome annotation (GTF) → 유전자별로 reads 개수를 계산하는 기준

3. STAR Index 만들기
유전체에 대한 색인(index)을 만들어줍니다. (최초 1회만 수행)

mkdir star_index

STAR --runThreadN 8 \
     --runMode genomeGenerate \
     --genomeDir star_index \
     --genomeFastaFiles Homo_sapiens.GRCh38.dna.primary_assembly.fa \
     --sjdbGTFfile Homo_sapiens.GRCh38.110.gtf \
     --sjdbOverhang 100

--runThreadN: 사용할 CPU 코어 수

--sjdbOverhang: 리드 길이 -1 (대체로 100 정도 권장)

4. 정렬(Alignment) 수행

이제 트리밍한 파일을 정렬합니다.
예시 파일명: `SRR390728_1_trimmed.fq`

mkdir aligned

STAR --runThreadN 8 \
     --genomeDir star_index \
     --readFilesIn SRR390728_1_trimmed.fq \
     --outFileNamePrefix aligned/SRR390728_ \
     --outSAMtype BAM SortedByCoordinate

`--runThreadN 8`: CPU를 8개 사용할 때 (필요에 따라 숫자 조절 가능)
`--genomeDir star_index`: 방금 생성한 index가 저장된 폴더
`--readFilesIn`: 입력 FASTQ (pair로 존재한다면 둘 다 넣어줌)
`--outFileNamePrefix`: 결과 파일 저장 위치와 이름 지정
`--outSAMtype BAM SortedByCoordinate`: BAM 형태로 정렬되어 저장

5. Alignment 결과 확인하기

aligned/
    ├── SRR390728_Aligned.sortedByCoord.out.bam  # 최종 결과 파일
    ├── SRR390728_Log.final.out                  # 정렬 통계 정보
    ├── SRR390728_Log.out                        # STAR 수행 로그

- bam: Binary Alignment Map의 약자로, 정렬된 결과 파일이며 이후 발현량 정량화의 입력 데이터로 사용됩니다.
- Log.final.out:
    STAR의 정렬 정확도와 성능을 요약한 통계정보.
    이 파일을 열어서 alignment의 품질을 확인할 수 있습니다.

출력된 결과 해석

samtools flagstat SRR390728_Aligned.sortedByCoord.out.bam

495008 + 0 in total (QC-passed reads + QC-failed reads)
412848 + 0 primary
82160 + 0 secondary
0 + 0 supplementary
0 + 0 duplicates
0 + 0 primary duplicates
82160 + 0 secondary

지금 결과에서 주목할 수치는 다음과 같습니다:

- 전체 read 수: 495,008개

- 정확히 정렬된 reads (properly paired): 94.41%
    → 일반적으로 이 수치가 80% 이상이면 양호한 데이터입니다.
    → 94.41%는 매우 우수한 수치입니다.

- Singleton 비율이 약 5.59%로 적당한 수준입니다.
    - 일반적으로 10% 미만이면 문제가 없습니다.
결론적으로, 현재 데이터는 정렬 품질이 아주 좋은 상태입니다.

---

다음 포스팅에서는 전처리 완료된 'SRR390728_Aligned.sortedByCoord.out.bam' 데이터를 파이썬으로 불러와서 분석하는 방법을 알아보겠습니다.

[논문리뷰] - Zero shot health trajectory prediction using transformer

minyoungxi — Wed, 22 Jan 2025 18:55:24 +0900

Abstract

연구 배경 및 목적

ETHOS(Enhanced Transformer for Health Outcome Simulation)는 의료 데이터를 효과적으로 분석하여 환자 맞춤형 예측과 시뮬레이션을 수행하는 데 중점을 둔 Transformer 기반 모델입니다. 기존 의료 인공 지능 적용의 주요 장애물인 대규모 레이블 데이터 부족 문제를 해결하고, 다중 태스크를 하나의 모델에서 수행할 수 있는 Zero-shot learning 을 도입하였습니다.

본 논문의 초반에는 미국의 의료 시스템에 대해 가장 많은 비용이 들지만(most expensive), 의료의 품질과 안전성은 다른 선진국과 비교했을 때 뒤떨어진다고 언급합니다. 전자의료기록(EHR)이 사용되고 있고, 의사결정 지원 기술도 많이 도입되고 있지만, 대부분 규칙 기반(Rule-based)으로 운영되고 있어 효과가 제한적이라고 주장합니다.

인공지능은 의료의 퀄리티를 개선할 잠재력을 가진 기술로 떠오르고 있지만, 대규모 레이블링된 데이터셋의 부족으로 인해 개발에 많은 비용과 시간이 소요되며, 적절한 시점에 적합한 의료진에게 권장 사항을 전달할 시스템 역량의 제한이 현재 문제라고 합니다.

본 논문에서는 ETHOS이라는 새로운 방법론을 소개하며, 이 방법이 AI의 광범위한 채택을 제한하는 여러 요소들은 해결할 수 있다고 주장합니다.

데이터

ETHOS는 MIMIC-IV(https://physionet.org/content/mimiciv/3.1/) 데이터셋을 활용했으며, 아래의 특징이 있습니다.

Tokenization : 환자의 건강 기록(Patient Health Timelines, PHT)을 시간 순서에 따라 토큰화하여 구성
다양한 데이터 유형 처리 : PHT는 입원, 약물 처방, 실험실 결과 등 다양한 정보를 포함하며 모든 데이터를 정량화하여 토큰화
데이터 전처리 최소화 : 데이터 노이즈(입퇴원 날짜 불일치 등)를 정제하지 않고 모델이 자체적으로 처리하도록 설계

모델 구조

Figure1. ETHOS 모델의 구조 및 흐름

a. Extraction of raw patient data from the MIMIC-IV database, encompassing tables of admissions, patient demographics, medical procedures, among others.

원시 데이터를 추출하는 단계 a에 대한 설명입니다.

우선 MIMIC-IV 데이터베이스에서 환자 정보를 추출합니다. ( 입원 기록, 처방, 실험실 데이터 등)

해당 모델에서 사용된 주요 데이터 테이블은 아래와 같습니다.

환자 기본 정보(Patients)
입원 및 퇴원 기록(Admissions)
약물 처방(Prescriptions)
실험실 결과(Labevents)
치료 및 절차 기록(Procedures)
진단 정보(Diagnoses)

b The tokenization process, utilizing data from 90% of patients for model training and the remaining 10% for testing, transforms complex medical records into structured PHT for efficient model processing.

PHT는 환자의 건강 기록을 시간 순서대로 정리하여 이벤트 단위로 나누고 이를 토큰(Token)으로 변환합니다.

각 토큰은 의료 이벤트를 나타내며 시간 간격 토큰을 삽입하여 이벤트 간의 시간을 표현합니다.

토큰화 과정 :

정량 데이터(ex.혈압, SOFA 점수)는 분위수(Quantiles)로 변환하여 범주화합니다.
텍스트 기반 데이터(ICD-10, ATC 코드 등)는 계층적으로 토큰화 합니다.

토큰화 된 상태를 보면 환자 의료 데이터를 시간 순서에 따라 배열하고 각 데이터 항목을 토큰으로 변환한 것을 볼 수 있습니다. 그리고 시간 간격을 나타내는 시간 토큰을 삽입합니다.(ex. 5분, 1시간, 6개월 등)

해당 Figure를 통해 ETHOS 모델이 원시 데이터를 토큰화하고, Transformer를 사용해 훈련 및 예측을 수행하는 전체 과정을 명확히 보여줍니다. 특히 제로-샷 학습을 통해 다중 태스크를 처리하는 효율적인 워크플로를 강조합니다.

Figure 2는 ETHOS 모델이 MIMIC-IV 데이터를 어떻게 토큰화하고, 이를 임베딩 공간으로 변환하는지 시각적으로 보여줍니다.

1. 토큰화(Tokenization)

PHT 구성:
- 원시 데이터를 시간 순서에 따라 정렬하고, 이벤트 단위로 토큰화.
- 각 이벤트(예: 입원, 약물 처방)는 1~7개의 토큰으로 변환.
- 이벤트 간 시간 간격을 나타내는 시간 토큰 추가.
정량 데이터 처리:
- 혈압, SOFA 점수와 같은 연속형 데이터를 분위수(quantiles)로 변환.
- 10개 분위수로 나눠 각 범위에 해당하는 값을 특정 토큰으로 표현.

2. 임베딩(Embedding)

양적 데이터 임베딩:
- Fig. 2b에서, 정량 데이터를 나타내는 토큰의 768차원 임베딩을 2D로 축소(PCA 사용).
- 분위수 토큰 사이의 거리와 패턴은 임상적 데이터의 순서를 학습했음을 보여줌.
시간 간격 임베딩:
- Fig. 2c에서 시간 간격을 나타내는 토큰 임베딩의 분포를 시각화.
- 짧은 시간 간격(5분~~1시간)과 긴 간격(3~~6개월)이 모델에서 유사하게 처리되는 경향을 보임.

3. 데이터 분포 및 관계 학습

높은 값(예: Q9, Q10)의 임베딩 간 거리가 더 큰 이유:
- 혈압과 같은 임상적 데이터에서 높은 값 간의 차이가 더 중요한 임상적 의미를 가짐.
시간 간격 토큰에서도 유사한 패턴이 관찰되며, 이는 모델이 시간 데이터를 효과적으로 학습했음을 의미.

모델 Summary

ETHOS 연구는 제로-샷 학습(Zero-shot learning)을 통해 다음과 같은 예측 작업에서의 모델 성능을 보여줍니다.

입원 및 ICU 사망률 예측
ICU 체류 기간(LOS) 추정
재입원 가능성 예측

또한, 회귀 작업을 수행하여 ICU 입원 전 정보를 사용하여 첫날의 SOFA(Sequential Organ Failure Assessment) 점수를 추정합니다.

SOFA 점수는 ICU에서 환자의 상태를 모니터링하는 데 사용되며 호흡기, 심혈관, 간, 응고, 신장, 신경계 6개 시스템을 각각 평가하여 24점 사이에 분포하게 됩니다.

ETHOS는 또한 병원 퇴원 시 진단 관련 그룹(DRG) 분류를 예측하며, 이는 771개의 카테고리로 구성됩니다. DRG는 병원 사례를 표준화된 복잡성 기준으로 분류하여 효율적인 환자 관리를 장려하고 품질을 유지합니다.

ETHOS의 제로-샷 학습 접근 방식은 다양한 테스크에서 세부 훈련 없이 정확한 추론을 가능하게 하며, 미래 건강 기록(PHT)을 예측할 수 있는 기능은 의료의 다양한 상황에서 혁신적이고 맞춤화된 응용 프로그램 개발을 가능하게 합니다.

ETHOS와 기존 모델의 차이

ETHOS는 기존의 두 가지 주요 의료 AI 모델 범주와 차별화됩니다:

임상 언어 모델(CLaMs):
- 임상 텍스트 데이터를 처리하도록 설계된 대형 언어 모델(LLM)로, 의료 노트, 생의학 문헌 등 방대한 데이터셋으로 훈련.
- 약물명 추출, 의료 대화 요약, 임상 결과 예측 등 다양한 임상 태스크 수행.
전자 의료 기록(EMR) 기반 모델(FEMRs):
- 구조화된 데이터(예: 인구통계 및 검사 결과)와 비구조화된 데이터(예: 임상 노트 및 영상 보고서)를 분석.
- 환자 표현 및 결과 예측을 지원하지만 텍스트 생성 기능은 없음.

ETHOS는 라벨링된 데이터나 태스크별 미세 조정 없이도 정확한 예측을 제공하며, 훈련 및 테스트 데이터 선택에 특정 기준을 적용하지 않아, 수백만에서 수억 명의 환자 데이터를 포함하는 대규모 데이터셋에도 확장 가능성을 보여줍니다.

Fig. 4: PHT(Patient Health Timeline) 구성 및 토큰화 과정

Fig. 4는 ETHOS 모델이 데이터를 정리하고 처리하는 방식을 명확히 보여줍니다. 이 과정의 장점은 다음과 같습니다:

시간 순서 보존: 데이터의 시간적 흐름이 유지되어, 모델이 이벤트 간의 시간적 관계를 학습할 수 있습니다.
다양한 데이터 처리: 정량 데이터, 텍스트 데이터, 시간 간격 등을 모두 통합하여 처리 가능.
효율적 학습: 정제된 PHT는 ETHOS 모델의 Transformer 아키텍처가 효율적으로 학습할 수 있는 기반을 제공합니다.

Fig. 5: SOFA 점수 추정 및 DRG 분류에서 ETHOS 모델의 성능

a) SOFA 점수 추정의 프로세스(Fig. 5a)

입력 데이터:
- 모델은 환자가 ICU에 입원한 후 첫날의 SOFA 점수를 추정합니다.
- 입력 데이터는 ICU 입원 시점까지의 환자 건강 이력을 포함합니다.
토큰 시퀀스 생성:
- ETHOS는 세 가지 주요 토큰을 생성합니다:
  1. Admission type 토큰: 환자의 ICU 입원 유형을 나타냄(오렌지색 토큰).
  2. SOFA 토큰: SOFA 점수 예측이 이어질 것을 나타냄.
  3. 분위수 토큰(Quantile Token): SOFA 점수의 분위수에 대한 확률 분포를 예측.
점수 계산 방식:
- 모델은 각 분위수의 확률 분포를 생성하며, 각 분위수의 평균 값(1.0, 3.5, ...)을 사용하여 SOFA 점수를 계산합니다.
- 데이터셋에 SOFA 값 24가 없기 때문에 점수 범위는 0~23으로 제한됩니다.

b) 실제 값과 예측 값의 상관관계(Fig. 5b)

결과 시각화:
- 실제 SOFA 점수와 ETHOS가 예측한 점수 간의 상관 관계를 그래프로 표시.
- 모델이 높은 예측 정확도를 보여주며, 실제 값과 예측 값이 강한 양의 상관관계를 가짐.
임상적 유용성:
- SOFA 점수는 중환자실(ICU)에서 환자의 장기 기능 상태를 모니터링하는 데 중요한 지표로, ETHOS가 정확한 점수를 추정할 수 있는 능력을 보여줍니다.

c) DRG 분류 방법

입력 데이터:
- DRG 분류는 환자의 퇴원 시점을 기준으로 수행되며, 환자의 PHT(건강 기록) 데이터를 사용합니다.
토큰화:
- ETHOS는 퇴원 이벤트 관련 토큰(예: 퇴원 유형, 병원 체류 기간, 퇴원 목적) 뒤에 DRG 토큰을 삽입하여 DRG 분류를 수행.
- DRG 데이터가 훈련 세트에서 제공되지 않을 경우, "DRG_UNKNOWN"이라는 자리표시자 토큰을 사용합니다.
예측 방식:
- 모델은 DRG 카테고리(771개 중 하나)에 대한 확률 분포를 생성합니다.
- Top-{1, 2, 3, 5} 정확도를 사용하여 모델 성능을 평가.

d) DRG 분류 정확도

결과 시각화:
- Top-1, Top-2, Top-3, Top-5 정확도를 그래프로 표시하여 모델의 예측 성능을 강조.
모델의 강점:
- ETHOS는 퇴원 이벤트 이전의 환자 데이터를 사용하여 높은 정확도로 DRG를 예측.
- 이는 DRG 분류를 통해 병원의 자원 사용과 효율성을 최적화하는 데 유용합니다.

Fig. 5는 ETHOS가 SOFA 점수 추정과 DRG 분류라는 두 가지 중요한 의료 작업에서 뛰어난 성능을 발휘함을 보여줍니다. 특히, 모델이 시간적 데이터를 활용하여 복잡한 예측 작업을 수행할 수 있음을 강조하며, 이는 ETHOS가 의료 데이터 분석과 자원 관리에 중요한 도구로 활용될 수 있음을 시사합니다.

성능 평가

모델은 다음과 같은 임상 작업에서 성과를 보였습니다:

중환자실(ICU) 및 입원 사망 예측: AUC 0.921 (입원 사망), AUC 0.927 (ICU 사망).
ICU 체류 기간 추정: 평균 절대 오차(MAE) 2.262일.
SOFA 점수 예측: ICU 입원 후 첫날 SOFA 점수 MAE 1.502.
DRG(Diagnosis-Related Group) 분류: Top-1 정확도 84.8%.
ICU 재입원 예측: AUC 0.807

Summary

ETHOS의 장점은 시간 기반 시뮬레이션을 통해 미래 건강 경로를 예측하며 다양한 임상 작업을 수행합니다.

SOFA 점수와 DRG 분류에서 높은 정확도를 보이며 다양한 임상 데이터에 적용 가능합니다.

전통적인 머신러닝 모델이나 GPT-4o 보다 뛰어난 성능과 효율성을 보입니다.

ETHOS는 입원 사망률, ICU 체류 기간, SOFA 점수 및 DRG 분류와 같은 다양한 임상 태스크에서 뛰어난 예측 성능을 보여줍니다. 특히, 제로-샷 학습 접근 방식을 통해 추가적인 데이터 라벨링이나 미세 조정 없이 높은 효율성과 확장성을 제공합니다. ETHOS는 기존 모델에 비해 임상적 유용성과 정확도를 개선한 강력한 도구임을 입증합니다.

Insight

저는 해당 논문에서 EHR 데이터 토큰화에 대해 흥미롭게 봤습니다.

대규모 전자의료기록을 트랜스포머 모델에 학습 가능한 형태로 변환하기 위해 토큰화하는 과정은 중요한 단계입니다.

단순 토큰화가 아닌 시간적 특성을 반영하여 모델 학습에 최적화된 구조를 제공하는 부분이 인상깊었습니다.

EHR 데이터는 정량적 데이터(혈압, 검사 수치)와 비정형 데이터(진단 코드, 약물 코드)를 포함하고 있고, 의료 이벤트는 시간적 맥락을 유지해야 의미있는 예측이 가능합니다. 그런데 해당 데이터는 잘 정리되지 않은 경우가 많습니다.

ETHOS는 데이터 전처리를 최소화하여 노이즈 데이터도 처리 가능한 모델로 설계하고 시간적 맥락을 유지하기 위해 데이터를 PHT로 변환하였죠.

이벤트 기반 토큰화는 해당 논문의 토큰화 과정의 핵심입니다.

모든 의료 이벤트(입원, 검사, 약물 처방 등) 를 토큰 단위로 변환하고 각 이벤트는 하나 이상의 토큰으로 표현되며, 세부 정보까지 포함합니다. ( ex. 약물 처방 이벤트는 약물 코드, 용량, 투여 방식 등을 각각의 토큰으로 변환 )

혈압, SOFA 점수와 같은 연속형 데이터를 10개의 분위수로 나눠 범주화하는 방법을 사용하는데 연속형 데이터의 세부 값을 유지하면서도 모델 학습 효율성을 높입니다.

13개의 시간 토큰으로 시간 간격(5분, 1시간, 6개월)을 표현하여 긴 시간 간격은 반복된 시간 토큰으로 세분화 합니다.

이러한 방식의 장점은 시간적 맥락을 학습할 수 있으며, 긴 간격과 짧은 간격을 모두 적절히 처리할 수 있습니다.

고정 정보(Static Data)는 환자의 성별, 연령, 인종 등 시간에 따라 변하지 않는 정보입니다. 이런 정보는 PHT의 시작에 고정 토큰으로 삽입합니다. 예를 들어 '45-50 years', 'female' 과 같은 환자의 고유한 특성이죠.

정리하자면 시간 토큰의 기술적 설계는 해당 논문에서 얻을 수 있는 가장 좋은 인사이트 같습니다.

범주화의 이점이 있고, 긴 시간 간격을 세분화 하고, 시간 토큰의 일관성을 적용하는 것은 추후 활용성이 높을 것 같습니다.

[Biosignal] - PPG(Photoplethysmography)에 Deep learning이 적용된 최신 연구 동향을 살펴보자 ! - 구글 스칼라 및 리뷰 페이퍼 사용법 - part1

minyoungxi — Wed, 27 Nov 2024 15:19:33 +0900

Abstract

논문 : https://arxiv.org/abs/2401.12783

A Review of Deep Learning Methods for Photoplethysmography Data

Photoplethysmography (PPG) is a highly promising device due to its advantages in portability, user-friendly operation, and non-invasive capabilities to measure a wide range of physiological information. Recent advancements in deep learning have demonstrate

arxiv.org

Background and objectives: Photoplethysmography (PPG) is a highly promising device due to its advantages in portability, user-friendly operation, and non-invasive capabilities to measure a wide range of physiological information, such as heart rate and blood oxygen saturation. Recent advancements in deep learning have demonstrated remarkable outcomes by leveraging PPG signals collected from a variety of PPG devices for tasks related to personal health management and other multifaceted applications.

해당 연구의 Abstract 에서 PPG는 휴대성, 사용 편의성, 비침습적(None-Invasive) 측정 기능 덕분에 심박수와 혈중 산소 포화도와 같은 광범위한 생리적 정보를 측정할 수 있는 매우 유망한 디바이스라고 소개합니다. 그리고 PPG는 딥러닝 기술의 발전에 따라 PPG 장치에서 수집된 신호를 활용하여 개인 건강 관리 및 다양한 응용 분야에서 뛰어난 결과를 보이고 있다고 언급합니다.

Methods: We systematically reviewed papers that applied deep learning models to process PPG data between January 1st of 2017 and July 31st of 2023 from Google Scholar, PubMed and Dimensions. Each paper is analyzed from three key perspectives: tasks, models, and data.

이어서 리뷰 방법론에 대한 내용입니다. 2017년 1월 1일부터 2023년 7월 31일까지 Google Scholar, PubMed, Dimensions 데이터 베이스에서 딥러닝 모델을 적용한 PPG 데이터 처리에 관련된 논문들을 대상으로 한다고 합니다.

분석 기준은 Task, Model, Data 이 세 가지라고 하네요. Task는 PPG 데이터가 활용된 특정 작업(건강 상태 모니터링 , 생체 신호 추정 등)이고, 모델은 사용된 딥러닝 모델의 구조와 특성이 될 것 입니다. 데이터는 사용된 PPG 데이터의 출처, 품질, 전처리 방식 등이 됩니다.

Results: We finally extracted a total of 193 papers where different deep learning frameworks were used to process PPG signals. Based on the tasks addressed in these papers, we categorized them into two major groups: medical-related, and non-medical-related. The medical-related tasks were further divided into seven subgroups, including blood pressure analysis, cardiovascular monitoring and diagnosis, sleep health, mental health, respiratory monitoring and analysis, blood glucose analysis, as well as others. The non-medical-related tasks were divided into four subgroups, which encompass signal processing, biometric identification, electrocardiogram reconstruction, and human activity recognition.

최종적으로 선정된 논문은 193편이며 이는 다양한 딥러닝 프레임워크가 PPG 신호 처리에 사용된 논문을 선정한 것입니다.

Task는 의료 관련(Medical-related) 작업과 비의료 관련(Non Medical-related) 작업으로 대분류가 나뉩니다.

의료 관련(Medical-related) 작업은 7개의 세부 작업으로 분류:

혈압 분석(Blood Pressure Analysis)
심혈관 모니터링 및 진단(Cardiovascular Monitoring and Diagnosis)
수면 건강(Sleep Health)
정신 건강(Mental Health)
호흡 모니터링 및 분석(Respiratory Monitoring and Analysis)
혈당 분석(Blood Glucose Analysis)
기타(Others)

비의료 관련(Non Medical-related) 작업은 4개의 세부 작업으로 분류:

신호 처리(Signal Processing)
생체 인식(Biometric Identification)
심전도 복원(Electrocardiogram Reconstruction)
인간 활동 인식(Human Activity Recognition)

Conclusions: In recent years, significant progress has been made in the field of using deep learning methods to process PPG data. This allows for a more thorough exploration and utilization of the information contained in PPG signals. Compared to traditional machine learning approaches that rely on manual features, deep learning methods offer higher accuracy and a more convenient model building process. However, challenges remain, such as limited quantity and quality of publicly available databases, a lack of effective validation in real-world scenarios, and concerns about the interpretability, scalability, and complexity of deep learning models. Moreover, there are still emerging research areas that require further investigation.

최근 몇 년간 딥러닝을 적용하여 PPG 신호의 정보를 더 깊이 탐구하고 활용할 수 있는 기술적 진보가 이루어졌습니다.

기존에는 수작업에 의존하는 전통적 머신러닝 접근법이 선호되었지만, 딥러닝은 더 높은 정확도와 편리한 모델 구축 과정을 제공하죠. 하지만 데이터베이스 문제(공개 데이터베이스의 수량과 품질의 부족)와 실제 환경에서의 검증이 부족하다는 문제점이 있습니다. 또한, 모델의 해석 가능성 및 확장성에도 문제가 있습니다. 이는 기존의 딥러닝 문제로 많이 언급되었던 부분이죠. 딥러닝 모델의 복잡성과 해석 가능성이 부족하고 , 모델의 확장성(Scalabilty)과 실용성에 대한 우려가 남아있습니다.

Introduction

본 섹션에서는 PPG의 특징과 발전 과정에 대해서 언급합니다. PPG는 심혈관 지표를 모니터링하는 데 널리 사용되는 생체 신호 중 하나로 주목받고 있고, 심박수(HR), 동맥 혈압(ABP), 혈중 산소 포화도(SpO2), 호흡률(RR)과 같은 중요한 생리적 매개변수를 제공하기 때문입니다.

심박수(HR) - 심장이 1분 동안 박동하는 횟수를 나타내는 지표. 일반적으로 맥박으로 측정합니다.
일반적으로 성인의 평균 정상 심박수는 60~100 bpm 입니다.
심박수를 통해 신체의 대사 상태와 심혈관 건강 상태를 평가하는 데 중요한 역할을 합니다.

$ \frac{\text{Number of beats in a time period}}{\text{Time period in seconds}} \times 60 $

-> 특정 시간 동안 측정된 심박수를 사용하여 분당 심박수로 계산합니다.

동맥 혈압(ABP) - 심장이 혈액을 동맥으로 펌핑할 때 혈관 벽에 가해지는 압력.
동맥 혈압은 수축기 혈압(SBP)와 이완기 혈압(DBP)로 나뉩니다. SBP의 경우 심장이 수축하여 혈액을 보낼 때의 최고 압력이고, DBP의 경우 심장이 이완하여 혈액이 채워질 때의 최저 압력을 나타냅니다.
정상 혈압은 SBP < 120 mmHg, DBP < 80 mmHg 이고, 고혈압이나 저혈압은 심혈관 질환의 위험 요인입니다.

$ MBP = \frac{2 \times \text{DBP} + \text{SBP}}{3} $

-> MBP(Mean Blood Pressure, 평균 혈압)는 한 사이클 동안 동맥 내에서 평균적인 혈압을 나타냅니다.

혈중 산소 포화도(SpO2) - 혈액 내 산소가 결합된 헤모글로빈의 비율을 백분율로 나타낸 지표.
SpO2의 경우 비침습적 측정을 통해 산소 포화도를 평가할 수 있습니다.
정상 값의 경우 95~100% , 낮은 값은 90% 미만이고 저산소증(hypoxemia)의 위험이 있습니다.

$ SpO2 = \frac{\text{Oxygenated Hemoglobin}}{\text{Total Hemoglobin}} \times 100 $

-> 산소가 결합된 헤모글로빈(Oxygenated Hemoglobin)의 비율을 백분율로 계산합니다. 산소포화도 센서(PPG 기반)에서 적색 및 적외선 흡수를 비교하여 산출합니다.

호흡률(RR) - 1분 동안 이루어지는 호흡 횟수.
호흡은 폐가 산소를 들이마시고 이산화탄소를 내보내는 과정입니다.
성인의 평균 정상 호흡률은 12~20회 / 분입니다.
해당 지표는 호흡기 및 전신 건강 상태 평가, 응급 상황에서 중요한 바이탈 사인이 될 수 있습니다.

$ RR = \frac{\text{Number of breaths in a time period}}{\text{Time period in seconds}} \times 60 $

-> 특정 시간 동안 측정된 호흡 횟수를 사용하여 분당 호흡수(breaths per minute)로 계산합니다.

PPG는 스마트워치, 펄스 옥시미터, 스마트 링, 스카프 등 다양한 웨어러블 기기에서 응용되고 있습니다.

( Innovo Deluxe Fingertip pulse oximeter), smartwatches (e.g., Apple Watch Series 9), rings (e.g., Amovan Nova Ring), and even scarves (e.g., Manchester City Bar Scarf). )

PPG는 웨어러블 장치 및 헬스케어 기술의 중심으로 자리 잡았으며 이를 효과적으로 분석하기 위한 자동화된 딥러닝 모델의 중요성이 커지고 있습니다. 결과적으로 방대한 데이터가 축적되었고, 인간 전문가의 분석 능력을 초과하는 수준에 도달했습니다. 따라서 정확하고 자동화된 PPG 데이터 분석 방법의 필요성이 대두되었죠.

전통적인 머신러닝 방법은 PPG 데이터를 자동 분석하기 위해 수작업 특징 추출을 필요로 합니다.

(Traditional machine learning methods for automatic analysis of PPG data typically involve manual feature extraction [5, 6].)

연구자들은 먼저 PPG 데이터에서 관련 특징을 식별 정의 및 선택한 뒤 이를 모델에 입력하여 최종 결과를 도출하는 방식이죠.

이는 시간이 많이 소모되는 문제와 노동 집약적이라는 한계가 있습니다. 또한 사람이 직접 작업하기에 특징 범위가 제한적일 가능성이 있으며 데이터에 내재된 중요한 정보를 놓칠 가능성도 있습니다.

딥러닝 기반 접근 방식의 장점은 데이터를 기반으로 데이터에 숨겨진 의미 있는 패턴을 효과적으로 발견한다는 점입니다. 또한 기존 의료 지식을 넘어서는 특징을 자동으로 학습하게 되죠. 그리고 End-to-End 분석 방법을 통해 수작업 특징 추출 및 선택이 필요하지 않습니다. 연구자는 데이터를 모델에 입력하기만 하면 모델이 자동으로 분석을 수행하죠.

결과적으로 작업 효율성이 크게 향상되며, 연구자는 PPG의 다양한 작업 및 응용을 탐구할 시간을 확보하게 됩니다.

Background

PPG

The principle of PPG involves the measurement of variations in light absorption caused by the pulsatile nature of blood flow through the skin tissue. A typical PPG sensor consists of two main components: a light source and a photodetector (PD). The light source, often a light emitting diode (LED), emits light into the skin tissue, while the PD measures the amount of light absorbed or reflected. There are two types of PPG: transmittance PPG and reflectance PPG (see Figure 1) [14]. Transmittance PPG involves the direct transmission of light through the tissue to a PD on the opposite side of the tissue, while reflectance PPG measures the light reflected back from the tissue to a PD located nearby. Both types capture the variations in light absorption caused by the pulsatile blood flow, enabling the analysis of physiological parameters such as HR.

PPG의 원리에 대한 내용으로 Background 세션이 시작합니다.

PPG의 원리는 피부 조직을 통해서 흐르는 맥동성 혈류에 의해 발생하는 빛 흡수 변화를 측정하는 데 기반을 둡니다. 일반적인 PPG 센서는 두 가지 주요 구성 요소로 이루어져 있습니다. ( 광원과 광검출기 )

- 광원 : 주로 발광 다이오드(LED)를 사용하며, 피부 조직에 빛을 방출합니다.

- 광검출기(PD) : 흡수되거나 반사된 빛의 양의 측정합니다.

PPG는 투과형 PPG(transmittance PPG)와 반사형 PPG(reflectance PPG)의 두 가지 유형으로 나뉩니다.

- 투과형 PPG : 빛이 조직을 직접 통과하여 반대편에 있는 광검출기로 전달됩니다.

- 반사형 PPG : 조직에서 반사된 빛을 가까운 위치에 있는 광검출기가 측정합니다.

두 유형 모두 맥동성 혈류로 인해 발생하는 빛 흡수의 변화를 포착하며, 이를 통해 심박수와 같은 생리적 매개변수를 분석할 수 있습니다.

맥동성 혈류(Pulsatile Blood Flow)
맥동성 혈류는 심장이 수축하고 이완하면서 혈액을 동맥으로 펌프질할 때 나타나는 혈류의 리듬감 있는 변화를 의미합니다.
수축기(Systole)는 심장이 수축하여 혈액을 밀어낼 때 동맥 내 혈류 속도와 압력이 증가합니다. 그리고 이완기(Diastole)는 심장이 이완하여 혈액을 채울 때 혈류 속도와 압력이 감소합니다.
이러한 주기적 변화가 맥박(pulse)으로 나타나며, 이를 기반으로 생리적 상태를 모니터링할 수 있습니다.

맥동성 혈류와 PPG의 관계
- PPG(광용적맥파) 신호는 맥동성 혈류로 인해 발생하는 빛 흡수 변화를 기반으로 합니다.
- 맥동성 성분(pulsatile component) : 혈류의 변화를 반영하며, 주로 심박수와 동맥 혈압과 관련
- 비맥동성 성분(non-pulsatile component) : 조직, 정맥 혈액, 기타 상수 성분으로 인해 발생.

The interaction of light with human tissues is influenced by its wavelength, and PPG devices can utilize a range of wavelengths to capture physiological information. These can include red light (622-780 nm) [15], infrared light (780-2400 nm) [16], green light (500 - 570 nm) [17], and potentially other wavelengths as well. Recent research suggests that green light may outperform red and infrared light in certain scenarios due to its improved resistance to motion artifacts [18, 19]. However, it’s crucial to recognize that the choice of the optimal wavelength may differ based on the specific application and device design. Due to their portability, user-friendly operation, non-invasive nature, and the ability to provide valuable physiological data, PPG sensors have gained increasing popularity in both healthcare and medical devices today. Various forms of PPG devices (see Figure 1), such as smartwatches, scarves, rings, Bluetooth headsets, pulse oximeters, and bedside monitors, serve different purposes. Healthcare devices, in particular, play an increasingly important role in out-of-clinical health monitoring. Several studies have been conducted to validate their ability and reliability in healthcare tasks, such as HR monitoring [20, 21], SpO2 estimation [22], and sleep analysis [23, 24], revealing their enormous potential in self-health management.

빛의 파장은 인체 조직과의 상호작용을 결정하며 PPG 장치는 다양한 파장을 활용하여 생리적 정보를 수집합니다.

주요 파장:

적색광 (Red light): 622–780 nm【15】.
적외선 (Infrared light): 780–2400 nm【16】.
녹색광 (Green light): 500–570 nm【17】.
기타 파장: 응용 및 장치 설계에 따라 선택 가능.

최근 연구에 따르면 녹색광은 특정 상황에서 적색광 및 적외선보다 움직임 인공물(Motion Artifact)에 더 강한 저항성을 보여준다고 합니다.

[18] Alharbi S, Hu S, Mulvaney D, Blanos P. An applicable approach for extracting human heart rate and oxygen saturation during physical movements using a multi-wavelength illumination optoelectronic sensor system. In: Design and Quality for Biomedical Technologies XI. vol. 10486. SPIE; 2018. p. 85-99.

[19] Alharbi S, Hu S, Mulvaney D, Barrett L, Yan L, Blanos P, et al. Oxygen saturation measurements from green and orange illuminations of multi-wavelength optoelectronic patch sensors. Sensors. 2018;19(1):118.

Deep Learning

Figure1 Overview of analysis based on the aspects of tasks, models and data

최근 몇 년간 딥러닝 방법은 음성 인식, 컴퓨터 비전, 자연어 처리와 같은 다양한 응용 분야에서 유망한 결과를 보여주었습니. 딥러닝은 머신러닝의 하위 집합으로, 복잡한 데이터셋에서 학습하고 예측을 수행하기 위해 신경망을 활용하는 인공지능(AI)의 특정 분류입니다. 대규모 데이터에서 의미 있는 패턴과 특징을 자동으로 정확하게 추출할 수 있는 능력 덕분에, 딥러닝은 많은 작업에서 널리 사용되고 있으며, PPG 분석도 예외는 아닙니다.

본 논문에 따르면 딥러닝은 크게 판별 모델(Discriminative Models)과 생성 모델(Generative Models)로 나눌 수 있습니다.

판별 모델의 경우 입력 데이터와 해당 출력 값 간의 관계를 학습하여 정확한 분류 및 회귀 예측을 수행합니다. 대표적인 예시로 완전 연결 신경망(Fully Connected Later), 합성곱 신경망(CNN), 순환 신경망(RNN), Transformer 등이 있습니다. 반면 생성 모델은 데이터의 근본적인 분포를 이해하고 학습 데이터와 유사한 새로운 샘플을 생성하는 것을 목표로 합니다. 생성 모델의 예로는 오토인코더(AE), 생성적 적대 신경망(GAN) 등이 있습니다.

Methods

Methods 섹션에서는 저자들이 논문을 찾고 선택하는 방법론에 대한 설명이 나와있습니다.

우선 딥러닝 기술을 PPG 데이터에 적용한 논문을 대상으로 2017년 1월 1일부터 2023년 7월 31일까지의 문헌을 검색하였습니다. 플랫폼은 Google Scholar, PubMed, Dimensions 데이터 베이스입니다.

검색 키워드는 "Deep Learning" or "DL" 그리고 "photoplethysmography" or "PPG" 입니다.

Figure 2에 제시된 문헌 검색 및 선택 워크플로는 다음과 같은 4단계 과정으로 구성됩니다:

Identification (검색):
- 총 646편의 논문을 검색.
- 중복 제거 후 491편으로 축소.
Screening (제목 및 초록 검토):
- 논문의 제목과 초록을 검토하여 제외 기준에 따라 평가:
  1. 영어로 작성되지 않은 논문.
  2. 접촉(contact) 기반 PPG 데이터를 다루지 않는 논문.
  3. 딥러닝 기법을 사용하지 않은 논문.
  4. 정량적 평가(quantitative evaluation)가 부족한 논문.
- 이 과정에서 237편의 논문이 제외.
Eligibility (전문 검토):
- 전문(full-text)을 검토하여 추가로 61편의 논문을 제외.
Inclusion (최종 선정):
- 최종적으로 193편의 논문을 선정.

결과적으로 초기 646편의 논문 중 중복 및 기준 미달 논문을 제거한 뒤, 총 193편의 논문이 최종 분석에 포함되었습니다. 이 과정을 통해서 딥러닝과 PPG 데이터를 다룬 고품질 연구를 선정할 수 있었습니다.

Results

해당 세션에서는 의료 관련 테스크와 비의료 관련 테스크가 나뉘어서 여러 연구들을 비교합니다.

Medical-related tasks

혈압 분석 - Blood Pressure analysis

고혈압(Hypertension)은 매우 흔한 심혈관 질환으로 심장, 혈관, 뇌, 신장과 같은 주요 장기에 손상을 초래하여 개인의 건강에 상당한 위협을 가합니다. 그러나 상당수의 사람들이 자신들의 비정상적인 혈압을 인지하지 못하고 있으며 이는 향후 심각한 건강 위험이 될 가능성이 있습니다.

전통적인 혈압 측정 방법은 침습적이거나 간헐적인 cuff 기반 장치에 의존하므로 일상생활에서의 연속적인 혈압 모니터링에 적합하지 않습니다. 여러 연구에 따르면 PPG는 혈압과 상관관계가 있는 신호로 밝혀졌습니다. 따라서 현재 연구들은 PPG와 딥러닝을 통합하여 혈압을 정확히 분류하고 추정하는 데 초점을 맞추고 있습니다.

혈압 분류 영역에서 주요 목표는 주어진 PPG 세그먼트를 해당 혈압 범주에 매핑하는 것입니다. 예를 들어, 다른 연구에서는 CNN과 LSTM 기반 아키텍처를 제안하여 혈압을 저혈압, 정상혈압, 전고혈압, 1단계 고혈압, 2단계 고혈압의 다섯 가지 그룹으로 분류하였습니다. 이 연구는 UCI_BP(UCI 머신러닝 혈압) 데이터베이스를 사용하였으며, 이 데이터베이스는 12,000개의 동시 PPG, ECG, 및 침습적으로 측정된 ABP 세그먼트를 포함하고 있습니다.

또한, 고혈압이 초래하는 높은 위험을 감안할 때, 고혈압의 정확한 분류와 평가에 중점을 둔 연구도 진행되고 있습니다.

대부분의 연구는 비침습적인 혈압 추정에 중점을 두며, 이는 크게 두 가지 주요 그룹으로 나눌 수 있습니다.

하나의 그룹은 입력 PPG 신호를 기반으로 수축기 혈압(SBP), 이완기 혈압(DBP), 평균 동맥압(MAP) 과 같은 이산적인 혈압 값을 얻는 것을 목표로 합니다.

다른 그룹은 연속적인 혈압 파형(continuous BP waveform)을 재구성하는 데 집중하며, 이를 통해 더 포괄적인 혈압 정보를 제공합니다.

예를 들어, DeepCNAP 라는 모델은 ResUNet과 self-attention을 결합한 모델을 개발하여 연속적인 ABP(동맥혈압) 파형을 추출하였으며, MIMIC 데이터베이스에서 다음과 같은 MAE를 달성했습니다.

SBP: 3.40±4.36 mmHg3.40 \pm 4.36 \, \text{mmHg},
DBP: 1.75±2.25 mmHg1.75 \pm 2.25 \, \text{mmHg},
혈압 파형: 3.23±2.21 mmHg3.23 \pm 2.21 \, \text{mmHg}.

또한, 기존 데이터베이스 중 일부에는 ECG, PPG, ABP 신호가 동기화되어 포함되어 있다는 점이 관찰되었습니다. 여러 연구는 ECG, PPG, ABP 신호 간의 상관관계를 입증하였으며, 이에 따라 일부 연구자들은 동기화된 ECG 및 PPG 신호를 모델의 입력으로 통합하여 이들 신호 간 관계에 대한 보다 포괄적인 이해를 도모하였습니다.

심혈관 모니터링 및 진단 - Cardiovascular monitoring and diagnosis

PPG 신호는 인간의 심혈관계 정보를 추출하는 데 유용하며, 다양한 응용 분야에서 유망한 결과를 보여주고 있습니다.

예를 들어, 다음과 같은 부정맥의 탐지 및 분류에 활용되고 있습니다.

조기 심실 수축(premature ventricular contraction),
조기 심방 수축(premature atrial contraction),
심실 빈맥(ventricular tachycardia),
상심실성 빈맥(supraventricular tachycardia),
심방세동(AF)

또한 PPG 신호는 심박수 추정(HR), 말초 동맥 질환(Peripheral arterial disease) 평가, 발목 상완 지수(ankle brachial index) 분류, 심혈관 노화 평가, 심박수 변동성(heart rate variability) 계산과 같은 심혈관 관련 작업에서도 유용성이 입증되었습니다.

여러 부정맥 중에서도 심방세동(AF) 탐지는 특히 주목할 가치가 있습니다.

- 이진 분류 : AF와 none-AF를 구분하는 테스크

- 다중 클래스 분류 : 동성 리듬(sinus rhythm), AF, 기타 부정맥으로 분류

수면 건강 - Sleep health

폐쇄성 수면무호흡증(OSA)과 불면증과 같은 수면 장애로 인해 발생하는 부적절하거나 부족한 수면은 내분비계와 대사계의 기능 이상 고차원적인 대뇌 피질의 기능의 손상, 신경계 질환 등 다양한 생리적 이상과 연관되어 있습니다.

다중수면검사(Polysomnography, PSG)는 수면 연구실에서 사용되는 표준 검사법으로, 비용이 많이 들고 시간이 많이 소요됩니다. 이는 수면의 질에 부정적인 영향을 미칠 수 있죠. 그래서 최근 PPG 기반 딥러닝 기법이 수면 건강 분야에서 주목받고 있습니다.

현재 EEG(뇌파) 기반으로 수행되는 수면 단계 분류는 EEG 설정의 복잡성과 수작업 채점의 시간 소모로 인해 비효율적입니다. 이를 간소화하기 위해 타 연에서는 CRNN(CNN-GRU) 아키텍처를 설계하여 수면 단계를 자동으로 식별하도록 하였습니다.

데이터: 폐쇄성 수면무호흡증(OSA) 의심 환자(n = 894)의 투과형 PPG 신호를 사용.
수면 단계 분류:
1. 3단계 분류: 깨어 있음(Wake)/비REM(NREM)/REM.
  - 정확도: 80.1%, Cohen’s κ: 0.65.
2. 4단계 분류: 깨어 있음(Wake)/N1+N2/N3/REM.
  - 정확도: 68.5%, Cohen’s κ: 0.54.
3. 5단계 분류: 깨어 있음(Wake)/N1/N2/N3/REM.
  - 정확도: 64.1%, Cohen’s κ: 0.51.

현재 EEG(뇌파) 기반으로 수행되는 수면 단계 분류는 EEG 설정의 복잡성과 수작업 채점의 시간 소모로 인해 비효율적입니다. 이를 간소화하기 위해 타 연구에서는 CRNN(CNN-GRU) 아키텍처를 설계하여 수면 단계를 자동으로 식별하도록 하였습니다.

데이터: 폐쇄성 수면무호흡증(OSA) 의심 환자(n = 894)의 투과형 PPG 신호를 사용.
수면 단계 분류:
1. 3단계 분류: 깨어 있음(Wake)/비REM(NREM)/REM.
  - 정확도: 80.1%, Cohen’s κ: 0.65.
2. 4단계 분류: 깨어 있음(Wake)/N1+N2/N3/REM.
  - 정확도: 68.5%, Cohen’s κ: 0.54.
3. 5단계 분류: 깨어 있음(Wake)/N1/N2/N3/REM.
  - 정확도: 64.1%, Cohen’s κ: 0.51.

수면 단계 식별과 병행하여, PPG 신호와 딥러닝을 결합하여 OSA를 탐지하는 연구도 진행되고 있습니다.

( [79] Papini GB, Fonseca P, van Gilst MM, Bergmans JW, Vullings R, Overeem S. Wearable monitoring of sleepdisordered breathing: Estimation of the apnea–hypopnea index using wrist-worn reflective photoplethysmography. Scientific reports. 2020;10(1):13512 )

해당 연구에서는 독립된 데이터셋(임상적으로 이질적인 188개의 기록)을 사용한 테스트 결과, PSG 표준 검사와 높은 일치도를 보였습니다. 추정된 무호흡-저호흡 지수(AHI)는 OSA의 심각도를 평가하는 데 신뢰할 수 있는 결과를 보였습니다.

혈당 분석 - Blood glucose analysis

당뇨병은 인슐린 생성 세포의 손실, 인슐린 작용의 부족, 또는 이 두 가지 요인으로 인해 탄수화물, 지방, 단백질 대사에 장애가 발생하며, 혈당 수치의 상승으로 특징지어지는 질환입니다. 기존의 침습적인 채혈(손가락 채혈) 방식은 불편함을 초래하므로, 비침습적이고 편리한 혈당 측정 방법에 대한 수요가 높습니다. 특정 파장에서 혈당 수치가 빛의 흡수 및 반사 신호에 영향을 미치는 특성 덕분에, PPG 기반 혈당 평가가 이론적으로 가능하며 최근 이에 대한 연구가 진행되고 있습니다.

당뇨병 탐지에는 보통 CNN을 기반으로 한 당뇨병 분류기가 연구되었습니다. PPG 신호와 고혈압 분류, 나이, 성별을 결합한 입력 데이터를 사용하여 CNN 기반 당뇨병 분류기를 개발하였습니다.

또한 혈당 값 추정을 위해 약물 복용 여부의 영향에 대한 연구도 진행되었습니다. 약물을 복용한 그룹과 복용하지 않은 그룹을 나눠서 비침습적 혈당 예측 정확도에 약물이 미치는 영향을 조사했습니다.

PPG 기반 혈당 분석은 비침습적 혈당 측정의 실현 가능성을 보여주며, 약물 영향 및 추가 생리학적 지표 활용을 통해 정확도를 크게 개선할 가능성을 제시합니다.

지금까지 봤던 Medical related 에서 연구되는 분야를 정리해보면 아래와 같겠네요!

[Bioinformatics] - 생물학적 서열의 기본적 처리

minyoungxi — Mon, 25 Nov 2024 17:10:39 +0900

이전에 계속 언급했듯이 생물학적 시스템과 유전 정보는 DNA에 암호화돼 있습니다.

생명정보학 알고리즘과 도구들은 실용적인 목적으로 DNA를 1차원적 뉴클레오티드 서열로 표기합니다.

DNA 또는 RNA 분자는 네 개의 뉴클레오티드로 구성돼 있으므로 컴퓨터로 표현할 때 네 개의 독립적인 문자로 표현합니다.

DNA의 경우 A,C,G,T 로 표현합니다. 이는 각각 아데닌, 시토닌, 구아닌, 티민이며 RNA의 경우 T 대신 U인 우라실로 표현합니다.

DNA의 기본 알파벳에는 네 개의 뉴클레오티드만 포함돼 있지만, IUPAC은 확장된 심볼들을 정리해 뉴클레오티드의 모호성을 허용하는 확장된 심볼들을 정의했습니다. 확장된 심볼들을 통해 중합 효소 연쇄 반응(PCR) 프라이머의 디자인과 같이 불확실한 뉴클레오티드가 있는 경우에 유용하게 표현할 수 있게 됐습니다.

생물학적으로 중요한 또 다른 서열은 단백질 서열이며 아미노산 서열로 구성돼 있습니다.

유전 코드로 20개의 아미노산이 암호화될 수 있으므로 표 1을 참조하면 서열은 20개의 각각 다른 알파벳 문자로 이뤄졌음을 확인할 수 있습니다. 종결코돈을 표현하는 문자도 있어야 합니다. 종결코돈 문자를 DNA 번역을 자동으로 수행하는 도구에서 사용합니다. 종결코돈으로 가장 많이 사용하는 문자는 언더스코어 또는 별표입니다.

표1. 뉴클레오티드를 표현하는 IUPAC 심볼

심볼 이름 뉴클레오티드

A	아데닌	A
C	시토닌	C
G	구아닌	G
T	티민	T
U	우라실	U
K	케토	G, T
M	아미노	A, C
R	퓨린	A, G
S	강함	C, G
W	약함	A, T
Y	피리미딘	C, T
B	A 아님	C, G, T
D	C 아님	A, G, T
H	G 아님	A, C, G
V	T 아님	A, C, G
N	모든 염기	A, C, G, T

표2. 아미노산을 표현하는 IUPAC 심볼

A	알라닌
C	시스테인
D	아스파르트산
E	글루탐산
F	페닐알라닌
G	글라이신
H	히스티딘
I	아이소류신
L	라이신
M	메티오닌
N	아스파라간
P	프롤린
Q	글루타민
R	아르기닌
S	세린
T	트레오닌
V	발린
T	트립토판
Y	타이로신

함수1. DNA의 서열이 유효한지 확인하기. 서열이 유효하다면 True, 유효하지 않다면 False를 반환

def validate_dna (dna_seq):
    seqm = dna_seq.upper()
    valid = seqm.count("A") + seqm.count("C") + seqm.count("G") + seqm.count("T")
    if valid == len(seqm): return True
    else: return False 

validate_dna("atgcgatcgattcggagcg")

True

함수2. 서열에서 각 심볼의 빈도를 계산. 결과로 딕셔너리를 반환.

def frequency (seq):
    dic = {}
    for s in seq.upper():
        if s in dic: dic[s] += 1
        else: dic[s] = 1
    return dic

frequency("atgcgatcgattcggagcg")

{'A': 4, 'T': 4, 'G': 7, 'C': 4}

입력받은 아미노산 서열의 빈도를 계산. 결과 값으로 가장 많이 출현한 아미노산의 심볼과 출현한 값을 출력합니다.

seq_aa = input("Protein sequence : ")
freq_aa = frequency(seq_aa)
list_f = sorted(freq_aa.items(), key=lambda x: x[1], reverse=True)

for (k,v) in list_f:
    print("Aminocaid:", k, ":", v)
    
Aminocaid: A : 2
Aminocaid: T : 1
Aminocaid: G : 1

GC 함량의 계산은 DNA 서열에서 ‘G’와 ‘C’ 뉴클레오티드의 비율을 계산하는 것입니다.

def gc_content (dna_seq): 
    gc_count = 0
    for s in dna_seq:
        if s in "GCgc": gc_count += 1
    return gc_count / len(dna_seq)

gc_content("AAATGGCGCGCGC")

0.6923076923076923

유전자 또는 엑손을 찾는 경우처럼 GC 함량을 계산해야 할 때가 있습니다. 아래의 스크립트의 함수는 중첩되지 않는 k 길이만큼의 부분 서열에 대한 GC 함량을 계산합니다.

def gc_content_subseq (dna_seq, k=100):
    """ 겹치지 않는 k 길이의 부분 서열에 대한 GC 함량을 리스트로 반환한다. """
    res = []
    for i in range(0, len(dna_seq)-k+1, k):
        subseq = dna_seq[i:i+k]
        gc = gc_content(subseq)
        res.append(gc)
    return res

전사와 역상보

DNA에서 RNA로의 전사는 DNA에 포함된 유전 정보로부터 단백질을 합성하는 전체 과정에서 기본적인 단계입니다.

전사를 구현하는 함수를 이해하기 위해 DNA 분자가 서로 반대 방향으로 읽히는 두 개의 상보적 가닥으로 구성돼 있음을 기억해봅시다.

전사가 일어나면 두 가닥이 나뉘고 새로운 RNA 서열이 해당 DNA 가닥에 상보적으로 생성됩니다. 따라서 해당 DNA 가닥은 주형 가닥(template strand)에 상보적인 가닥인 비주형 가닥(coding strand)과 유사합니다.

단지 뉴클레오티드의 ‘T’가 ‘U’로 바뀌기만 했죠? 이러한 맥락에서 DNA 가닥을 입력하면 간단히 ‘T’를 ‘U’로 대체해 RNA 서열을 얻을 수 있습니다.

다음 파이썬 코드에서는 입력한 DNA 서열이 유효한지 검사하고 유효하지 않다면 예외를 발생시켜 프로그램을 종료합니다.

replace() 를 사용해서 모든 ‘T’ 문자를 ‘U’로 바꿔서 새로운 문자열을 반환하고 있습니다.

def transcription (dna_seq):
    assert validate_dna(dna_seq),  "Invalid DNA sequence"
    return dna_seq.upper().replace("T","U")    

transcription("atgcgatcgattcggagcg")

이전의 함수들은 하나의 DNA 서열만 주어지므로 주어진 서열의 상보적 서열도 고려해야 합니다.

실제로 생물정보학 데이터베이스에서는 한 가닥의 DNA 서열만 제공되므로 상보적 가닥을 처리해야 하죠.

다음 함수는 입력된 DNA 서열에 역상보적인 서열을 결과로 만듭니다. 상보적 서열은 ‘A’가 ‘T’로, ‘C’가 ‘G’로 바뀌는 것을 의미합니다. 또한 역서열을 만들기 위해 for문을 돌 때 결과로 만드는 문자열의 가장 앞에 새로운 문자를 추가하는 방식으로 구현합니다.

번역

세포에서 단백질은 전령 RNA(messenger RNA, mRNA)로부터 번역이라 불리는 과정을 거쳐 아미노산의 체인을 만들며 합성됩니다. DNA에서 mRNA로의 전사 과정은 어려운 과정이 아니었습니다.

이번에는 DNA에서부터 단백질로 바로 번역하는 과정을 생각해봅시다. 번역을 하는 컴퓨터의 동작 방식은 다음과 같습니다.

번역할 DNA 서열은 겹치지 않게 세 개씩 문자를 읽어 코돈이라 불리는 하위 서열을 만듭니다.
각 코돈에 대해 아미노산은 변환 표에 따라 번역됩니다.
변환된 단백질 서열은 순서를 맞춰서 결과가 생성됩니다.

코돈에서 아미노산으로 변환하는 핵심적인 데이터 구조는 변환 표이며, 이는 파이썬의 딕셔너리 자료 구조로 이뤄집니다. 사전의 key는 64개의 코돈이고 해당 value는 아미노산입니다.

다음 함수는 내부에 변환 사전을 미리 정의하고 이를 참조하여 변환 과정을 진행합니다. 만약 유효하지 않은 코돈이 함수에 전달된다면 None이 반환됩니다. 또한 종결 코돈이 ‘_’ 심볼을 반환하는 것을 확인해봅시다.

def translate_codon (cod):
    tc = {"GCT":"A", "GCC":"A", "GCA":"A", "GCG":"A", 
      "TGT":"C", "TGC":"C",
      "GAT":"D", "GAC":"D",
      "GAA":"E", "GAG":"E",
      "TTT":"F", "TTC":"F",
      "GGT":"G", "GGC":"G", "GGA":"G", "GGG":"G",
      "CAT":"H", "CAC":"H",
      "ATA":"I", "ATT":"I", "ATC":"I",
      "AAA":"K", "AAG":"K",
      "TTA":"L", "TTG":"L", "CTT":"L", "CTC":"L", "CTA":"L", "CTG":"L",
      "ATG":"M", "AAT":"N", "AAC":"N",
      "CCT":"P", "CCC":"P", "CCA":"P", "CCG":"P",
      "CAA":"Q", "CAG":"Q",
      "CGT":"R", "CGC":"R", "CGA":"R", "CGG":"R", "AGA":"R", "AGG":"R",
      "TCT":"S", "TCC":"S", "TCA":"S", "TCG":"S", "AGT":"S", "AGC":"S",
      "ACT":"T", "ACC":"T", "ACA":"T", "ACG":"T",
      "GTT":"V", "GTC":"V", "GTA":"V", "GTG":"V",
      "TGG":"W",
      "TAT":"Y", "TAC":"Y",
      "TAA":"_", "TAG":"_", "TGA":"_"}
    if cod in tc: return tc[cod]
    else: return None

여기에서 고려해야 할 사항은 표준 유전 코드가 매번 통용되지 않는다는 점입니다. 진핵세포의 미토콘드리아와 같은 몇몇 유기체는 단백질 합성에 다른 코돈 테이블을 가지고 있습니다.

해당 함수를 사용해 전체 DNA 서열을 번역하는 함수를 작성할 수 있습니다. 이 함수는 DNA 서열과 처음 번역하는 위치를 입력받아 해당하는 아미노산 서열을 결과로 반환합니다. DNA 서열에서 코돈으로 분할하는 것은 range 함수에 적절하게 인덱스를 사용해 진행합니다.

def translate_seq (dna_seq, ini_pos = 0):
    """ Translates a DNA sequence into an aminoacid sequence. """
    assert validate_dna(dna_seq), "Invalid DNA sequence"
    seqm = dna_seq.upper()
    seq_aa = ""
    for pos in range(ini_pos,len(seqm)-2,3):
        cod = seqm[pos:pos+3]
        seq_aa += translate_codon(cod)
    return seq_aa


def codon_usage(dna_seq, aa):
    """Provides the frequency of each codon encoding a given aminoacid, in a DNA sequence ."""
    assert validate_dna(dna_seq), "Invalid DNA sequence"
    seqm = dna_seq.upper()
    dic = {}
    total = 0
    for i in range(0, len(seqm)-2, 3):
        cod = seqm[i:i+3]
        if translate_codon(cod) == aa:
            if cod in dic: 
                dic[cod] += 1
            else: dic[cod] = 1
            total += 1
    if total >0:
        for k in dic:
            dic[k] /= total
    return dic

유전 코드는 중복되므로 반복되는 값이 있습니다. 예를 들어 하나의 아미노산은 여러 개의 다른 코돈으로 암호화 됩니다. 이를 일반적으로 코돈 사용(Codon Usage)이라고 부릅니다. 코돈 사용의 통계를 다른 종의 유전자에 적용해보면 재미있는 결과를 얻을 수 있습니다.

[Genomics Data Science] - 중합효소 연쇄 반응(PCR), 차세대 시퀀싱 및 시퀀싱의 응용

minyoungxi — Mon, 4 Nov 2024 19:03:58 +0900

중합효소 연쇄 반응 - Polymerase Chain Reaction(PCR)

간단하지만 강력한 기법으로 DNA를 복제하고 실제로 원하는 만큼 DNA 사본을 만들 수 있는 놀랍고도 강력한 방법인 중합효소 연쇄 반응(Polymerase Chain Reaction, PCR)에 대해서 알아봅시다.

PCR(중합효소 연쇄 반응)은 DNA를 복제하여 원하는 만큼의 DNA 사본을 만들 수 있는 강력한 실험 기법입니다. 이 기술은 유전체학, RNA 염기서열 분석 등 다양한 분야에서 필수적으로 사용되며 특히 단일 세포나 분자가 아닌 충분한 양의 DNA가 필요한 실험에서 매우 중요한 역할을 합니다.

RNA 염기서열 분석을 할 때는 RNA를 DNA로 바꾸고 그 사본을 많이 만들어야 합니다. 누군가 게놈을 시퀀싱할 때 우리는 단순히 단일 세포나 단일 분자의 염기서열을 분석하지 않습니다.

염기서열 분석에 사용하는 모든 기술을 활용하기 위해서는 시작하기 전에 DNA 분자의 동일한 사본을 많이 만들어야 합니다.

DNA는 항상 이중 가닥을 이루고 있죠. 아래의 이미지와 같이 두 가닥의 DNA가 있습니다.

상단에는 A, C, G, T 가 있고 하단에는 상보적인 가닥이 있습니다.

그리고 이전에 언급한 것처럼 DNA에는 5에서 3으로 방향을 이루고 있습니다.

따라서 DNA 염기서열의 시작은 5가 되고 끝은 3이 됩니다.

DNA가 스스로 달라붙는다는 사실은 PCR에 사용할 매우 중요한 특성입니다.

PCR에서는 15-20개 염기 길이의 짧은 DNA 조각인 ‘프라이머(Primer)’를 사용합니다. 조금 더 짧을 수도 있고 조금 더 길 수도 있습니다.

이것은 복제하고자 하는 DNA와 상보적인 서열을 가집니다. 순방향과 역방향 두 개의 프리미어가 사용되며, 각각 DNA의 다른 말단에 결합합니다.

아래의 예시는 프라이머 두 개를 사용한 예시인데요, 하나는 초록색이고 다른 하나는 파란색입니다.

초록색 프라이머는 상단 DNA 가닥의 중간 부분에 결합하는 순방향(Forward) 프라이머입니다.

이 프라이머는 하단 DNA 가닥과 상보적으로 결합하게 됩니다.

하단에 있는 파란색 프라이머는 역방향(Reverse)프라이머 입니다. DNA의 반대쪽 말단에 결합하게 됩니다.

이처럼 프라이머는 DNA의 특정 부위에 상보적으로 결합하여 DNA 복제의 시작과 끝 지점 역할을 하며, 두 프라이머를 통해 원하는 DNA 영역을 선택적으로 증폭할 수 있습니다.

→ 따라서, 프라이머는 연구자가 자신의 실험 목적에 맞게 특정 DNA 부위를 선택하여 그에 맞는 서열을 설계하고 주문 제작하는 것입니다. 이는 PCR의 큰 장점 중 하나로, 원하는 DNA 부위를 선택적으로 증폭할 수 있게 해줍니다.

DNA를 가열하면 DNA가 녹거나 두 가닥이 서로 분리되어 떨어져 나가게 됩니다. 따라서 혼합물이 뜨거우면 프라이머가 DNA에 달라붙지 않고 DNA의 두 가닥도 서로 달라붙지 않습니다(94°C에서 진행되는 변성 단계). 그런 다음 식히거나 어닐링하고 온도를 낮추어 프리미어가 단일 가닥 DNA에 결합하도록 합니다.

프라이머는 크기가 작아 DNA에 쉽게 결합할 수 있는 특징이 있습니다. 마지막으로 72°C에서 진행되는 신장 단계에서는 DNA 중합효소가 프라이머가 결합된 부위부터 dNTPs(A, C, G, T)를 이용하여 새로운 DNA 가닥을 합성합니다.

DNA 중합효소의 작동 원리를 다음과 같이 정리할 수 있습니다. DNA 중합효소는 DNA 가닥에서 특별한 구조를 인식하여 작동합니다. 이 구조는 일부는 단일 가닥이고 일부는 이중 가닥인 부분입니다.

구체적으로, 프라이머가 단일 가닥 DNA에 결합하여 만든 이중 가닥 부분을 인식하고 이 프라이머가 결합된 지점에서부터 나머지 단일 가닥 부분을 따라 새로운 DNA를 합성하기 시작합니다. 즉, 프라이머가 제공하는 이중 가닥 구조를 시작점으로 삼아 빈 부분의 염기서열을 상보적으로 채워나가는 것입니다.

위의 작업들을 수행한 후의 결과는 아래와 같습니다.

한 번의 복제 과정을 거치면 초록색 프라이머가 있는 상단 부분에서는 중합효소가 프라이머를 시작점으로 삼아 전체 서열을 완성하고 동시에 다른 중합효소는 파란색 프라이머가 있는 하단 부분에서 시작하여 반대쪽 가닥의 서열을 완성하는 모습입니다.

이 과정에서 DNA 중합효소는 용액 속에 있는 A,C,G,T 뉴클레오티드를 사용하여 새로운 DNA 가닥을 만듭니다. 이렇게 만들어진 두 개의 이중 가닥 DNA는 원본과 동일한 서열을 가지게 되며 이 과정이 계속 반복되면서 DNA가 기하급수적으로 증폭되는 것을 알 수 있습니다.

이를 연쇄반응 이라고 하며 라운드를 거칠 때마다 이전에 가지고 있던 DNA의 양이 2배로 늘어납니다.

전체적인 흐름을 그림으로 살펴보면 아래와 같습니다.

높은 온도에서 DNA는 두 가닥으로 분리가 됩니다. 몇 분이면 저렇게 잘 분리가 된다고 합니다.

온도를 54도까지 식히면 이 온도에서 프라이머가 DNA에 달라붙게 됩니다. 그러면 중합효소가 이 이중 가닥의 조각을 찾아서 채우기 시작합니다. 두 개의 종합효소가 기존 가닥을 채우고 이중 가닥 DNA를 생성하기 시작하는 것을 볼 수 있습니다. 이렇게 하면 완벽한 복제본을 만들게 됩니다.

정리하자면 PCR을 위해 필요한 재료는 다음과 같습니다.

DNA
primers
DNA polymerase
A’s , C’s, G’s, T’s

복제하려는 DNA가 필요하고 살아있는 유기체의 모든 DNA가 될 수 있습니다.

차세대 시퀀싱 - Next Generation Sequencing

차세대 시퀀싱(NGS)은 2007년부터 현재까지 사용되고 있는 최신 DNA 염기서열 분석 기술입니다. DNA 시퀀싱 기술은 여러 세대를 거쳐 발전했는데, 1970-90년대에는 프레드 생어(Sanger)가 발명한 생어 시퀀싱이 주로 사용되었습니다.

초기에는 수작업으로 진행되어 느리고 힘들었지만, 1980년대에 자동화된 DNA 염기서열 분석기가 개발되면서 효율성이 크게 향상되었습니다. 1990년대에는 DNA 마이크로어레이 기술이 등장했으나 이는 정확한 시퀀싱이 아닌 DNA나 RNA의 결합을 측정하는 기술이었습니다.

NGS의 작동 원리는 DNA 중합효소의 특성을 활용합니다. 먼저 분석하고자 하는 DNA 주형을 수백에서 천 개 정도의 염기 길이를 가진 작은 조각으로 자르고, 이를 화학적으로 슬라이드에 부착합니다. 슬라이드에는 수백만에서 수천만 개의 DNA 조각이 부착될 수 있습니다. 이후 PCR을 통해 각 조각의 동일한 사본을 여러 개 만들어 클러스터를 형성합니다.

시퀀싱 과정에서는 형광 표지된 뉴클레오티드(A, C, G, T)를 사용합니다. 이 뉴클레오티드들은 두 가지 특별한 변형을 가지고 있습니다. 첫째, 각각 다른 색의 형광을 발합니다. 둘째, '터미네이터' 변형이 있어 한 번에 하나의 뉴클레오티드만 추가될 수 있습니다. DNA 중합효소가 이러한 뉴클레오티드를 하나씩 추가하면, 레이저로 빛을 비춰 형광 신호를 촬영합니다. 각 사이클마다 새로운 염기가 추가되고, 이를 촬영하여 연속적인 이미지를 얻게 됩니다.

이 기술의 한계점은 시퀀싱 사이클이 진행될수록 오류가 증가한다는 것입니다. 이는 DNA 중합효소가 완벽하지 않아 일부 가닥이 앞서가거나 뒤처지는 현상 때문입니다. 초기에는 이러한 오류가 적지만, 시간이 지날수록 동기화되지 않은 가닥들이 늘어나 오류가 커집니다. 이러한 이유로 NGS로는 수천 개 이상의 염기를 연속적으로 읽을 수 없습니다.

최종적으로 얻어지는 결과는 As, Cs, Gs, Ts의 연속된 시퀀스와 함께 각 위치별 품질 값이 포함됩니다. 이 품질 값은 기본 호출 소프트웨어가 각 위치에서 발생할 수 있는 오류의 확률을 추정한 것으로, 형광 신호의 순도를 기반으로 계산됩니다. 시퀀스가 진행될수록 형광 신호의 순도가 떨어지므로, 후반부로 갈수록 품질 값이 낮아지는 경향이 있습니다.

시퀀싱의 응용 - Next Generation Sequencing Applications

가장 기본적인 아이디어는 DNA를 만들어야 한다는 것입니다. 염기서열을 분석하기 위해서는 DNA가 필요하니까요. (Convert Molecule to DNA)

그런 다음 2세대 시퀀싱 기술을 적용하는 것입니다.

엑솜 시퀀싱(Exome Sequencing)은 오늘날 가장 인기가 많은 방법입니다. 엑솜이라는 것은 Genome에 있는 모든 엑손(단백질로 번역되는 DNA 부분)만을 모아 놓은 것입니다.

이 부분에 대해서 다시 살펴보면, 우리의 DNA는 RNA로 전사됩니다. 이 과정에서 RNA는 엑손과 인트론으로 잘게 쪼개집니다. 인트론은 버려지고, 남아있는 엑손은 서로 연결되며 엑손은 단백질로 번역됩니다.

따라서 세포 집합체 안에서 어떤 단백질이 활성화되고 있는지 알고 싶다면 엑손이 무엇인지 알아야 합니다.

유전학에서 우리는 유전자 돌연변이를 찾을 때 단백질에 영향을 미치는 돌연변이에 대부분 관심을 갖습니다. 이러한 돌연변이는 엑손에서 발생해야 합니다. 따라서 세포에서 엑손만 캡쳐하고 그 엑손의 염기서열을 분석할 수 있습니다. 엑손은 전체 Genome에서 약 1.5%(30-60만 염기쌍)만 차지하지만, 대부분의 질병 관련 돌연변이가 이 영역에서 발생합니다.

마그네틱 비드를 사용하여 엑손 DNA를 선택적으로 포획하는 방식으로 진행됩니다. 비드에 부착된 상보적 DNA와 엑손 DNA를 혼성화시켜 분리한 후 시퀀싱을 수행합니다.

또 다른 기술은 RNA-Sequencing 입니다. 여기에는 세포 또는 세포 집합체에서 활성화되는 모든 유전자를 포획하는 것이 포함됩니다. 방금 언급한 것처럼 단백질을 생산하려면 DNA가 먼저 RNA로 전사된 다음 단백질로 번역됩니다. 따라서 RNA를 포착한다면 특정 세포 세트 또는 세포 유형에서 어떤 유전자가 발현되거나 활성화되는지 알 수 있습니다. RNA 분자에서 매우 중요한 특징은 전사 후에 세포가 A로 구성된 긴 줄이 된다는 것입니다.

RNA의 폴리A 꼬리를 이용하여 성숙한 mRNA만을 선택적으로 포획하여 사용할 수 있습니다. A가 길지 않은 것은 모두 무시할 수 있죠. 저런 꼬리를 폴리 A 꼬리라고 부릅니다.(Poly A tail)

역전사효소를 사용하여 RNA를 DNA로 변환한 후 시퀀싱을 수행합니다. 이 방법을 통해 필요한 부분을 캡쳐한 RNA와 일치하는 DNA를 얻을 수 있습니다.

일단 DNA를 얻었으면 염기서열 분석만 하면 되겠죠? 그리고 그 시점부터 어떤 세포나 유전자가 그 세포를 활성화시킬지 알아내는 것은 계산상의 문제입니다. 매우 복잡한 계산이지만 중요한 계산이죠.

차세대 시퀀싱 기술이 도입된 이후 큰 인기를 끌고있는 세 번째 기술은 ChIP-Seq입니다.

ChIP-seq(Chromatin Immunoprecipitation Sequencing)은 특정 단백질이 DNA의 어느 부분에 결합하는지를 이해하기 위한 중요한 실험 기법입니다. 이는 DNA의 유전자 발현 조절 메커니즘을 이해하는 데 핵심적인 역할을 합니다. 세포마다 다른 유전자 발현 패턴을 가질 수 있는 것은 전사 인자라는 단백질들이 DNA의 특정 부위에 결합하여 근처에 있는 유전자의 발현을 조절하기 때문입니다.

현미경으로는 염색체에서 단백질이 결합된 정확한 위치를 직접 관찰할 수 없기 때문에, ChIP-seq은 이를 간접적으로 확인할 수 있는 방법을 제공합니다. 이 기술은 가교결합이라는 과정을 통해 단백질을 DNA에 직접 고정시키는 것으로 시작합니다. 관심 있는 세포를 채취한 후, 단백질과 세포의 DNA를 교차 연결하여 단백질이 결합된 위치를 고정합니다.

그 다음 단계에서는 DNA를 수많은 작은 단편으로 파편화합니다. 이때 대부분의 단편은 단백질이 결합되어 있지 않지만, 일부 단편에는 관심 있는 단백질이 결합되어 있습니다. 이러한 단백질-DNA 복합체를 특이적으로 분리하기 위해 항체를 사용합니다. ChIP-seq에서는 특정 단백질을 인식하는 항체를 설계하여 이를 혼합물에서 분리해냅니다. 단백질이 DNA에 고정되어 있기 때문에, 단백질을 분리할 때 그것이 결합되어 있던 DNA 조각도 함께 분리됩니다.

마지막으로, 분리된 단백질을 제거하고 남은 DNA 단편들의 염기서열을 분석합니다. 이렇게 얻어진 DNA 서열은 원래 단백질이 결합해 있던 위치의 DNA 서열을 나타냅니다. 결과적으로 이 실험은 단백질-DNA 결합 위치 확인 문제를 염기서열 분석 문제로 전환시킨 것이며, 얻어진 짧은 DNA 단편들의 서열을 통해 단백질 결합 부위를 파악할 수 있습니다.

바이설페이트 시퀀싱(Bisulfite Sequencing) 또는 메틸 시퀀싱은 DNA의 메틸화 패턴을 분석하는 중요한 기술입니다. DNA 메틸화는 세포 내에서 단백질 발현에 영향을 미치는 중요한 후성유전학적 변형입니다. 특히 메틸화 표지(메틸기)는 세포 분열 과정에서 다음 세대로 전달될 수 있어 유전자 발현 조절에 장기적인 영향을 미칩니다.

메틸화 위치를 확인하는 실험 과정은 다음과 같습니다: 먼저, DNA 샘플을 동일한 양의 두 부분으로 나눕니다. 이 중 한 샘플에 바이설페이트 전환이라는 특별한 화학적 처리를 합니다. 이때 중요한 점은 메틸기가 항상 시토신(C)에만 부착된다는 것입니다. 바이설페이트 처리 과정에서는 메틸화되지 않은 모든 시토신(C)이 우라실(U)로 변환됩니다. 반면, 메틸화된 시토신은 변환되지 않고 그대로 유지됩니다.

이렇게 처리된 두 개의 샘플(처리된 것과 처리되지 않은 것)의 DNA 시퀀싱을 수행한 후, 결과를 비교 분석합니다. 하지만 이 과정에서 일반적인 시퀀스 정렬 프로그램으로는 분석이 어렵습니다. 왜냐하면 바이설페이트로 처리된 DNA는 참조 게놈과 많은 차이를 보이기 때문입니다. 따라서 이를 위해 특별히 설계된 정렬 프로그램을 사용해야 합니다. 이 프로그램은 변환된 우라실(U)을 원래 게놈의 시토신(C)과 비교할 수 있도록 설계되어 있습니다.

이러한 분석을 통해 특정 세포나 조직에서 DNA의 어느 부분이 메틸화되어 있는지 파악할 수 있으며, 이는 유전자 발현 조절과 세포 분화 과정을 이해하는 데 매우 중요한 정보를 제공합니다. 메틸화 패턴은 정상적인 발달 과정뿐만 아니라 질병 상태에서도 중요한 역할을 합니다. 이를 연구하는 것은 생물학적, 의학적으로 큰 의미를 가집니다.

[Pytorch 다시보기] - Name some different components of PyTorch!! PyTorch의 다양한 구성요소를 알아봅시다!

minyoungxi — Tue, 29 Oct 2024 19:59:10 +0900

Tensors : Tensors are very homogeneous to the Numpy array and it is also multi-dimensional. The Tensors are accessible in PyTorch as a torch. Some examples are torch.CharTen , torch.IntTensor , torch.FloatTensor , etc.

텐서 (Tensors): 텐서는 Numpy array와 매우 유사하며 다차원입니다. 텐서는 PyTorch에서 torch.을 통해 접근할 수 있습니다. 예를 들어 torch.CharTensor, torch.IntTensor, torch.FloatTensor 등이 있습니다.

import torch

char_tensor = torch.CharTensor([1, 2, 3])
int_tensor = torch.IntTensor([1, 2, 3])
float_tensor = torch.FloatTensor([1.0, 2.0, 3.0])

print("Char Tensor:", char_tensor)
print("Int Tensor:", int_tensor)
print("Float Tensor:", float_tensor)

multi_dim_tensor = torch.FloatTensor([[1, 2], [3, 4]])
print("Multi-dimensional Tensor:\n", multi_dim_tensor)

output:
Char Tensor: tensor([1, 2, 3], dtype=torch.int8)
Int Tensor: tensor([1, 2, 3], dtype=torch.int32)
Float Tensor: tensor([1., 2., 3.])
Multi-dimensional Tensor:
 tensor([[1., 2.],
        [3., 4.]])

Variable : A variable works as a wrapper around the Tensor to clutch the gradient. You can find variables under the torch.autograd in the form of a torch.autograd.Variable.

변수 (Variable): 변수는 텐서를 감싸서 그래디언트를 유지하는 역할을 합니다. 변수는 torch.autograd 아래에서 torch.autograd.Variable 형태로 찾을 수 있습니다.

→ 최신 버전의 PyTorch에서는 torch.autograd.Variable 이 더 이상 필요하지 않으며, 텐서가 자동으로 그래디언트를 추적합니다. 따라서 예시에서는 Variable을 사용하지 않았습니다.

Parameters: The work of a Parameter is to wrap the variable and we use it when the Tensors of a module do not possess a gradient. We can find parameters under the torch.nn in the form of torch.nn.Parameter.

파라미터 (Parameters): 파라미터의 역할은 변수를 감싸는 것이며, 모듈의 텐서가 그래디언트를 가지지 않을 때 이를 사용합니다. 파라미터는 torch.nn 아래에서 torch.nn.Parameter 형태로 찾을 수 있습니다.

import torch.nn as nn

param = nn.Parameter(torch.randn(2, 2), requires_grad=True)
print("Parameter:\n", param)

class SimpleModule(nn.Module):
    def __init__(self):
        super(SimpleModule, self).__init__()
        self.weight = nn.Parameter(torch.randn(2, 2))
    
    def forward(self, x):
        return torch.matmul(x, self.weight)

module = SimpleModule()
print("Module Parameter:\n", module.weight)

output:
Parameter:
 Parameter containing:
tensor([[-0.5672, -0.5706],
        [ 1.5980,  0.1115]], requires_grad=True)
Module Parameter:
 Parameter containing:
tensor([[-0.0392,  1.4112],
        [-0.6556,  0.8576]], requires_grad=True)

Functions: Functions do not possess any memory and their work is to transform the operations. Some examples of function are torch.sum , torch.log , etc. Functions are implemented using torch.nn.functional.

함수 (Functions): 함수는 메모리를 가지지 않으며 연산을 변환하는 역할을 합니다. 함수의 예로는 torch.sum, torch.log 등이 있습니다. 함수는 torch.nn.functional을 사용하여 구현됩니다.

import torch
import torch.nn.functional as F

# 텐서 생성
x = torch.tensor([1.0, 2.0, 3.0])

# 합계 함수 사용
sum_x = torch.sum(x)
print("Sum of x:", sum_x)

# 로그 함수 사용
log_x = torch.log(x)
print("Log of x:", log_x)

# 활성화 함수 (ReLU) 사용
relu_x = F.relu(x - 2.5)
print("ReLU(x - 2.5):", relu_x)

Sum of x: tensor(6.)
Log of x: tensor([0.0000, 0.6931, 1.0986])
ReLU(x - 2.5): tensor([0.0000, 0.0000, 0.5000])

Modules: Modules are the base class of all neural networks and they also can contain different functions, modules, and parameters. It is efficient in storing learnable weights and states. Modules can be applied as torch.nn.Linear , torch.nn.Conv2d , etc.

모듈 (Modules): 모듈은 모든 신경망의 기본 클래스이며, 다양한 함수, 모듈, 파라미터를 포함할 수 있습니다. 학습 가능한 가중치와 상태를 효율적으로 저장하는 데 유용합니다. 모듈은 torch.nn.Linear, torch.nn.Conv2d 등으로 적용할 수 있습니다.

import torch
import torch.nn as nn

# 입력 채널 1, 출력 채널 1, 커널 사이즈 3인 합성곱 계층 정의
conv = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=3)

# 임의의 입력 텐서 (배치 크기 1, 채널 1, 높이 5, 너비 5)
input_tensor = torch.randn(1, 1, 5, 5)
print("Input Tensor Shape:", input_tensor.shape)

# 합성곱 계층을 통과한 출력
output = conv(input_tensor)
print("Output Tensor Shape:", output.shape)

# 학습 가능한 파라미터
print("Conv Weights:", conv.weight)
print("Conv Bias:", conv.bias)

Input Tensor Shape: torch.Size([1, 1, 5, 5])
Output Tensor Shape: torch.Size([1, 1, 3, 3])
Conv Weights: Parameter containing:
tensor([[[[ 0.3037, -0.2643,  0.0839],
          [-0.1434, -0.0365, -0.2495],
          [ 0.3036, -0.2447,  0.1782]]]], requires_grad=True)
Conv Bias: Parameter containing:
tensor([0.1171], requires_grad=True)

[Genomics Data Science] - Genomics를 Data Science로 다뤄봅시다

minyoungxi — Tue, 29 Oct 2024 15:16:36 +0900

Why Genomics?

본 포스팅은 Coursera에 있는 Johns Hopkins University의 게놈 데이터 과학 특화 과정 강의를 정리한 내용입니다.

INTRODUCTION: 이 강의는 유전체학의 중요성과 그것이 우리에게 가르쳐 줄 수 있는 것들에 대해 설명합니다.

유전체학의 기본 개념

유전체학은 우리 몸 안의 유전체를 연구하는 분야로, 모든 인간은 99.9% 동일한 유전체를 가지고 있지만, 그 안의 작은 변화로 인해 다양한 차이가 발생합니다.
유전체는 우리의 발달과 생물학적 특성을 결정하며, 예를 들어, 신경세포와 피부세포는 동일한 유전체를 가지고 있지만 서로 다른 기능을 수행합니다.

암과 유전적 변이

암은 유전적 질병으로, 세포가 통제 없이 분열하는 현상으로 정의됩니다. 이는 유전체 내의 변이가 원인입니다.
변이는 DNA 복제 과정에서 발생할 수 있으며, 이러한 변이가 세포 분열을 조절하는 유전자에 영향을 미쳐 암을 유발할 수 있습니다.

정보 흐름과 유전체 분석

생물학의 중심 교리는 DNA에서 RNA, 그리고 단백질로 정보가 흐른다는 것입니다. 그러나 최근 연구에 따르면, 단백질이 다시 DNA에 영향을 미치는 피드백 루프도 존재합니다.
유전체 분석은 주로 시퀀싱 기술을 통해 이루어지며, 최근 20년간 기술 발전으로 인해 시퀀싱 비용이 크게 감소하고 있습니다. 현재는 개인 연구실에서도 많은 유전체를 빠르게 분석할 수 있습니다.

암이 발생하는 이유

유전체학에서 변이가 암을 유발하는 방식은 다음과 같습니다:

변이의 정의: 변이는 DNA의 염기 서열에서 발생하는 변화로, 이는 DNA 복제 과정에서의 오류나 외부 요인(예: 방사선, 화학물질 등)으로 인해 발생할 수 있습니다.
세포 분열과 변이: 세포가 분열할 때, DNA는 복제되어야 합니다. 이 과정에서 오류가 발생할 수 있으며, 이러한 오류가 변이를 초래합니다. 일반적으로 세포 분열 시 1~3개의 오류가 발생할 수 있습니다.
유전자 기능의 변화: 변이가 발생하면, 특정 유전자가 제대로 기능하지 않게 될 수 있습니다. 예를 들어, 세포 분열을 조절하는 유전자가 변이로 인해 비활성화되면, 세포는 통제 없이 계속 분열하게 됩니다.
암의 정의: 암은 이러한 비정상적인 세포 분열로 인해 발생하는 질병입니다. 변이가 특정 세포에서 발생하면, 그 세포는 암세포로 변모하게 됩니다.
다양한 암의 종류: 암은 발생한 세포의 종류에 따라 다르게 분류됩니다. 예를 들어, 피부세포에서 발생한 변이는 피부암(흑색종)으로, 폐세포에서 발생한 변이는 폐암으로 이어집니다.

DNA, RNA, Protein 간의 정보 흐름

DNA, RNA, 단백질 간의 정보 흐름은 생물학의 중심 교리인 "중심 교리"에 따라 다음과 같이 이루어집니다.

DNA에서 RNA로의 전사 (Transcription):
- DNA는 유전 정보를 저장하는 분자로, 특정 유전자가 필요할 때 해당 유전자의 염기 서열이 RNA로 복사됩니다.
- 이 과정에서 DNA의 염기 서열이 RNA로 전사되며, 이때 티민(T)은 유라실(U)로 대체됩니다.
RNA에서 단백질로의 번역 (Translation):
- 전사된 RNA는 메신저 RNA(mRNA)로 알려지며, 세포의 리보솜으로 이동합니다.
- 리보솜에서 mRNA의 염기 서열이 세 개씩 읽히며, 각 세 개의 염기는 특정 아미노산을 지정합니다. 이 과정을 번역이라고 합니다.
- 아미노산이 연결되어 단백질이 형성됩니다.
단백질의 기능:
- 단백질은 세포 내에서 다양한 기능을 수행하며, 효소, 구조 단백질, 호르몬 등으로 작용합니다.
- 단백질은 세포의 기능과 생리적 과정을 조절하는 데 중요한 역할을 합니다.
정보 흐름의 피드백:
- 최근 연구에 따르면, 단백질이 다시 DNA에 영향을 미치는 피드백 루프도 존재합니다. 특정 단백질이 DNA에 결합하여 유전자의 발현을 조절할 수 있습니다.

유전체 구조

염기 서열

정의: DNA는 아데닌(A), 사이토신(C), 구아닌(G), 티민(T)이라는 네 가지 염기로 구성되어 있습니다.
중요성: 이 염기 서열이 유전 정보를 저장하고 전달하는 기본 단위입니다.

염색체

정의: 유전체는 23쌍의 염색체로 구성되어 있으며, 각 염색체는 유전자의 집합체입니다.
중요성: 염색체의 구조는 유전자의 위치와 기능을 이해하는 데 필수적입니다.

센트로미어와 텔로미어

센트로미어: 염색체의 중앙 부분으로, 세포 분열 시 염색체가 올바르게 분리되도록 돕습니다.
텔로미어: 염색체의 끝부분으로, DNA의 손상을 방지하고 세포의 노화를 조절합니다.

유전체학이란?

The branch of molecular biology concerned with the structure, function, evolution and mapping of genomes.

과거의 생물학과 현대의 유전체학의 가장 큰 차이는 뭘까요 ?

과거에는 저 처리량 실험이라고 부르는 표적 실험만 할 수 있었습니다. 하나의 유기체 대신 한 번에 하나의 유전자를 연구하는 것이었죠. 오늘날 우리는 새로운 유전체학 기술을 사용하여 수천 개의 유전자 활동을 한꺼번에 측정하는 실험을 할 수 있습니다. 이것이 유전체학과 초기의 생물학의 가장 큰 차이점입니다.

과거에는 실험이 매우 어려웠으나 기술의 발달로 인해 더 쉽게 할 수 있는 방법들이 많아졌습니다.

Genome Data Science 란?

Statistical Genomics , Bioinformatics 등 다양한 이름으로 사용되지만 유전체 데이터 과학자의 활동은 모두 이와 같거나 유사한 범주에 속합니다.

생물학(Biology), 통계학(Statistics), 컴퓨터 과학(Computer Science) 등 세 가지 분야가 결합되어 유전체 데이터를 수집 및 분석하고 생물학적 결론을 도출하는 데 사용됩니다. 추가적으로 실험 설계, 데이터 전처리 및 정규화, 다양한 분석 기법이 포함될 수 있습니다.

분자 생물학과 세포 생물학(Cell Biology)

가장 기본적인 수준에서 우리는 세포 생물을 세 가지로 나누게 됩니다.

Eukaryota(진핵생물) , Archaea(고세균), Bacteria(박테리아) 인데요, 고세균과 박테리아를 하나로 묶어 Prokaryotes(원핵생물)이라고 부르기도 합니다.

이 두 생물의 아주 근본적인 그룹을 구분하자면 진핵생물은 세포핵을 가지고 있고, 원핵생물은 그렇지 않다는 것입니다.

진화론적으로 이 세 가지의 생명 영역은 아주 오래전, 지구의 생명체가 진화할 때 서로 분리되었다고 합니다.

박테리아와 고세균은 세포를 설명하는 수준에서 매우 유사하게 보입니다.

진핵생물과 원핵생물의 가장 큰 차이는 진핵생물에는 세포핵이 있고 원핵생물에는 세포핵이 없다는 것입니다.

세포핵은 아주 오래전에 DNA를 세포의 나머지 부분으로부터 분리하는 방법으로 진화했습니다.

세포 수준에서 보면 진핵 세포와 원핵세포가 다르게 보입니다. 왼쪽에는 Nucleus(세포핵)이 존재하는 것이 보이죠. 그래서 아주 흔한 효모라는 단세포 진핵생물도 핵이 있습니다.

따라서 인간과 효모 그리고 그 사이에 있는 모든 것들은 진핵생물이라고 보시면 됩니다.

우리 세포에는 핵이 있고, 다른 세포 소기관도 작은 세포 구조입니다. 원핵생물은 세포핵이 없어서 DNA가 그냥 떠다니고 있다고 생각하시면 됩니다. 실제로 떠있는 것은 아니지만 내부에 느슨하게 조직되어 있는 것으로 생각하면 됩니다. 반면 진핵생물의 DNA는 좀 더 조직적인 모습을 가지고 있습니다. 진핵 세포의 DNA는 내부 깊숙하게 격리되어 있습니다.

위의 사진을 보면, 벽으로 둘러싸인 진핵 세포 내부에는 자체 세포막 또는 벽이 있는 핵이 있고 그 핵 안에는 DNA를 넣는 곳입니다. 우리의 DNA는 매우 긴 DNA 분자인 염색체로 구성되어 있습니다. 그리고 모든 염색체는 각 세포 안에 있고 세포 안에는 각 세포의 핵이 있습니다.

DNA에는 예외가 있습니다. 진핵 세포 내부의 세포 소기관 중 하나를 미토콘드리아라고 부릅니다.

각 세포에는 여러 개의 미토콘드리아가 있어서 미토콘드리아는 고유의 DNA를 가지고 있습니다. 인간의 경우에는 인간 Genome에서 미토콘드리아 Genome은 매우 작습니다. 우리 DNA의 1%에 불과하죠.

하지만 미토콘드리아는 내부의 유전자가 상당한 양의 에너지 대사를 담당하기 때문에 세포의 발전소라고도 불립니다. 생명에 매우 중요한 부분이라고 할 수 있습니다.

세포는 많은 사람들이 연구하는 특징적인 세포 주기를 거칩니다.

여러 가지 복잡한 주기를 모두 외울 필요는 없습니다. 세포는 아주 잘 정의된 주기를 갖고 있는데요, 가장 중요한 것은 분열 과정입니다. 수정란의 단세포 전구 세포에서 전체 유기체로 이동하는 과정에서 세포는 여러 번 분열하고 싶어 하며 평생 세포는 끊임없이 죽어가며 교체합니다.

손상된 조직을 대체하기 위해서는 대체가 잘 되어야 합니다. 그래서 세포가 분열하여 손상된 세포를 대체하는 것이죠. 따라서 이 과정의 일부를 ‘유사 분열’이라고 합니다. 세포가 두 개의 딸세포로 분리되어 본질적으로 동일한 두 개의 세포를 생성합니다.

세포가 유사 분열을 겪을 때 세포의 DNA가 복제되어야 합니다. 즉 이전에 한 개가 있던 곳에 두 개의 사본을 만들어야 하는 것이죠. 분열하면서 세포 내의 서로 다른 물리적 구획으로 매우 안정적인 분리를 합니다.

그 결과 원래 세포와 동일한 두 개의 딸 세포가 생성되고 두 개의 딸 세포 모두 이배체입니다.

이배체(diploid) : 생물학 용어로, 모든 염색체가 쌍으로 존재하는 세포나 생물체를 의미합니다. 일반적인 체세포는 이배체이고, 각 염색체는 부모로부터 하나씩 물려받아 쌍을 이룹니다. 인간의 경우 23쌍 총 46개의 염색체를 가지고 있는 상태가 이배체입니다.

세포 생물학에서 또 다른 중요한 점은 모든 세포가 항상 분열하여 동일한 사본 두 개를 생성하는 것이 아니라는 점입니다. 물론 손상된 기존의 세포를 교체하는 경우가 있습니다.

예를 들어, 피부에 상처가 생겼고 새로운 피부 세포를 성장시켜야 한다면 피부 세포가 이전에 존재했던 것과 같은 형태가 되길 원할 것입니다. 하지만 발달 과정에서 세포는 다양한 유형의 세포로 발달해야 합니다.

우리 몸에는 줄기세포(Stem cell)라고 부르는 좀 더 기본적인 세포에서 출발합니다. 줄기세포는 서로 다른 유형의 세포로 분열하고 분화할 수 있는 능력을 가지고 있죠.

따라서 항상 두 개의 딸 세포가 서로 동일하지 않고 약간 다른 세포 분열 과정이 포함됩니다. 그리고 이 세포들은 우리가 ‘발달 경로’라고 부르는 과정을 통해 서로 다른 유형의 성숙한 세포로 분화할 수 있게 해 줍니다.

아래의 그림에서 Multipotential hematopoietic stem cell (HSC, 다능성 조혈모세포)라고 부르는 세포로부터 시작을 합니다. 이 세포는 다양한 유형의 혈액 세포를 분열시키고 생산할 수 있습니다. 이 세포들은 주로 골수에서 발견됩니다.

HSC는 적혈구, 백혈구, 혈소판 등 여러 종류의 혈액 세포로 분화할 수 있습니다. 그리고 스스로를 복제하여 새로운 HSC를 생성할 수 있는 능력이 있습니다. 이는 혈액 세포의 지속적인 생산을 보장하죠. 그리고 조혈(혈액 생성) 과정의 시작점으로, 신체의 필요에 따라 다양한 혈액 세포를 생성합니다.

다음 세대의 종(species)을 위한 난자 세포나 정자 세포를 생산할 때는 먼저 어머니와 아버지의 염색체 사본으로 시작해서 감수분열 전에 하나의 구획으로 합쳐집니다. 그런 다음 특별한 과정이 있는데요.

이 과정은 의도적으로 생긴 것이 아니라 재조합(Recombination)이라고 하는 것입니다. 재조합(Recombination)은 유전적 다양성을 증가시키는 중요한 생물학적 과정으로, 주로 생식 세포의 형성과정에서 발생합니다.

재조합은 부모의 염색체가 서로 교차하여 새로운 조합의 유전자를 생성하게 됩니다. 이 과정에서 염색체의 일부가 서로 교환됩니다. 또한, 자손이 부모와는 다른 유전적 조합을 가지게 하여, 생물의 다양성을 증가시킵니다. 이는 진화와 적응에 중요한 역할을 하게 되는 것이죠.

재조합은 주로 감수분열(Meiosis) 과정에서 발생합니다. 이 과정에서 생식 세포(정자와 난자)가 형성되며, 각 세포는 부모의 유전자를 반반씩 물려받습니다. 따라서 재조합은 유전자 변형의 한 형태로 볼 수 있고, 특정 유전자가 새로운 조합으로 나타날 수 있습니다. 이는 유전적 질병의 발생 가능성을 줄이거나 새로운 특성을 부여할 수 있습니다.

분자 생물학에서 중요한 분자(Important molecules in molecular biology)

DNA는 모든 유전 물질을 구성하며 아데닌(A), 구아닌(G), 사이토신(C), 티민(T)이라는 네 가지 뉴클레오타이드로 이루어져 있습니다. 아데닌(A)과 구아닌(G)은 퓨린(Purines)이라고 불리는데 여기에 표시된 것처럼 두 개의 고리 구조를 가지고 있습니다. 그리고 티민(T)과 시토신(C)은 피리미딘(Pyrimidines)이고 하나의 고리 구조를 가지고 있습니다. 이 구조를 알거나 기억할 필요는 없지만 C와 T가 비슷하고 A와 G가 서로 비슷한 것 정도만 알고 계시면 될 것 같습니다.

DNA가 구성되는 방식은 이 분자들이 매우 특정한 방식으로 결합한다는 것입니다. A는 항상 T에 결합하고 G는 항상 C에 결합합니다.

우리가 데이터를 쓰는 방식을 보면 DNA 염기서열 자체는 이러한 화학 구조를 쓰지 않습니다.

DNA에는 사실 방향이 존재합니다. 가닥이라는 것이 있죠.

생화학적 특성에 따라 DNA의 한쪽 끝을 파이프라인 말단이라고 무르고 다른 쪽 끝을 A3 프라임 말단이라고 부릅니다. 이것은 생화학 분자의 구조와 관련이 있지만 굳이 기억할 필요는 없습니다.

또 다른 중요한 분자는 우리 몸이 작동하는 방식과 Genome이 작동하는 방식을 결정하는 중요한 분자입니다.

따라서 RNA는 몇 가지 중요한 차이점을 제외하면 DNA와 거의 흡사합니다. 분명한 차이점은 티민(T) 대신 우라실(U)을 가지고 있다는 점이죠. 따라서 DNA가 복제되거나 RNA로 전사되면 A는 A로 , G는 G로 , C는 C로, T는 U로 대체됩니다. 그러면 DNA와 달리 단일 가닥인 RNA를 생성할 수 있습니다.

따라서 RNA는 이중 가닥 복합체를 형성할 수는 있지만 이중 가닥은 아닌 것이죠. 하지만 일반적으로 RNA는 단일 가닥으로 이루어져 있으며 이 RNA 주형에서 단백질을 생성합니다.

RNA는 똑같은 생화학 구조를 가지고 있습니다. 우라실(U) 분자는 티민(T) 분자와 매우 유사합니다.

유전학적으로 중요한 차이점은 DNA는 유전이라는 것입니다. DNA는 세포가 분열할 때마다 세포들이 한 세대에서 다음 세대로 옮기는 물질입니다. 세포는 원래 세포의 DNA를 복제하는 DNA를 생성합니다.

RNA는 주형을 사용하여 단백질을 만들지만 RNA는 실제로 유전되는 물질이 아닙니다.

우리는 이 분자들을 사용해서 세포가 어떻게 작동하는지 암호화합니다.

DNA는 기본적으로 우리가 알아내는 프로그램입니다. 그리고 리드아웃 프로그램은 RNA로 시작해서 만들어지는데, RNA는 단백질을 만드는 데 사용됩니다. 단백질도 긴 분자이지만 DNA만큼 길지는 않습니다.

아미노산의 길이는 보통 수백, 때로는 수천 개입니다. 그래서 아미노산은 좀 더 복잡한 분자입니다.

아래의 사진에 보이는 아미노산은 서로 연결되어 단백질을 만드는 분자이기도 합니다.

RNA가 단백질로 전환되는 방법은 RNA의 세 글자의 모든 조합이 RNA를 아미노산으로 암호화하는 것입니다.

따라서 이러한 조합은 64가지나 될 수 있습니다. 64개 중 61개는 아미노산을 암호화하고 그중 3개는 정지 코돈입니다. 따라서 번역 기계는 RNA 분자를 따라서 한 번에 세 개의 뉴클레오티드를 읽습니다.

그리고 3개의 뉴클레오티드마다 아미노산이 생성됩니다. 그리고 이 둘은 하나로 합쳐져서 우리가 단백질이라고 부르는 긴 아미노산을 형성합니다. 번역 기계가 정지 코돈 중 하나에 부딪히면 멈추게 됩니다.

아래의 이미지는 3개의 아미노산을 생성하는 9개의 뉴클레오티드로 이루어진 특정한 세트의 번역을 보여주고 있습니다. 우리는 아미노산의 약칭을 위해 사용하는 20자의 알파벳으로 단백질을 씁니다.

인간의 모든 단백질을 구성하는 아미노산은 총 20개입니다. 실제로는 22개인데, 21번째 아미노산이 발견된 것은 그리 오래되지 않았습니다. 22번째도 마찬가지입니다. 이 아미노산들은 주로 인간 이외의 다른 생명체에도 사용됩니다. 일반적으로 인간에 해당하는 생물학에 대해 생각해 보면 64개의 가능한 코돈이 있다고 볼 수 있습니다. 그중 61개는 아미노산을 암호화하고 정확히 20개의 아미노산을 암호화합니다.

분자 생물학 구조 - Molecular biology structures

이 섹션에서는 대부분 용어와 기능에 대한 설명입니다.

우선 앞서 계속 언급했던 DNA에 대해서 알아보겠습니다. DNA 자체는 매우 긴 분자입니다.

따라서 DNA를 펼쳐보면 각 세포 내부는 길이가 약 2m에 달합니다. 물론 세포는 매우 미세한 크기입니다.

세포 안에 들어갈 수 있으려면 아주 효율적인 방식으로 세포를 감싸야합니다.

이것은 실제로 히스톤이라고 불리는 다른 분자들을 감싸고 있습니다. 아래의 그림에서 왼쪽에 있는 끈에 달린 구슬처럼 말이죠. 그리고 그 히스톤들은 약간 더 긴 조직화된 구조들에 싸여 있습니다.

히스톤 : DNA가 세포 내에서 효율적으로 포장되고 조직될 수 있도록 돕는 단백질의 종류.

이것들이 서로 감겨서 슈퍼 코일링 되어 더 큰 구조로 되어 결국에는 오른쪽에 보이는 염색체를 형성하보니다.

DNA는 자기 주위를 감고 있으며 아주 복잡한 방식으로 자기 주위를 감습니다. 이제 DNA가 전사되고 번역되는 과정을 거치려면 DNA의 포장을 약간 풀어야 합니

다른 종류의 구조는 물리적인 구조가 아니라 서열 구조라고 하고 이걸 반복(Repeats)이라고 부릅니다. 데이터 분석에서 반복에 대해 많이 듣게 될 것입니다. 반복은 두 가지 유형으로 분류할 수 있습니다.

직렬 반복(Tandem repeats)은 연속해서 일어나는 동일한 수열의 반복입니다. 아래의 그림에서는 ‘ATTCG’가 세 번 반복되고 있는 중이죠? 이는 수백 개의 염기쌍 길이의 염기서열이 수천 번 연속적으로 나타나는 경우가 있습니다. 각 염색체 중심체는 180개 염기쌍의 반복으로 이루어져 있는데, 연속적으로 수십만 번 반복됩니다.

따라서 반복은 매우 길고 복잡해질 수 있습니다.

수많은 반복 시퀀스는 여기저기 흩어져 있어서 다른 유형의 분석에 문제를 일으키기도 하고 때로는 문제를 일으킬 수도 있습니다. 염기서열이 매우 짧으면 DNA 염기서열을 읽을 때 한 번에 수백 개의 염기쌍만 읽는다는 것을 기억해야 합니다.

RNA구조에서 녹색으로 표시된 염기서열이 있는데 이것을 코딩 서열(Coding sequence, CDS)이라고 합니다. 이는 실제로 단백질로 번역이 되는 부분이고 아미노산 서열을 결정하는 정보를 포함하고 있습니다. 3개의 염기가 하나의 아미노산을 지정합니다. 하지만 중요한 점은 DNA에서 전사된 RNA 부분이 이 코딩 서열보다 더 길다는 것입니다. mRNA의 시작 부분에는 번역되지 않는 부분이 있는데, 이를 UTR(비번역 영역)이라고 부릅니다. RNA의 시작점이 5' 말단이기 때문에 이를 5' UTR이라고 합니다. 반대쪽 끝에는 3' UTR이 있으며, 이는 보통 더 긴 길이를 가집니다. 이 역시 단백질로 번역되지 않습니다.

인간 세포를 포함한 진핵 세포의 또 다른 중요한 특징은 폴리 A 꼬리(Poly-A tail)가 추가된다는 것입니다. DNA가 RNA로 전사되고 인트론이 제거된 후, RNA 말단에 일련의 아데닌(A) 염기들이 추가됩니다. 이 폴리A 꼬리는 실험적으로 RNA를 세포 밖으로 추출할 때 활용할 수 있는 일종의 '갈고리' 역할을 합니다.

실제로 DNA에서 RNA로 전사되는 과정은 이보다 더 복잡합니다. 전사되는 DNA에는 인트론도 포함되어 있으며, 이는 나중에 제거됩니다. 최종적으로 단백질을 암호화하는 부분을 찾으려면, UTR을 식별하여 제거하고 남은 코딩 서열을 읽어야 합니다. 이를 통해 아미노산 서열로 직접 번역할 수 있게 됩니다.

DNA는 RNA로 전사되는데, 이 과정은 생각보다 복잡합니다. 실제로 전사되는 DNA 부분은 최종 RNA 산물보다 훨씬 깁니다. DNA가 RNA로 전사될 때는 엑손과 인트론을 모두 포함합니다. 이미지에 나타난 것과 같이 한 유전자는 서로 다른 색으로 표시된 5개의 엑손을 가질 수 있으며, 이 엑손들 사이에는 인트론이라 부르는 염기서열이 존재합니다.

전사 후에는 중요한 과정이 일어나는데, 인트론이 제거되고 엑손들이 서로 연결됩니다. 제거된 인트론은 세포에서 버려지거나 재활용됩니다. 남은 엑손들이 실제로 단백질로 번역되는 부분입니다. 이전에 설명했던 코딩 서열은 사실 이렇게 서로 연결된 엑손들의 순서였던 것입니다.

이 구조의 중요한 특징은 세포가 엑손들을 다양한 방식으로 조합할 수 있다는 것입니다. 인트론을 제거하고 엑손을 연결하는 과정에서, 엑손들을 서로 다른 조합으로 연결할 수 있는데, 이를 '대체 스플라이싱'이라고 합니다. 이는 매우 흔한 현상으로, 처음 발견됐을 때는 특이하고 드문 현상으로 여겨졌지만 현재는 인간 유전자의 90% 이상이 어떤 형태로든 대체 스플라이싱을 겪는다는 것이 밝혀졌습니다.

이는 매우 중요한 의미를 갖는데, DNA의 전체 서열을 알고 어떤 부분이 RNA로 전사되는지 안다고 해도, 정확히 어떤 단백질이 만들어질 수 있는지 알아내기 위해서는 더 많은 연구가 필요하다는 뜻입니다. 같은 유전자에서 서로 다른 조합의 엑손으로 다른 성숙한 메신저 RNA가 만들어질 수 있고, 이는 결과적으로 서로 다른 단백질을 만들어낼 수 있기 때문입니다.

단백질은 매우 복잡한 구조를 형성하는데, 여기에는 중요한 2차 구조가 포함됩니다. 단백질의 가장 대표적인 두 가지 2차 구조는 베타 시트(beta sheet)와 알파 나선(alpha helices)입니다. 아미노산들은 평평한 구조인 베타 시트를 형성하거나, 꼬여서 나선형 구조인 알파 나선을 형성할 수 있습니다.

현재까지 수천 개의 단백질 구조가 해결되었습니다. 생물물리학자들이 이러한 단백질들의 성숙한 구조를 밝혀냈는데, 이는 매우 중요한 의미를 가집니다. 왜냐하면 단백질의 구조에 따라 그 기능이 달라지기 때문입니다. 이것이 바로 우리가 단백질 구조를 연구하는 이유입니다.

단백질의 기능을 이해하기 위해서는 단백질의 어느 부분이 구조 내부에 묻혀 있고, 어떤 부분이 바깥쪽에 있는지를 아는 것이 중요합니다. 바깥쪽에 노출된 부분이 아마도 단백질의 활성이 더 높은 부분일 것입니다. 이러한 구조적 이해는 단백질의 기능을 파악하고 예측하는 데 핵심적인 역할을 합니다.

우리 몸의 모든 세포는 동일한 유전자를 가지고 있지만, 세포마다 다르게 행동합니다. 예를 들어, 피부 세포는 혈액 세포와 매우 다르게 행동하는데, 이는 서로 다른 유전자가 활성화되어 있기 때문입니다. 이러한 세포 활동을 조절하는 중요한 방법 중 하나가 전사 인자입니다. 전사 인자(transcription factors)는 게놈에 의해 암호화되는 단백질입니다.

DNA에 돌아가서 DNA 자체나 염색체에 결합하여 단백질의 발현을 조절할 수 있습니다. 이 전사 인자들은 보통 다른 유전자의 상류 부분에 결합하여, 그 유전자의 생산을 가속화하거나 억제할 수 있습니다. 이는 세포가 얼마나 많은 단백질을 생산할지 결정하는 매우 중요한 조절 메커니즘입니다.

또한, 후생적(후생유전학적) 메커니즘도 중요한 역할을 합니다. 후생유전학은 'genetics를 넘어선 것'을 의미하며, DNA 자체 외부에 있는 요인들을 말합니다. 이러한 요인들은 직접적으로 유전되지는 않지만, 세포의 기능과 유전자 발현 방식을 통제하는 역할을 합니다.

가장 중요한 후생유전학적 구조 중 하나는 메틸기(메틸 그룹)입니다. DNA가 메틸화되면 이 메틸화는 세포 주기를 통해 딸세포로 전달될 수 있습니다. 이러한 메틸화 흔적은 유전자의 양이나 발현 시기에 영향을 미치는 조절 요인이 됩니다.

중요한 점은 메틸화는 세포 간에는 유전되지만, 새로운 개체가 생성될 때는 유전되지 않는다는 것입니다. 즉, 세포가 분열하여 같은 유형의 새로운 세포를 생성할 때만 유전됩니다. 이러한 후생유전학적 메커니즘은 세포의 기능을 이해하는 데 매우 중요한 또 다른 유형의 구조입니다.

유전자에서 표현형까지 - From genotype to phenotype

유전자형( genotype)은 세포 안에 있는 모든 유전자의 서열을 총망라한 것을 의미합니다. 다시 말해, 유전자의 모든 돌연변이를 포함하는 개념으로 볼 수 있습니다. 이러한 유전자형은 신체가 어떻게 기능하는지, 세포가 어떻게 작동하는지를 결정하며, 특정 특성이나 질병의 유무도 결정합니다.

반면 표현형(phenotype)은 이러한 유전자형을 제외한 나머지 모든 것을 의미합니다. 구체적으로는 우리가 관찰할 수 있는 모든 특성들을 말합니다. 예를 들어 머리 색깔, 눈 색깔, 키, 몸무게와 같은 신체적 특징뿐만 아니라 유전병이나 건강 상태, 심지어 성격의 여러 측면까지도 포함됩니다. 유전체학 연구에서는 이러한 유전자형이 표현형과 어떻게 연관되어 있는지를 이해하는 것이 중요한 목표이며 이를 위해 다양한 종류의 실험이 수행되고 있습니다.

멘델의 완두콩 실험은 유전자형과 표현형의 관계를 이해하는 좋은 예시를 제공합니다. 완두콩은 사람이나 동물처럼 이배체로, 모든 염색체에 두 개의 사본이 있어 모든 유전자에 대해 두 개의 사본을 가집니다.

이 실험에서 녹색 완두콩은 녹색 유전자를 두 개(yy) 가지고 있고, 노란 완두콩은 녹색 유전자 사본 하나와 노란색 유전자 사본 하나(Yy)를 가집니다. 여기서 대문자 Y는 우성 형질을, 소문자 y는 열성 형질을 나타냅니다. 열성 형질은 그 형질의 유전자 사본이 두 개 있어야만 표현되는 반면, 우성 형질은 유전자 중 하나에만 그 형질이 있어도 표현됩니다.

지난 10년간 전체 유전체 염기서열 분석이 크게 확대되면서, 과학계는 전 세계 수천 개의 개별 게놈 염기서열을 분석해 왔습니다. 이를 통해 세계 각지의 유전적 변이를 파악할 수 있게 되었습니다. 연구 결과 세계 각 지역의 사람들이 그 지역에 특징적인 돌연변이를 가지고 있다는 것이 밝혀졌습니다. 이러한 돌연변이는 단순한 염기 다형성(SNP) 일 수도 있고, DNA에 더 큰 덩어리를 삽입하거나 삭제하는 것과 같은 더 큰 변화일 수도 있습니다.

유럽 전역의 사람들을 대상으로 한 유전체 연구는 유전적 특성이 지역화되는 경향을 잘 보여줍니다. 주성분 분석이라는 통계적 방법을 사용하여 수백만 개의 염기서열 정보를 두 차원으로 축소해 분석한 결과, 같은 지역에 사는 사람들은 유전적으로 비슷한 특성을 공유하는 것으로 나타났습니다. 이는 같은 지역의 사람들이 결혼하고 자녀를 낳는 경향이 있기 때문에 나타나는 자연스러운 현상입니다.

일반적인 유전자형은 AA, AG, GG 이렇게 두 개씩 됩니다. 유럽인의 경우 A가 두 개이면 갈색 눈을 가질 확률은 85%이고, 녹색 눈을 가질 확률은 14%, 파란 눈을 가질 확률은 1%입니다.

현대의 유전자형과 표현형 사이의 연관성 연구는 매우 효율적으로 이루어지고 있습니다.

특정 특징이나 질병을 가진 많은 사람들의 전체 게놈 염기서열을 분석하여 특정 유전자의 돌연변이를 찾아냅니다. 이러한 게놈 전반의 연관성 연구를 통해 특정 SNP나 유전적 변이와 질병이나 특성 사이의 관계를 밝혀낼 수 있습니다.

하지만 중요한 점은 이러한 연관성이 완벽한 인과관계를 의미하지는 않는다는 것입니다. 특정 유전적 변이가 있다고 해서 반드시 특정 질병이나 특성이 나타나는 것은 아니며, 단지 그러한 가능성이 상대적으로 높아진다는 것을 의미합니다.

[High Python] - 컴프리헨션과 제너레이터에 대해서 알아보자

minyoungxi — Tue, 22 Oct 2024 15:43:07 +0900

Introduction

파이썬에서는 컴프리헨션(Comprehension) 이라는 특별한 구문을 사용해서 리스트, 딕셔너리, 집합 등의 데이터 타입을 간결하게 이터레이션하면서 원소로부터 파생되는 데이터 구조를 생성할 수 있습니다. 컴프리헨션 코딩 스타일은 제너레이터(Generator)를 사용하는 함수로 확장할 수 있습니다.

제너레이터는 함수가 점진적으로 반환하는 값으로 이뤄지는 스트림을 만들어줍니다. 이터레이터를 사용할 수 있는 곳이라면 어디에서나 제너레이터 함수를 호출한 결과를 사용할 수 있습니다. 제너레이터를 사용하면 성능을 향상시키고 메모리 사용을 줄이며 가독성을 높일 수 있습니다. 개인적으로 파이썬에 대해서 최소한의 이해를 하고 있다고 자신있게 말하기 위해서는 Iterable, Iterator, Generator에 대해 문제없이 구분하고 활용할 수 있어야 한다고 생각합니다.

Comprehension

Comprehension은 보통 '리스트 표현식' 혹은 '리스트 조건식'과 같이 번역해서 사용하는 경우가 많습니다. 그런데 표현식은 정규 표현식과 같은 expression을 떠올리게 하고 조건식은 'if'문을 떠올리게 합니다.

제가 공부한 내용에 따르면 저 위의 번역은 완벽하다고 볼 수 없습니다. 그래서 저는 '리스트 컴프리헨션'이라는 단어를 그대로 사용하도록 하겠습니다.

Map과 filter 함수 대신 컴프리헨션 사용하기

파이썬에서는 다른 시퀀스나 이터러블에서 새 리스트를 만들어내는 간결한 구문을 '리스트 컴프리헨션'이라고 합니다.
예를 들어 리스트에 있는 모든 원소의 제곱을 계산한다고 하면 for loop 문을 통해서 간단히 구현할 수 있습니다.

a = [1,2,3,4,5,6,7,8,9,10]

squares = []

for x in a:
    squares.append(x**2)
print(squares)

[1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

리스트 컴프리헨션을 사용해서 루프로 처리할 대상인 입력 시퀀스의 원소에 적용할 변환식을 지정함으로써 같은 결과를 더 '짧은' 코드로 구현할 수 있습니다.

squares = [x**2 for x in a]
print(squares)

[1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

이런 계산에 'map' 기능을 사용하려면 반드시 lambda 함수를 정의해야 하는데, 시각적으로 그렇게 좋아보이지 않습니다.

alt = map(lambda x: x**2 , a)
alt

본격적으로 map과 filter를 사용하는 경우와 컴프리헨션을 사용하는 경우를 비교해보면 컴프리헨션 코드가 훨씬 가독성이 높고 효율적인 것을 확인할 수 있습니다.

- 예시 : 2로 나눠 떨어지는 수(짝수)의 제곱만 계산하고 싶다고 해보자. 이런 계산을 수행하려면 다음 코드처럼 리스트 컴프리헨션에서 루프 뒤에 조건식을 추가하면 됩니다.

even_squares = [x**2 for x in a if x % 2 == 0]

print(even_squares)

[4, 16, 36, 64, 100]

lambda 함수를 사용해서 위와 같은 결과를 얻을 수 있지만, 이렇게 만든 코드는 읽기가 어렵습니다.

alt = map(lambda x : x**2, filter(lambda x: x % 2 ==0, a))
assert even_squares == list(alt)

딕셔너리 집합에도 리스트 컴프리헨션과 동등한 컴프리헨션이 있습니다. 각각 딕셔너리 컴프리헨션과 집합 컴프리헨션이라고 합니다.

이를 사용하면 알고리즘을 작성할 때 딕셔너리나 집합에서 파생된 데이터 구조를 쉽게 만들 수 있습니다.

even_squares_dict = {x: x**2 for x in a if x % 2 ==0}
threes_cubed_set = {x**3 for x in a if x % 3 == 0}

print(even_squares_dict)
print(threes_cubed_set)

{2: 4, 4: 16, 6: 36, 8: 64, 10: 100}
{216, 729, 27}

사용 방법은 그렇게 복잡하지 않습니다. 각각의 호출을 적절한 생성자로 감싸면 같은 결과를 map과 filter를 사용해 만들 수도 있습니다.

하지만 이렇게 생성자로 감싸서 작성한 코드는 너무 길기 때문에 여러 줄에 나눠 써야 하고, 그러면 노이즈가 더 늘어나므로 가능하면 map과 filter를 사용하는 것을 피하는 편이 좋습니다.

alt_dict = dict(map(lambda x : (x, x**2),
                    filter(lambda x: x % 2 == 0, a)))

alt_set = set(map(lambda x : x**3,
                  filter(lambda x : x%3 ==0, a)))

Summary

- 리스트 컴프리헨션을 사용하면 lambda 식을 사용하지 않기 때문에 같은 일을 하는 map or filter 내장 함수를 사용하는 것보다 더 명확합니다.

- 리스트 컴프리헨션을 사용하면 쉽게 입력 리스트의 원소를 건너뛸 수 있습니다. 하지만 map을 사용하는 경우에는 filter의 도움을 받아야만 합니다.

- 딕셔너리와 집합도 컴프리헨션으로 생성할 수 있습니다.

추가

위의 예시에서 봤던 것처럼 if문을 사용할 경우 조건을 걸 수가 있습니다. 이렇게 리스트 컴프리헨션에서 조건문을 통해 특정 값만 필터링을 할 수 있다고 말씀드렸죠 ?

size = 10
arr = [n for n in range(1, 11) if n % 2 == 0]

print(arr)

[2, 4, 6, 8, 10]

그렇다면 조건문 여러 개를 사용할 수 있을까요 ?

만약 1부터 10까지의 값을 루프하는 리스트를 만든다고 가정해봅시다.

조건은 '2의 배수이고 3의 배수'인 수만 필터링하거나, '2의 배수이거나 3의 배수'인 수만 필터링을 하는 것입니다.

첫 번째 조건에 해당하는 코드는 역시 다음과 같이 한 줄로 작성할 수 있습니다.

그런데 여기서 이상한 점이 있는데요, '2의 배수이고 3의 배수'라면 AND 조건을 사용해야 하는데 'and'를 사용하지 않습니다.

arr = [n for n in range(1, 31) if n % 2 == 0 if n % 3 == 0]

arr

[6, 12, 18, 24, 30]

놀랍게도 and를 명시적으로 넣어주면 SyntaxError가 발생하는 것을 볼 수 있습니다.

arr = [n for n in range(1, 31) if n % 2 == 0 and if n % 3 == 0]

arr

SyntaxError: invalid syntax

반대로 다중 if 조건문에 대한 OR 연산은 아예 안 됩니다. 명시적으로 or 연산자를 입력하면 SyntaxError가 발생하고 쓰지 않으면 AND로 해석됩니다. 따라서 이런 경우에는 if 문을 여러 개 쓰지 말고, 한 if 문에서 ‘or’ 연산자로 논리 연산을 묶어줘야 합니다.

arr = [n for n in range(1, 16) if n % 2 == 0 or n % 3 == 0]

print(arr)

[2, 3, 4, 6, 8, 9, 10, 12, 14, 15]

[Pytorch 다시보기] - Pytorch Intro! 파이토치를 다시보자! 토치의 텐서에 대해서.

minyoungxi — Wed, 16 Oct 2024 21:47:30 +0900

What is Pytorch and how does it differ from other deep learning frameworks like Tensorflow? - Pytorch와 Tensorflow는 무엇이 다를까?

Pytorch는 페이스북 AI 연구소에서 만들어진 오픈소스 머신러닝 라이브러리 입니다. Pytorch는 동적 계산 그래프(Dynamic Computation Graphs)의 강점을 기반으로 구축되었습니다. Pytorch의 기능과 편리한 Workflow 덕분에 연구원과 개발자 모두에게 인기가 높아졌습니다.

Dynamic Computation

정적 계산 그래프를 활용하는 Tensorflow와 달리 Pytorch는 동적 계산 기능을 제공합니다.

이를 통해 더 복잡한 아키텍처를 처리합니다. 또한 반복적이고 쉬운 Workflow를 사용할 수 있죠.

게다가, Pytorch의 Pythonic한 구성 요소와 자연스럽게 결합되어 더 직관적인 개발 경험을 제공합니다.

이미 Hugging face 혹은 Github 만 보더라도 Tensorflow보다 Pytorch로 모델링한 코드가 훨씬 많습니다.

Ease of Use

Pytorch는 Python과 매우 비슷한 인터페이스를 가지고 있고, 이는 기존에 파이썬을 다룰 수 있던 사람들에게 매우 편리하게 느껴집니다.

또한 GPU의 계산 능력을 활용하여 훈련 시간을 크게 단축하는 데 용이합니다. 그리고 원활한 다중 GPU 활용이 가능합니다. 그리고 Loop 및 조건문과 같은 Python 제어 구조를 통합하여 사용하기에 개발작 모델 동작을 정의하는 데 더 많은 유연성을 제공합니다.

Explain the concept of Tensors in PyTorch

PyTorch에서 텐서는 기본 구성 요소 역할을 하며 CPU, GPU, TPU와 같은 다양한 기기에서 효율적인 수치 계산을 가능하게 합니다.

개념적으로는 numpy.arrays와 유사하지만 하드웨어 가속의 이점이 있고, 딥러닝과 과학적 컴퓨팅을 위한 다양한 고급 기능을 제공합니다.

핵심 기능 - Core Features

자동 미분(Automatic Differentiation): 텐서는 수행된 연산을 추적하여 신경망의 **경사 하강(Greadient Descent)**과 같은 작업에 대한 즉각적인 미분을 허용합니다.

계산 그래프(Computational Graphs): 텐서에 대한 연산은 계산 그래프를 구성하여 데이터 흐름과 관련 경사를 추적할 수 있습니다.

장치 독립적(Device Agnosticism): 텐서는 최적의 계산을 위해 사용 가능한 하드웨어 리소스 간에 유연하게 이동할 수 있습니다.

유연한 메모리 관리(Flexible Memory Management): PyTorch는 메모리를 동적으로 관리하고 텐서는 계산 그래프를 인식하여 가비지 수집을 보다 효율적으로 만듭니다.

Unique Tensors

Float16, Float32, Float64: 텐서는 다양한 수치적 정밀도를 지원하며, 기본값은 32비트 부동 소수점입니다.

희소 텐서(Sparse Tensors): 이는 밀집 텐서와 매우 유사하지만 0이 많은 작업에 최적화되어 메모리와 계산을 모두 절약합니다.

양자화된 텐서(Quantized Tensors): 더 빠른 작업과 더 낮은 메모리 풋프린트(foot print)의 이점을 얻기 위해 정밀도를 낮춰야 하는 작업을 위해 특별히 설계되었습니다.

요소별 연산: PyTorch는 병렬 처리를 위해 설계되었으며 다양한 방식으로 적용할 수 있는 풍부한 요소별 연산 세트를 제공합니다.

사용 예시

Pytorch의 최신 버전에서는 자동 미분 기능이 탑재되어 있으며, 직접 텐서를 사용하는 것으로 변수 기능이 대체됩니다. requires_grad flag를 설정함으로써 어떤 텐서들이 기울기를 추적할지 지정할 수 있습니다.

torch.tensor → Pytorch의 Tensor를 생성합니다.

torch.tensor(3., requires_grad=True) 는 3.0 값을 가지는 새로운 텐서를 생성합니다. requires_grad=True 는 이후에 x와 y에 대해 미분(Gradient)을 계산하고자 하기 때문입니다.

이 옵션이 설정되면, PyTorch는 해당 텐서와 관련된 모든 연산을 기록하고, 연산 그래프(Computational Graph)를 생성하여, 이후 backward() 호출 시 기울기(Gradient)를 자동으로 계산합니다.

z.backward()는 z에 대한 역전파(Backpropagation)를 수행합니다. 역전파는 목표 변수(z)로부터 출발하여, 그 값에 영향을 미친 모든 텐서(x, y)의 기울기를 계산하는 과정입니다.

import torch

# Define tensors
x = torch.tensor(3., requires_grad=True)
y = torch.tensor(4., requires_grad=True)
z = 2*x*y + 3

# Visualize the graph
z.backward()
print(x.grad)
print(y.grad)


tensor(8.)
tensor(6.)

Summary

requires_grad=True 옵션을 통해, Tensor가 계산 그래프에서 미분 대상이 됨을 설정합니다.
연산(2*x*y + 3)이 이루어지면, PyTorch는 이 계산 과정을 그래프 형태로 기록합니다.
z.backward()를 호출하면, 해당 결과 변수인 z에 대한 모든 연산 그래프를 통해 기울기를 계산하고, x.grad와 y.grad에 각 미분값을 저장합니다.
이 기울기들은 이후 모델 학습 과정에서 파라미터 업데이트 등에 사용될 수 있습니다.

[논문리뷰] - Sound Analysis에 대해서 알아봅시다! ( 기침 소리를 4 class로 분류한 최초의 논문 ? )

minyoungxi — Mon, 14 Oct 2024 23:44:32 +0900

Impact Factor : 1.7 Journal Impact Factor (2023)

Citations : 7

Introduction

Sound analysis에 관련된 프로젝트를 처음으로 참여하게 되어서 관련된 논문을 찾아보던 중 가장 유사한 내용을 연구한 페이퍼를 찾게 되어서 소개드립니다. 이 페이퍼는 기침 소리를 사용하여 여러 질병을 자동으로 진단하는 새로운 기계학습 모델인 DKPNet41에 대해 설명하고 있습니다.

연구 목적 : Covid-19, 심부전, 급성 천식, 정상 상태를 포함하는 4가지 진단 카테고리에 대한 기침 소리 데이터를 수집하고, 이를 이용해 자동 진단 모델을 개발 및 검증.

- 4-class cough detection -> Covid-19, heart failure, acture asthma, healthy ( 코로나, 심부전, 급성 천식, 정상)

- 이전 연구들의 한계점 언급 -> 기존 연구들과 달리 4가지 카테고리를 동시에 분류하는 다중 클래스 분류 수행

Dataset

데이터셋은 튀르키예 대학 병원에서 제공했다고 합니다. 그리고 본 연구에서는 오픈 데이터셋을 사용했다고 언급하고 있습니다.

타양한 포맷들(ogg, mpeg, mp4 ,m4a)로 이루어져 있고, 이후에 설명하지만 이 포맷들을 모델의 강건한(robust) 분류 능력을 위해

다양한 오디오 포맷을 통일시키지 않고 그대로 사용합니다.

842명의 환자들에게서 2944개의 Sample들을 추출했습니다.

본 연구에서는 어떤 전처리 알고리즘도 사용하지 않았고, 기침 소리만 세그멘테이션하여 사용한다고 언급합니다.

“Furthermore, we have not used any preprocessing algorithm, only cough sounds have been segmented. In addition, few speech signals were deleted manually. These cough sounds were collected from definitively diagnosed patients.” (Kuluozturk 등, 2022, p. 3)

단, 일부 음성 신호가 섞인 경우 수동으로 삭제되었다고 언급합니다.

그리고 Covid-19 경우 의사들이 PCR 테스트 결과를 확인한 후에 기침 소리를 수집했다고 합니다.

데이터에 대한 설명을 보면 전반적으로 최소한의 데이터 전처리를 수행했으며, 주로 기침 소리의 세그멘테이션(Segmentation)에 초점을 맞추어 진행한 것을 알 수 있습니다. 이는 모델이 실제 환경에서의 적용 가능성을 높이기 위한 일반화에 집중하겠다는 의도로 보여집니다.

Method

본 연구의 제목처럼 'DKPNet41' 모델의 방법론은 아래의 구조를 가집니다.

Fig. 2는 DKPNet41 모델의 전체 아키텍처를 보여주는 도식입니다.

이 아키텍처는 다음과 같은 주요 단계로 구성되어 있습니다:

먼저, 기침 소리가 입력으로 들어옵니다. 이 기침 소리는 세그먼트화된 형태로 사용됩니다.

모델은 원본 기침 소리와 분해된 소리로부터 특징을 추출합니다. 특징 추출 단계에서는 DKP(Directed Knight Pattern) 방법이 사용됩니다.

분해 과정(Decomposition)에서는 평균 풀링 방법을 사용하여 서브밴드를 얻고, 각 서브밴드에서 DKP 방법으로 특징을 추출합니다. 이 분해 과정은 10번 반복되며, 각 반복에서 4개의 특징 벡터가 생성됩니다.

다음 단계에서는 모델이 생성된 41개의 특징 벡터(원본 신호 1개 + 분해된 신호 40개) 중에서 가장 좋은 특징 벡터 10개를 선택하고 결합합니다. 마지막으로, 결합된 특징 벡터에서 가장 중요한 특징들을 선택하고, 이를 사용하여 '급성 천식', 'Covid-19', '심부전', '건강' 카테고리로 분류합니다. 이 아키텍처는 특징 추출, 특징 선택, 그리고 분류의 세 가지 주요 단계를 효과적으로 결합하여 높은 정확도와 효율성을 달성하도록 설계되었습니다.

Step1. Sub-bands 생성
- 평균, 최대, 최소, 조건부 풀링 함수를 사용하여 sub-bands 생성
- size 2의 비중첩 윈도우(non-overlapping)를 사용하여 기침 소리 분해
- 조건부 풀링은 입력 값의 부호에 따라 다른 통계 모멘트(최대, 최소, 평균)를 적용.

Step2. DKP를 사용한 특징 추출
- 각 서브밴드와 원본 기침 소리에서 1,536개의 특징을 추출.
- 1차원 입력 신호를 9개의 중첩 블록으로 나눔. (*One-dimensional signal input is divided into nine overlapping blocks.*)
- 9개 크기의 중첩 블록을 3x3 크기의 행렬로 변환
- 생성된 3x3 행렬에 DKP를 적용.
- DKP는 체스의 나이트 이동 패턴을 기반으로 한 두 가지 유형의 방향성 그래프 패턴 사용

- DKP 패턴과 directed 커널을 사용하여 비트를 생성.
- Directed signum, upper temary, lower ternary 함수를 사용.
- 생성된 비트를 이진-십진수 변환하여 6개의 맵 신호를 생성.
- 생성된 6개 맵 신호의 히스토그램을 추출
- 추출된 6개 히스토그램 병합 후 1536(256x6) 크기의 특징 벡터를 생성
- 41개 특징 벡터(40개 sub bands + 1 원본 신호)의 정확도를 계산
- KNN 분류기와 5-fold 교차 검증 사용
- 상위 특징 벡터 (계산된 정확도를 기반으로 상위 10개 특징 벡터 선택 )

INCA(Iterative Neighborhood Component Analysis) 선택기의 파라미터.
- kNN -> k=1 , 맨해튼 측정법, voting 방식 none, 표준화 : True

모델의 전체 및 각 진단 카테고리별 성능 지표

Insight + Contribution

기존 연구들은 주로 이진 분류에 초점을 맞춘 반면 , 해당 연구는 4-class를 동시 분류하는 다중 클래스 문제를 해결했습니다.

DKPNet41 모델은 99.39%의 높은 정확도를 달성했습니다. ( 기존의 다중 클래스 분류 연구인 Pal and Sankarasubbu의 90.80%, Knocikova et al.의 90%)보다 우수한 성능이죠.

또한 해당 모델은 낮은 계산 복잡도를 가지고 있으며 이는 실제 임상 환경에서의 실용성을 높일 수 있는 중요한 요소라고 생각합니다.

- 10-fold 교차 검증뿐만 아니라 다양한 분할 비율(90:10에서 50:50까지)의 홀드아웃 검증에서도 일관되게 높은 성능을 보였음.

향후 응용 가능성:
- 인공지능 기반의 기침 소리 진단을 위한 새로운 지능형 칩 진단 모델과 애플리케이션 개발이 가능할 것.
- 폐의학 및 심장학 클리닉에서 실제로 구현 가능한 수준의 성능을 보여줌.

[논문리뷰] - All models are wrong and yours are useless: making clinical prediction models impactful for patients - 의료 인공지능 연구자들의 필수 아티클

minyoungxi — Tue, 3 Sep 2024 12:01:53 +0900

Preview

본 논문은 의료 분야에서 출간되는 여러 논문들에 대해 신랄하게 비판하고 있습니다. 요즘에는 좋은 저널에 실린 훌륭한 AI 기반 예측 모델들이 굉장히 많은데요, 이 연구들은 실제 임상에서 거의 사용되지 않습니다.

npj에 실린 이 아티클은 여러 논문에 실린 모델들이 왜 쓸모없는지(useless)에 대해 굉장히 현실적인 인사이트를 담고 있습니다. 저자는 캠브리지 대학의 연구자로 지난 20년간 의료 예측 모델을 개발하고 이를 사업화하는 과정에서 얻은 깨달음을 본 아티클을 통해 여러 연구자들에게 전하는 것 같습니다.

저자는 지난 20년간 본인의 연구를 임상 현장에서 사용될 수 있도록 만들기 위한 과정에서 아래와 같은 'Observation'들을 얻었다고 언급합니다.

Interesting Points

아티클은 약 세 장 분량으로 매우 짧은 페이퍼입니다. 하지만 짧은 페이퍼안에 매우 신랄한 비판들이 실려있습니다. 첫 문단에 나와있는 내용을 보면 연구자들에게 던지는 메세지가 인상적입니다. 'I think your model is uselss' 라며 꽤나 직접적으로 연구자들을 디스(?) 하고 있습니다. 의료 도메인의 논문들에서 자주 발견되는 단어들에 대해서도 꼬집는데요.

"might", "could", "potential" 과 같은 책임을 회피하는 듯한 단어들을 사용한다고 비판하고 있죠.

저자는 아래의 논문을 출판한 경험을 언급합니다. 해당 논문은 대장암(colon caner)을 새로운 아형으로 분류하는 방법을 제안하며 이 아형들에 대한 조직병리학적 마커(Histopathology markers)를 설계했다고 합니다. 이 아형들을 쉽고 유용하게 만들기 위한 노력이 많이 들어간 논문이었지만, 실제로 연구에서 발견한 분류 체계들 중 환자들에게 도움이 될 만한 요소는 없었다고 합니다. 또한 해당 연구 뿐만 아니라 저자의 연구실에서 진행하는 유방암(Breast Cancer)과 췌장암(Pancreatic Cancer)의 아형들 또한 임상에서 널리 사용되지 않는다고 합니다.

https://pubmed.ncbi.nlm.nih.gov/23584090/

Poor-prognosis colon cancer is defined by a molecularly distinct subtype and develops from serrated precursor lesions - PubMed

Colon cancer is a clinically diverse disease. This heterogeneity makes it difficult to determine which patients will benefit most from adjuvant therapy and impedes the development of new targeted agents. More insight into the biological diversity of colon

pubmed.ncbi.nlm.nih.gov

학계의 기준으로 봤을 때 저자의 논문은 매우 성공적인 연구입니다. 해당 분야에서 크게 인정받았고 인용(citation)수도 많았죠.

그럼에도 불구하고 저자는 뭔가 놓친 듯한 느낌이 들었다고 합니다. ( Still, it feels to me like there is something missing )

저자는 학술 논문을 논문 자체의 목적이 아닌 임상 적용을 향한 여정의 시작으로 보게 되었다고 합니다. 그리고 본인의 연구 중 임상적 영향이 매우 적다는 것에 대해서 좌절감을 느꼈습니다. 저자는 지난 20년간 깨달은 바에 대해서 다음과 같이 설명합니다.

관찰1. 학계에서의 성공이 임상에서의 성공과 동일하지 않다.

학계에서의 성공은 논문, 연구비, 영향력 지수, 인용 횟수로 측정됩니다. 반면, 당신의 모델이 임상에서 성공했는지는 다르게 측정됩니다. 얼마나 많은 병원에서 자주 사용되는지 , 궁극적으로 환자들에게 어떤 도움이 되는지와 같은 것들이죠.

저자는 학술적인 연구가 왜 임상에서 성공적이지 못하는지에 대해서 설명합니다.

학술적인 성과를 실제로 구현(implement)할 동기가 없기 때문이라고 하죠. 학계의 커리어에서는 구현(implement)보다 참신성에 우선을 둡니다. 왜냐하면 이미 확립된 모델을 구현하기 위해 병원 소프트웨어 시스템의 세부 사항을 탐색하는 것보다, 또 다른 모델을 발표하는 것(아무리 쓸모없다 하더라도)이 당신의 경력에 더 도움이 되기 때문입니다.

관찰 2: 성공적인 모델들은 일상적인 진료에서 이용 가능한 데이터를 사용한다.

TCGA7와 같은 대규모 학술 컬렉션은 마치 DNA, RNA, 메틸화, 영상, 단백체학 데이터를 통합하는 것이 이미 일반적인 관행인 것처럼 보이게 합니다. 하지만 실제 임상 현실에서 사용할 수 있는 유일한 데이터는 H&E 슬라이드와 일부 DNA 정보 정도일 것입니다(그나마도 같은 환자의 것이기를 바랄 뿐입니다).

결과적으로, 중요한 진전이 무엇인지에 대한 학계의 시각(더 많은 공간 정보! 더 많은 멀티오믹스!)은 임상 현실과 맞지 않습니다.

이 관찰은 특히 유전자 발현 데이터와 관련하여 중요합니다. 유전자 발현 데이터는 학계에서는 흔히 사용되지만7-9, 임상에서는 OncotypeDx, MammaPrint, ProSigna와 같이 유방암에 대한 임상 결정을 개선하는 소수의 성공 사례만을 만들어냈습니다. 이는 20년 전에 획기적인 돌파구로 찬사받았던 분야10에 비해 실망스러운 결과입니다.

관찰 3: 성공적인 모델들은 구체적인 행동과 연결되어 있다.

저자가 앞서 설명한 암 아형 분류 연구들이 본인이 희망했던 만큼의 영향력을 갖지 못한 이유는, 그것들이 명확한 행동 지침과 연결되지 않은 채 단순히 생존율의 차이만을 보여주기 때문입니다.

일부 환자들의 예후가 더 좋고 다른 이들의 예후가 더 나쁘다는 것을 알면 뭐가 달라질까요? 마찬가지로, 유방암 아형을 위한 원래의 PAM50 분류기10는 어떤 구체적인 행동과도 연결되지 않아 쓸모없었습니다. 이는 ProSigna 검사가 이를 수정하여 고위험 환자들에게 보조 화학요법을 추천하는 예후 점수로 만들기 전까지의 이야기입니다.

관찰 4: 성공적인 모델들은 최고 수준의 센터 외부에서도 구현된다.

만약 당신이 영향력을 갖고 싶다면, 당신의 도구는 케임브리지, 스탠포드, 취리히와 같은 최고 수준의 기관 외부에서도 사용되어야 합니다.

당신의 소속 기관에 있는 연구에 능통한 임상의와 협력하는 것은 필요하지만, 진정한 영향력을 위해서는 당신의 학술적 편안함을 벗어나 다른 곳의 의사들이 당신의 도구를 유용하다고 생각하는지, 그리고 그것이 다양한 임상 경로와 의사 결정 절차에 얼마나 잘 맞는지 알아내야 합니다.

이 관찰은 의료 기술의 폭넓은 적용과 실제 임상 환경에서의 유용성에 대해 중요한 점을 지적하고 있습니다. 최고 수준의 연구 기관에서 개발된 모델이 실제 일반적인 의료 환경에서도 효과적으로 작동하는지 확인하는 것이 중요함을 강조하고 있죠. 이는 의료 기술의 실질적인 영향력과 확산을 위해 필수적인 단계라고 볼 수 있습니다.

관찰 5: 임상에서의 성공은 어렵게 얻어진다.

병원은 환자들에 대한 책임의 일환으로 혁신을 수용할 의무가 있습니다. 하지만 병원은 보수적이고 엄격하게 규제되는 환경입니다. 여기서는 기존 관행의 모든 변화가 환자에게 미칠 수 있는 잠재적 해악과 상쇄되어야 합니다. 게다가 의료 시스템은 자금이 부족하고 의사들은 과로에 시달리고 있다는 사실을 고려하면, 왜 당신이 새로운 접근 방식의 유용성에 대한 상당한 증거를 제시해야 하는지 이해할 수 있을 것입니다. 이는 병원이 당신의 학술적 통찰을 고려하기 시작하기 전에 필요한 과정입니다.

이 관찰은 학술 연구 결과를 실제 임상 현장에 적용하는 과정의 어려움을 잘 보여줍니다. 의료 환경의 특성상 새로운 기술이나 방법을 도입하는 데에는 많은 증거와 노력이 필요하며, 이는 연구자들에게 추가적인 부담이 될 수 있음을 지적하고 있습니다. 그럼에도 불구하고, 이러한 과정은 환자 안전과 의료 품질 향상을 위해 필요한 단계임을 이해하는 것이 중요합니다.

연구 결과의 임상 적용에 대한 현실적인 접근 방식을 제시하고 있습니다. 단순히 시간이 지나면 임상에 적용될 것이라는 수동적인 태도보다는, 구체적인 계획과 로드맵을 가지고 능동적으로 임상 적용을 추진해야 한다는 점을 강조하고 있습니다. 또한, 규제 과정의 중요성과 이를 조기에 고려해야 한다는 점도 중요하게 다루고 있습니다.

바렛식도(Barrett oesophagus)를 감지하기 위한 내시경의 최소 침습적 대안인 Cytosponge로 촬영한 이미지를 분석하는 AI 모델에 대한 우리의 연구는 저자의 박사 학생 중 한 명이 설립한 Cyted라는 회사의 기반이 되었습니다(www.cyted.ai).

그리고 다양한 유형의 염색체 불안정성을 측정하는 저자의 연구는 범암 정밀 플랫폼을 가진 유전체학 스타트업인 Tailor Bio의 설립으로 이어졌습니다(www.tailor.bio).

이 회사들이 정말로 저자의 연구실에서 진행된 학술 연구를 광범위하게 일상적인 진료에 적용할 수 있을지는 시간이 지나면 알 수 있을 것입니다. 하지만 저자는 적어도 그들이 그곳에 도달하기 위한 구체적이고 실용적인 계획을 가지고 있다고 확신합니다. 그러한 계획이 없었다면 그들은 결코 자금을 조달받지 못했을 것이기 때문입니다.

아래의 내용은 본 아티클에서 언급한 임상 예측 모델을 개발할 때 고려야할 중요한 사항들입니다.

- 명확한 임상 결정 지점을 다루고 있습니까?

- 당신의 도구가 그 의사결정에 도움이 되는 매개변수를 출력합니까?

- 명확한 임상 결정 지점을 다루고 있습니까? 확실합니까? 해당 분야의 전문가인 임상 협력자와 상의해 보는 것이 좋습니다.

- 입력 매개변수들이 일반적인 임상 진료에서 사용되고 있습니까?

- 명확한 임상 결정 지점을 다루고 있습니까? 정말로, 정말로 확실합니까? 다양한 전문가와 이해관계자 그룹으로부터 조언을 구하는 것이 좋습니다.

- 인터페이스가 입력과 출력 모두에서 사용하기 쉽습니까?

- 당신의 모델이 현재의 임상 판단에 어떤 가치를 더합니까?

- 당신의 도구가 기존 도구들보다 더 나은 점이 있습니까?

- 당신의 구현 계획은 무엇입니까?

a. 의사들이 실제로 이 도구를 사용하기 위해 무엇이 필요합니까?
b. 의료기기 규제를 통과하기 위한 경로는 무엇입니까?
c. 의료 환경이 이를 받아들일 준비가 되어 있습니까?

Review

본 아티클은 학술적인 연구에서 개발된 모델이 임상적으로 유용성을 가지기 어렵다는 점을 강조하고 있습니다. 저역시 의료 인공지능을 연구하는 연구자로서 '연구'라는 것에 대해서 진지하게 다시 고민해볼 수 있는 아티클이었습니다.

연구자들 뿐만 아니라 대학교, 임상가, 벤처 투자자 등 관련 업계 분들이 반드시 읽어봐야 하는 가이드북이 아닐까 싶습니다.

특히 학계에서 연구를 평가하는 지표인 IF(Impact Factor), Citation, Funding 등을 직접적으로 비판하는 것은 매우 인상깊었습니다. 저자도 같은 연구자이기에 이 분야에서 인정받은 사람이 기존의 관행에 정면으로 부딪히는 일은 매우 어려운 일이죠.

연구 선배가 해주는 조언같은 아티클이었습니다.

[논문리뷰] Changes in Cytomegalovirus Seroprevalence in Korea for 21 Years a Single Center Study - 우리는 사실 모두 CMV 감염자였다?

minyoungxi — Tue, 20 Aug 2024 15:58:43 +0900

Terms

본 논문에서 CMV IgG 검사에 대한 내용이 주로 언급되므로 CMV 검사와 CMV IgG 혈청 검사의 차이점에 대해서 먼저 알아봐야합니다.

CMV 검사는 일반적으로 활동성 CMV 감염을 진단하기 위한 검사를 의미합니다. 주로 바이러스 자체를 검출하는 방법을 사용합니다(PCR과 같은 방법). CMV IgG 검사는 과거에 CMV에 노출되었는지 확인하는 항체 검사입니다. CMV에 대한 면역글로불린(IgG) 항체의 존재를 확인합니다. 즉, CMV IgG 검사에서 양성이 검출된다면 과거에 CMV에 한 번이라도 노출된 상태였다는 것을 의미하는 것이죠.

가임기란?

일반적으로 여성의 가임기는 초경(첫 월경)부터 시작해서 폐경까지의 기간을 의미합니다.

구체적으로는

시작: 보통 11-15세 사이에 초경이 시작됩니다. 평균적으로는 12-13세 정도입니다.
종료: 폐경은 대개 45-55세 사이에 일어나며, 평균적으로 51세 정도입니다. 폐경은 12개월 동안 월경이 없을 때 공식적으로 진단됩니다.

Abstract

연구의 목적은 장기간에 걸친 (21년, 1995~2015) 한국인의 CMV 항체 양성률 변화를 분석하여 시간에 따른 변화 파악

데이터 수집:
- 기간: 1995년 1월부터 2015년 12월까지 (21년간)
- 장소: 성균관대학교 의과대학 삼성서울병원
- 대상: CMV IgG 검사를 받은 모든 환자 (총 11,584명)
- 중복 제거: 한 환자가 여러 번 검사를 받은 경우 첫 번째 결과만 사용

데이터 분류:
- 시기별: 1기(1995-2005년)와 2기(2006-2015년)로 구분
- period1 , period2
- 연령별: 10년 단위로 그룹화 (0-10세, 11-20세 등)
- 성별
- 지역별: 7개 광역시와 6개 도 포함

검사방법
- 2008년 이후: VIDAS CMV IgG (Biomerieux, France) 사용
- 2008년 이전: 사용된 키트 정보 불가

가임기 여성의 CMV 감염에 대한 내용

Data from 2,441 females in the reproductive age (15 to 49 years old) were further analyzed CMV IgG positivity was 97% (2,467/2,441) and the average seropositivity in each age group (every 5 years; 15–19, 20–24, 25–29, 30–34, 35–39, 40–44, and 45–49) was 83.8%, 97.6%, 97.2%, 97.2%, 98.6%, 99.5%, and 99.5%, respectively

가임기 여성 2441명의 데이터를 보면 CMV IgG 양성률은 97%로 매우 높았습니다. 5년 단위로 연령대를 나누어 분석했을 때, 15-19세를 제외한 모든 연령대에서 97% 이상의 높은 양성률을 보였습니다.

Comparison of CMV seropositivity between women of reproductive age and men in the same age group is shown in Fig. 2B. CMV seropositivity in women in the 20–24-year age group

20-24세 여성의 CMV 항체 양성률은 같은 연령대의 남성보다 유의하게 높았습니다.

The overall CMV IgG positivity in the first child bearing age group (25–30 years of age)18) was 96.1%. There was no difference in seropositivity between period 1 (97%, 192/198) and period 2 (95.4%, 272/285) (P=0.482).

첫 출산 연령대(25-30세)의 전체 CMV IgG 양성률은 96.1%였으며, 1기와 2기 사이에 유의한 차이가 없었습니다.
-> 이는 한국의 가임기 여성들 중 대부분이 CMV에 이미 노출되었다?

Such a high female CMV seropositivity in reproductive age implies that the Korean congenital CMV infection would be mostly caused by re-infection or re-activation rather than by primary infection.

가임기 여성의 높은 CMV 항체 양성률은 한국의 선청성 CMV 감염이 주로 재감염이나 재활성화(reproductive)에 의해 발생할 가능성이 높다는 것을 시사합니다.
-> 1차 감염에 의한 선천성 CMV 감염이 더 흔한 미국과 다른 양상임.

미국 논문에 따르면 선천성 CMV(Congenital CMV)에 대한 내용이 주요함.

Table2
- 독일 (1996-2010):
    - 대상: 임신부
    - 결과: 1996-2000년 44.3%, 2001-2005년 42.8%, 2006-2010년 40.9%로 감소 추세
- 일본 (2003-2012):
    - 대상: 임신부
    - 결과: 2003년 69.9%에서 2012년 65.2%로 감소
- 태국 (1984 vs 1989):
    - 대상: 아동
    - 결과: 1984년 59.0%에서 1989년 46.0%로 감소
- 일본 (2001-2002 vs 2013):
    - 대상: 제대혈
    - 결과: 2001-2002년 75.7%에서 2013년 67.2%로 감소
- 스페인 (1993 vs 1999):
    - 대상: 여성
    - 결과: 6-10세: 1993년 56.7%에서 1999년 43.7%로 감소 31-40세: 1993년 90.3%에서 1999년 79.1%로 감소

여러 국가에서 시간이 지남에 따라 CMV 혈청 유병률이 감소하는 경향을 보여줍니다. 이는 한국의 높은 CMV 양성율과 대조되는 결과로 한국의 상황이 다른 국가들과 다르다고 볼 수 있습니다.

A
두 기간(1기: 1995-2005년, 2기: 2006-2015년)에 대한 데이터를 비교
20세 이상의 모든 연령 그룹에서 양성률이 95% 이상으로 매우 높게 유지
대부분의 연령 그룹에서 CMV 혈청 양성률이 매우 높습니다(95% 이상).

B
이 그래프는 가임기 여성의 CMV 혈청 양성률을 같은 연령대의 남성과 비교
대부분의 연령 그룹에서 여성의 CMV 혈청 양성률이 남성보다 높습니다.
특히 20-24세 그룹에서 여성(97.6%)과 남성(85.6%) 사이의 차이가 통계적으로 유의합니다.

CMV seropositivity by region

Among 10,900 patients who were CMV IgG positive, 89.2% (9,718/10,900) had residential region identified by medical records (Fig. 3). The CMV seropositivity of all regions was over 90% in all metropolitan cities and provinces with no statistical significance.

Fig3 에서 CMV IgG 양성인 10,900 명의 환자 중 89.2% 의 거주 지역이 의무기록을 통해 확인되었음.

전국적으로 높은 양성률을 보임.

-> 사실 이전의 결과만 봐도 90%대에 육박하는 양성률 때문에 전국적으로도 높게 측정될 수 밖에 없다고 생각됨.

Conclusion

'Congenital and perinatal cytomegalovirus infection' - 김창수(2010) 논문에 따르면 한국인의 유전적 특성이 CMV 감염에 대한 감수성에 영향을 미칠 수 있다는 가설을 제시했지만, 이를 뒷받침할 직접적인 증거는 제한적입니다.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3053812/ (Congenital cytomegalovirus infection in Korean population with very high prevalence of maternal immunity - 손영모(1992) ) 논문에 따르면 한국의 전통적인 육아 방식, 특히 여러 세대가 함께 사는 가족 구조가 어린 아이들과 성인 간의 CMV 전파를 증가시킬 수 있다고 제안했습니다.

이외에 다양한 한국 상황에 대한 연구가 진행되었지만, 이 연구들의 내용은 대부분 가설적이며 한국의 cCMV IgG 높은 양성률에 대한 정확한 원인을 밝히기 위해서는 더 많은 연구가 필요합니다. 또한 다른 아시아 국가들도 비교적 높은 CMV 양성률을 보이고 있어, 이것이 한국만의 특수한 현상인지 아니면 지역적 특성인지에 대한 추가적인 연구도 필요할 것으로 보입니다.

[논문리뷰] - Valganciclovir for Symptomatic Congenital Cytomegalovirus Disease - CMV 라는 바이러스 !!

minyoungxi — Tue, 20 Aug 2024 14:59:45 +0900

Terms

symptomatic congenital cytomegalovirus (CMV) disease - 시토메갈로 바이러스 (거대 세포)
- 정상인에게는 별 문제가 되지 않으나 신생아에게는 심각한 영향을 줄 수 있는 바이러스

호중구감소증(neutropenia) - 본 연구에서는 안정성 지표로 사용되었습니다. 호중구감소증은 혈액 내 호중구(백혈구의 일종) 수가 정상보다 낮은 상태를 말합니다. 이 연구에서는 특히 3등급 또는 4등급의 심각한 호중구감소증에 주목했습니다.

- 연구에서 경구 valganciclovir 사용 시 초기 6주간의 호중구감소증 발생률(19%)은 이전 연구에서 정맥 Ganciclovir 사용 시 보고된 발생률(63%)보다 낮았습니다.
- 연구자들은 약물로 인한 호중구감소증이 주로 치료 첫 6주 동안 우려되며, 경구 valganciclovir 사용 시 이 위험이 감소하는 것으로 해석했습니다.
- Ganciclovir : Ganciclovir는 항바이러스 약물로, 주로 거대세포바이러스(CMV) 감염 치료에 사용됩니다.
- 이전 연구에서 6주간의 정맥 Ganciclovir 치료가 선천성 CMV 감염 신생아의 청력 결과를 개선시켰습니다.
- Valganciclovir는 Ganciclovir의 전구약물(prodrug)입니다.
- 경구 투여 후 체내에서 Ganciclovir로 전환되어 작용합니다.
- 이 연구는 경구용 Valganciclovir의 6개월 치료가 선천성 CMV 감염 치료에 효과적이고 안전할 수 있음을 보여주었습니다.
- 이는 정맥 Ganciclovir 치료의 대안으로 장기 치료 옵션을 제공할 수 있음을 시사합니다.

Background

선천성 CMV 감염은 비유전적 감각신경성 난청의 주요 원인이며, 정신지체의 가장 흔한 바이러스 원인입니다.
이전 연구에서 6주간의 정맥 내 ganciclovir 치료가 6개월 시점의 청력을 개선시켰지만, 그 효과가 시간이 지남에 따라 감소하는 것으로 나타납니다. 이 연구의 목적은 경구용 valganciclovir 를 6개월간 투여하는 것이 6주 투여에 비해 더 나은 결과를 가져오는지 평가하는 것.

Methods

대상 : 증상이 있는 선청성 CMV 감염 신생아 96명
실험 방법 : 무작위, 위약 대조 임상 시험

증상이 있는 선천성 CMV 질환이 있는 신생아를 대상으로 valganciclovir 치료에 대해서 무작위, 위약 대조 실험(placebo-controlled trial of valganciclovir therapy) 을 실시하여 6개월의 치료와 6주간의 치료를 비교했습니다.

치료 : 모든 참여자가 6주간 valganciclovir를 투여받은 후, 무작위로 추가 4.5개월간 valganciclovir 또는 위약을 투여 받습니다.

1차 평가지표 : 기저시점부터 6개월까지의 더 나은 청력 변화
2차 평가지표 : 12개월 및 24개월 시점의 청력 변화, 신경발달 결과 등

Results

figure1. 임상 시험의 참가자 흐름도(flow chart)

등록된 환자 중 96명이 맹검 단계에 진입하여 무작위 배정을 받았습니다. 47명이 6개월 valganciclovir 치료군에, 49명이 6주 치료 후 위약군에 배정되었습니다.

6개월 시점에는 각 그룹에서 43명씩 청력 평가 결과가 있었습니다. 12개월 시점에는 6개월 치료군에서 41명, 6주 치료군에서 40명의 청력 평가 결과가 있었고, Bayley-III 평가는 각각 43명과 45명이 받았습니다.

24개월 시점에는 6개월 치료군에서 37명, 6주 치료군에서 31명의 청력 평가 결과가 있었고, Bayley-III 평가는 각각 42명과 41명이 받았습니다. 각 평가 시점마다 다양한 이유로 일부 참가자들의 평가가 불가능했으며, 이에 대한 상세한 정보도 제공되어 있습니다.

Bayley-III 평가는 영유아의 발달을 평가하는 도구. 정식 명칭은 "Bayley Scales of Infant and Toddler Development, Third Edition"입니다. 이 평가는 생후 1개월부터 42개월까지의 영유아를 대상으로 합니다. 이 연구에서 Bayley-III 평가는 선천성 CMV 감염 치료가 영유아의 전반적인 발달에 미치는 영향을 평가하는 데 사용되었습니다. 특히 12개월과 24개월 시점에서 언어 발달, 인지 발달, 운동 발달 등의 영역에서 치료 효과를 측정하는 중요한 도구로 활용되었습니다.

평가 영역:
- 인지 발달(Cognitive Scale)
- 언어 발달(Language Scale): 수용 언어와 표현 언어로 구분
- 운동 발달(Motor Scale): 대근육 운동과 소근육 운동으로 구분
- 사회-정서 발달(Social-Emotional Scale)
- 적응 행동(Adaptive Behavior Scale)

6개월 시점의 청력 개선은 두 그룹 간 유의한 차이가 없었습니다.

- 12개월 및 24개월 시점의 청력 결과는 6개월 치료군에서 유의하게 더 좋은 결과를 나타냄 :
12개월 : 6개월 치료군 73% vs 6주 치료군 57% (p=0.01)
24개월 : 6개월 치료군 77% vs 6주 치료군 64% (p=0.04)

- 신경발달 결과 :

24개월 시점에 6개월 치료군은 Bayley-III 평가의 언어종합 점수와 수용적 의사 소통 척도에서 더 높은 점수를 보였습니다.

- 안정성 :
치료 첫 6주 동안 3-4 등급 호중구감소증 발생률은 19%
이후 4.5개월 동안 3-4 등급 호중구감소증 발생률은 6개월 치료군 21% , 6주 치료군 27%로 유의한 차이가 없었습니다.

Table 1은 연구 참가자들의 기저 특성을 보여줍니다. 6개월 치료군(47명)과 6주 치료군(49명)의 특성을 비교하고 있습니다.

재태 연령은 두 그룹 간 유사했으며, 32-37주가 각각 51%와 45%, 37주 이상이 49%와 55%였습니다. 등록 시 연령 분포는 약간의 차이가 있었지만 통계적으로 유의하지 않았습니다(p=0.08).

CMV 질병의 양상은 두 그룹에서 비슷했으며, 혈소판 감소증, 점상 출혈, 간비대, 비장비대, 자궁 내 성장 지연, 간염 등이 포함되었습니다. 중추신경계 침범은 6개월 치료군에서 72%, 6주 치료군에서 59%로 나타났습니다(p=0.20). 소두증, 맥락망막염, 비정상적 신경영상 결과의 비율도 두 그룹 간 유의한 차이가 없었습니다.

기저 시점의 최고 청력 상태는 두 그룹 간 약간의 차이가 있었지만 통계적으로 유의하지 않았습니다(p=0.17). 전반적으로 Table 1은 두 치료군 간의 기저 특성이 대체로 균형을 이루고 있음을 보여주며, 이는 무작위 배정이 효과적으로 이루어졌음을 시사합니다.

Discussion

증상이 있는 선천성 CMV 감염 신생아에서 6개월간의 valganciclovir 치료가 장기적인 청력 및 신경발달 결과를 개선시킬 수 있음을 보여줍니다.

특히 중추신경계 침범(CMV disease involving Central nervous system)이 있는 환자들에게서 더 큰 개선이 관찰되었습니다.

6개월 치료는 호중구감소증 위험을 크게 증가시키지 않았으며 장기간 정맥 주사로 인한 불편함을 피할 수 있었습니다.

Limitations

- 이 연구는 무증상 선천성 CMV 감염 영아에게는 적용되지 않았습니다.
- CMV 관련 감각신경성 난청은 시간에 따라 변동될 수 있으므로, 치료 효과를 정확하게 평가하기 위해서는 전향적, 대조군 설계가 중요합니다.

Conclusion

증상이 있는 CMV 감염 영아에서 6개월간의 경구 valganciclovir 치료가 장기적인 청력 및 신경발달 결과에 긍정적인 영향을 미칠 수 있으며, 안전성 측면에서도 수용 가능한 수준임을 제시하고 있습니다.

[논문리뷰] - Infants Admitted to US Intensive Care Units for RSV Infection During the 2022 Seasonal Peak - 메디컬 핫토픽 RSV

minyoungxi — Mon, 5 Aug 2024 13:07:01 +0900

Introduction

RSV(호흡기 세포융합 바이러스)의 중요성
- 전 세계적으로 5세 미만 아동의 하기도 감염 및 입원의 주요 원인
- 미국에서 매년 5세 미만 아동 약 57,000명 입원
- 생후 1년 내 입원의 주요 원인

RSV로 인한 중환자실 입원
- RSV 양성으로 입원한 어린 아동의 약 20%가 중환자실에 입원

RSV 중증 감염 위험군
- 대부분의 입원 아동은 건강하고 만삭으로 태어난 아이들
- 조산아, 선천성 심장병, 신경계 질환, 만성 폐질환, 면역 저하 상태의 아동들이 생명을 위협하는 RSV 질환에 더 취약

RSV 예방
- Palivizumab(단클론항체)이 유일한 미국 FDA 승인 예방제였으나 고위험 영아에게만 제한적 사용
- 장기 작용 단클론항체와 모체 백신이 새로운 예방 옵션으로 개발 중

Palivizumab, a monoclonal antibody (IgG) targeting the RSV F protein, is given monthly by intramuscular injection during RSV season to prevent RSV-associated lower respiratory tract infection (LRTI).
-> RSV F 단백질을 표적으로 하는 단일클론 항체(IgG)인 팔리비주맙은 RSV 계절 동안 RSV 관련 하부 호흡기 감염(LRTI)을 예방하기 위해 매달 근육 주사로 투여합니다.

COVID-19 팬데믹의 영향
- RSV 순환 패턴 변화
- 2021년과 2022년에 비정상적인 RSV 유행 발생

연구의 목적
- 2022년 RSV 유행기 동안 미국 영아의 RSV 관련 중증 질병의 특성과 결과 평가
- 중증 RSV 질환 위험이 있는 영아 식별
- 향후 임상 효과 평가 및 제품 사용 권장 사항 지침 제공

Methods

We assessed demographic and clinical characteristics, including age, sex, race and Hispanic ethnicity, site region, underlying medical conditions, and presence of pulmonary infiltrates on chest radiograph per radiology report.

연구 대상 선정 기준
- 중환자실 또는 고위험 병동에 24시간 이상 입원
- RSV 관련 질병으로 입원
- 입원 전 10일 이내에 증상 발현
- 입원 전 또는 입원 후 72시간 이내에 RSV 검사 양성 확인

데이터 수집
- 인구통계학적 특성
- 임상적 특성
- 중재 방법
- 실험실 검사 결과 (입원 후 72시간 이내의 다른 호흡기 바이러스 검사 및 3일 이내의 세균 검사 포함)
- 임상 결과

Statistics

범주형 변수: Pearson χ2 검정 또는 Fisher의 정확 검정 사용
- Fisher의 정확 검정은 기대 빈도가 5 미만인 셀이 있을 때 사용
연속 변수: Kruskal-Wallis 검정(삽관 상태별 비교) 또는 Jonckheere-Terpstra 검정(연령군별 비교) 사용
유의수준: 양측 P 값 < 0.05를 통계적으로 유의한 것으로 간주

회귀 분석:
- 주요 모델: 혼합 효과 다변량 로그-이항 회귀 모델
- 목적: 삽관 상태와 인구통계학적 요인, 재태 연령, 기저 질환 간의 연관성 평가
- 병원 간 이질성 고려: 병원을 랜덤 효과로 포함
- 대체 모델: 표본 크기 제한으로 모델이 수렴하지 않을 경우 정확 포아송 회귀 모델 사용

변수 선택 과정:
- 초기 선별: 삽관 상태와 연관성이 있는 변수(α < 0.35)를 잠재적 공변량으로 고려
- 최종 모델 구축: 각 노출 변수와 삽관 상태 모두와 관련될 수 있는 변수만 포함
- 변수 유지 기준: 제거 시 전체 모델의 효과 추정치를 10% 이상 변경시키는 경우

Factors Associated With Risk for Intubation

Table1 -> 600명의 표본 영아를 삽관(인공호흡기 사용) 여부에 따라 비교

- 인공호흡기를 삽관한 아이들이 비삽관군보다 더 어림
- 전체 28.9%가 조산아
- 대부분이 기저 질환이 없음(81.2%)
- 99%가 하기도 감염으로 입원(LRTI)

하부 호흡기 감염(LRTI, Lower Respiratory Tract Infection)
LRTI(하부 호흡기 감염)는 기관지, 세기관지, 폐포 등 하부 호흡기를 침범하는 감염으로, 바이러스나 세균에 의해 발생합니다. 주요 증상으로는 기침, 호흡곤란, 천명음, 발열 등이 있으며, 특히 영유아, 노인, 면역저하자에게 위험할 수 있습니다.

RSV(호흡기 세포융합 바이러스)와 LRTI의 관련성: RSV는 LRTI의 주요 원인 중 하나로, 특히 영유아에서 중요한 병원체입니다. RSV는 기관지염과 폐렴 같은 LRTI를 유발할 수 있으며, 심각한 경우 입원이나 중환자실 치료가 필요할 수 있습니다. RSV로 인한 LRTI는 계절성을 보이며, 주로 겨울철에 유행합니다. RSV는 LRTI의 가장 흔한 원인 중 하나로, 영아의 입원 원인 중 상당 부분을 차지합니다. 따라서 RSV 예방과 조기 진단, 적절한 치료는 영유아의 LRTI 관리에 매우 중요합니다.

Table2 -> 영아들을 0~2개월, 3~5개월, 6~11개월 그룹으로 나누어 비교

- 하기도 감염(LRTI)가 모든 연령대에서 가장 흔하게 나타남.
- 무호흡 또는 서맥이 0~2개월 그룹에서 가장 흔함(20.7%)
- 중환자실 재원 기간: 0-2개월 그룹이 가장 길었음 (중앙값 4일)
- 중증도 점수: 0-2개월 그룹이 pSOFA와 PELOD-2 점수가 가장 높았음
- 사망률: 전체적으로 낮음 (0.3%, 2명)

Figure1은 RSV의 증상과 연령별 증상을 나타냄.

figure 2는 RSV 감염으로 중환자실에 입원한 영아들의 삽관 위험과 관련된 요인들을 보여주는 그래프입니다.
아래의 데이터를 보면 어린 연령일수록(3개월 미만) RSV로 인한 중증 질환의 가장 중요한 위험 요인이 됩니다. 조산은 삽관 위험을 크게 증가시킵니다.
공공 보험 가입 상태는 사회경제적 요인이 RSV 중증도에 영향을 미칠 수 있음을 시사합니다. 다른 RSV 연구에도 Medicated 보험 가입자의 RSV 발병률이 높다는 자료가 나옵니다. (https://minyoungxi.tistory.com/125)

삽관(invasive mechanical ventilation) 은 생명을 구하는 중요한 의료 처치이지만, 그 자체로 여러 위험과 합병증을 동반할 수 있습니다. 이 논문에서는 삽관의 위험성을 직접적으로 언급하지는 않았지만, 일반적으로 알려진 삽관의 위험성은 다음과 같습니다.
- 기도 손상: 삽관 과정에서 성대나 기관지에 손상을 줄 수 있습니다.
- 인공호흡기 관련 폐렴: 장기간 삽관 시 폐렴 발생 위험이 증가합니다.
- 기흉: 폐에 과도한 압력이 가해져 폐가 찢어질 수 있습니다.
- 혈역학적 변화: 흉강 내 압력 변화로 인해 심장 기능에 영향을 줄 수 있습니다.
- 발달 지연: 특히 영아의 경우, 장기간의 삽관이 정상적인 발달에 영향을 줄 수 있습니다.

연령:
- 0-3개월 영아는 6-12개월 영아에 비해 삽관 위험이 약 2배 높습니다 (aPR: 2.05, 95% CI: 1.51-2.78).
- 3-6개월 영아는 6-12개월 영아와 유의한 차이가 없습니다.

재태 연령:
- 23-30주 사이에 태어난 극도 미숙아는 만삭아에 비해 삽관 위험이 약 2배 높습니다 (aPR: 2.09, 95% CI: 1.22-3.59).
- 30-36주 사이에 태어난 미숙아도 만삭아에 비해 삽관 위험이 약 1.4배 높습니다 (aPR: 1.36, 95% CI: 1.01-1.82).

기저 질환:
- 대부분의 기저 질환 범주(호흡기, 심장 질환 등)는 삽관 위험과 유의한 관련이 없었습니다.
- 단, 비호흡기 비심장 질환이 있는 경우 오히려 삽관 위험이 낮았습니다 (aPR: 0.19, 95% CI: 0.05-0.74).

Table3는 RSV로 중환자실에 입원한 영아들의 바이러스 공동 검출(Viral codetection)과 세균성 동시감염(Bacterial coinfection)에 대한 정보를 제공합니다.

RSV 감염 영아에서 SARS-CoV-2나 인플루엔자 동시 감염은 매우 드물었습니다. (SARS-CoV-2는 COVID-19의 원인 바이러스입니다. 이 연구에서 SARS-CoV-2 검사를 수행한 이유는 COVID-19 팬데믹 기간 동안 다른 호흡기 바이러스와의 상호작용이나 동시 감염 가능성을 확인하기 위함입니다. )

또한, 라이노바이러스/엔테로바이러스가 가장 흔한 동시 검출 바이러스였지만, 임상적 중요성은 불분명합니다. 세균성 동시감염, 특히 하기도 감염은 삽관된 영아에서 상당히 흔했습니다 (66.7%). 혈액과 요로의 세균 감염도 일부 영아에서 발견되었지만, 전반적인 빈도는 낮았습니다.

SARS-CoV-2(Severe Acute Respiratory Syndrome Coronavirus 2) : 코로나바이러스과의 베타코로나바이러스에 속합니다. RNA 바이러스로, 표면에 특징적인 스파이크 단백질을 가지고 있습니다. 대부분의 감염자는 경미한 증상을 보이지만, 일부에서는 중증 폐렴, 급성호흡곤란증후군(ARDS) 등 심각한 합병증을 일으킬 수 있습니다.

Summary

RSV의 심각성:
    - 기저 질환이나 조산 이력이 중증 RSV 질환의 위험 요인이지만, 중환자실 치료를 받은 대부분의 영아들은 이전에 건강했고 만삭아였습니다.
    - 젊은 영아와 조산아가 삽관 위험이 더 높았지만, 삽관된 영아의 대부분은 만삭아였습니다.
    - 사망률은 낮았지만, 이 결과는 RSV가 미국 영아들에게 상당한 이환율을 야기함을 강조합니다.

COVID-19 팬데믹의 영향:

- 팬데믹 이전에는 RSV 감염의 계절성이 일관되었으나, 팬데믹 동안의 비약물적 개입(물리적 거리두기, 마스크 착용 등)으로 RSV와 다른 바이러스의 순환이 변경되었습니다.
- 2020-2021 겨울 시즌 동안 RSV 전파가 거의 없었습니다.

RSV의 재유행:
- 2021년 여름, RSV가 계절 외에 재유행했으며, 중환자실에 입원하는 아동의 비율이 크게 증가했습니다.
- 2022년 10월, RSV 감염이 다시 정점을 찍었고, RSV 관련 입원율이 팬데믹 이전 정점의 약 두 배에 달했습니다.

RSV 예방의 중요성:
- 이 연구들은 젊고 건강한 영아를 포함한 중증 RSV 질환에 대한 예방 조치의 필요성을 강조합니다.
- RSV LRTI 예방은 급성 질병으로 인한 입원뿐만 아니라 천명/천식 재발 위험 증가나 조기 성인 사망 등의 장기적 결과에도 영향을 미칠 수 있습니다.

Limitations & Conclusions

본 연구는 각 병원에서 처음 15-20 명의 연속적인 RSV 사례만 포함하여 전체 RSV 중증 사례를 대표하지 않을 수도 있습니다. 또한 다른 연구들과 다르게 2개월간의 연구 기간이 전체 RSV 시즌을 포함하지 않습니다. 의무 기록 추출에 의존하여 데이터를 바라보았기 때문에 데이터 누락 가능성이 있습니다.
24시간 미만 중환자실 입원 영아를 제외하여 중증 RSV 감염 사례에 편향이 발생합니다.

RSV는 건강한 만삭아를 포함한 모든 영아에게 상당한 이환율을 야기합니다. Palivizumab 접종 대상 영아 중 실제 접종률이 낮아, 모든 대상자가 적시에 접종받을 수 있도록 하는 노력이 필요합니다.
COVID-19 팬데믹 동안의 경험은 비약물적 중재가 RSV를 포함한 호흡기 바이러스 전파 감소에 효과적임을 보여줍니다.

[Medical] - FSL로 fMRI 와 MRI 데이터를 분석해보자

minyoungxi — Thu, 1 Aug 2024 21:51:25 +0900

FSL

FSL은 옥스퍼드 대학교의 FMRIB에서 개발한 소프트웨어 라이브러리로 , 뇌 이미지를 분석하는 데 사용됩니다. FSL은 MRI 데이터를 처리하고 분석하는 데 널리 사용되고 있습니다.

MRI 데이터를 처리하는 툴이나 소프트웨어는 선택할 수 있는 범위가 넓습니다. 예를 들어 fMRIprep , Freesurfer 와 같은 다양한 도구들이 있죠.

FSL의 주요 구성 요소는 다음과 같습니다.

자세한 예시는 아래에서 볼 수 있습니다.

- BET(Brain Extraction Tool) : 뇌를 포함하는 영역을 추출합니다. 그리고 MRI 이미지에서 두개골과 다른 비뇌 조직을 제거합니다.

- FEAT(FMRI Expert Analysis Tool) : 기능적 MRI(fMRI) 데이터를 분석합니다. 시계열 분석과 통계적 매핑을 수행합니다.

- FAST(FMRIB's Automated Segmentation Tool) : 뇌의 조직을 분할(회백질, 백질, 뇌척수액)하고 MRI 데이터에서 자동으로 조직 유형 식별

- FLIRT(FMRIB's Linear Image Registration Tool) : 뇌 이미지를 서로 정렬하고 선형 이미지 등록을 수행하여 다른 뇌 이미지와 정렬

- FNIRT(FMRIB's Non-Linear Image Registration Tool) : 비선형 이미지 등록(정합)을 수행합니다.

FSL 설치

https://fsl.fmrib.ox.ac.uk/fsl/docs/#/install/index

Document

fsl.fmrib.ox.ac.uk

FSL 공식 문서를 보면 각 운영체제에 맞는 설치 방법이 자세하게 나와있습니다.

설치는 어렵지 않으니 유튜브 영상을 시청하시거나 user guide를 참고하시면 쉽게 다운로드 받을 수 있습니다.

https://youtu.be/LgRZLev1LRw

fMRI 와 MRI ??

fMRI(기능적 자기공명영상)와 MRI(자기공명영상)는 모두 자기장과 전파를 이용하여 인체 내부를 촬영하는 의료 영상 기술입니다.

MRI는 주로 해부학적 구조를 관찰하는 데 사용되며, 연조직의 상세한 이미지를 제공합니다. 고해상도로 뇌, 척추, 관절 등의 구조를 볼 수 있어 다양한 질병 진단에 활용됩니다.

반면 fMRI는 MRI 기술을 기반으로 하지만, 뇌 활동을 실시간으로 관찰하는 데 특화되어 있습니다. fMRI는 뇌의 특정 부위가 활성화될 때 발생하는 혈류 변화를 감지하여 뇌 기능을 매핑합니다. 이를 통해 인지 과정, 감정 반응, 의사결정 등 다양한 뇌 기능을 연구할 수 있습니다.

MRI가 정적인 이미지를 제공한다면, fMRI는 시간에 따른 뇌 활동의 변화를 보여줍니다. fMRI는 신경과학 연구, 정신질환 진단, 뇌-컴퓨터 인터페이스 개발 등 다양한 분야에서 활용되고 있습니다.

두 기술 모두 비침습적이며 방사선 노출이 없어 안전하다는 장점이 있지만, fMRI는 MRI에 비해 시간 해상도가 낮고 노이즈에 더 취약할 수 있습니다. 또한 fMRI 데이터의 해석에는 복잡한 통계 분석이 필요하며, 결과 해석 시 주의가 필요합니다. 종합적으로, MRI와 fMRI는 상호 보완적인 기술로, 함께 사용될 때 뇌의 구조와 기능에 대한 포괄적인 이해를 제공할 수 있습니다.

아래의 그림을 보면 fMRI 데이터는 여러 장의 뇌 이미지로 구성이 되어있죠 ?
이는 시간 포인트에 따라 찍혀서 그렇습니다.

실제로 데이터의 구조를 print 해보면 4차원 데이터로 구성이 되어 있고, 마지막 정보가 Time point를 담고 있습니다.

반면 MRI 의 경우 일반적으로 많이 봐왔던 그런 뇌의 모습이죠?

저는 OASIS-3 데이터의 접근 권한을 신청해서 해당 데이터로 실습을 진행했는데요.

데이터를 다운받을 때 설정할 수 있는 요소들이 굉장히 많습니다.

그 중에서 Scan caategory를 T1w 와 BOLD를 선택했습니다.

일반적으로 MRI 데이터를 "structural" 또는 구조적 데이터라고 부르는 경우가 많습니다. 이는 MRI가 주로 뇌의 해부학적 구조를 보여주기 때문이라고 합니다. T1 강조 영상(T1-weighted imaging, T1w)은 indeed MRI의 한 종류입니다. T1w는 뇌의 회백질과 백질을 잘 구분할 수 있어 뇌의 구조적 특징을 관찰하는 데 주로 사용됩니다. 이는 항상 MRI 데이터의 일종이며, 'structural MRI'라고 불리는 것들 중 가장 흔한 유형입니다.

BOLD(Blood Oxygen Level Dependent) 신호는 fMRI에서 사용되는 주요 측정 방식입니다. BOLD 신호는 뇌의 활성화된 영역에서 발생하는 혈류 변화를 감지하여 뇌 기능을 간접적으로 측정합니다. 따라서 BOLD 데이터는 항상 fMRI와 관련이 있습니다.

FSL 사용 방법

FSL을 설치했다면, 어떻게 실행하고 사용하는지 알아봐야겠죠?
FSL은 아래의 이미지처럼 주로 명령줄에서 실행되는 툴이지만, python과 같은 프로그래밍 언어를 사용하여 FSL의 기능을 스크립팅하고 자동화할 수 있습니다.

BET(Brain Extraction Tool)

예를 들어 BET(Brain Extraction Tool)을 사용한다면 아래의 명령어를 통해 실행할 수 있습니다.

이 명령은 input_image.nii.gz라는 입력 이미지에서 뇌를 추출하고 결과를 output_image.nii.gz 파일에 저장합니다.

bet input_image.nii.gz output_image.nii.gz

혹은 파이썬을 사용하여 FSL 도구를 실행할 수 있는데요, 그러기 위해서는 subprocess 모듈을 사용해야 합니다.

이를 통해 명령줄 명령을 파이썬 코드 내에서 실행할 수 있습니다.

Nipype라는 모듈을 통해 Nipype에서 불러오는 FSL을 사용할 수 있지만, 기능이 제한적이라서 이 방법을 추천드립니다.

bet_output = os.path.join(output_dir, "bet_output")
bet_command = f"bet {fmri_file} {bet_output} -F -f 0.3 -m"
subprocess.run(bet_command, shell=True, check=True)

'bet_command'에 할당된 명령어는 'fmri_file'이라는 입력 fMRI의 파일 경로입니다.

뒤에 붙어있는 '-F' 명령어는 fMRI의 첫 번째 시간 볼륨의 데이터에 BET를 적용하겠다는 옵션입니다.

그리고 '-f' 옵션은 프랙셔널 강도 임계값을 결정하는 옵션인데요, 0~1 사이로 설정이 가능하고 값이 높을수록 엄격하게 비뇌 영역을 제거 합니다.

'-m' 옵션은 뇌 마스크를 이미지로 저장하도록 하는 옵션입니다.

제가 직접 BET를 적용하고 mask를 가져왔는데요, 뇌의 대부분의 영역이 포함된 것으로 나타나고 있습니다.

-m 옵션을 사용했을 경우에만 아래처럼 나타나는 것이죠.

그리고 -F 옵션을 사용했기 때문에 첫 번째 타임 포인트의 MRI 데이터만 BET된 것을 아래에서 확인할 수 있습니다.

MNI Space ( FLIRT , FNIRT )

아래의 코드는 위에서 언급한 BET에 이어서 이뤄집니다. pipeline 형태로 구성했기 때문에 파일 혹은 변수명이 일부 중복될 수 있습니다.

func_to_mni_img = nib.load(func_to_mni)
if len(func_to_mni_img.shape) == 4:
    func_to_mni_data = func_to_mni_img.slicer[..., 0]
else:
    func_to_mni_data = func_to_mni_img
fig, ax = plt.subplots(1, 1, figsize=(10, 5))
plotting.plot_epi(func_to_mni_data, display_mode='z', cut_coords=5, title="fMRI in MNI Space", axes=ax)
plt.show()

# 4. 구조적 공간으로 변환된 fMRI 데이터 시각화
func_to_struct_img = nib.load(func_to_struct)
if len(func_to_struct_img.shape) == 4:
    func_to_struct_data = func_to_struct_img.slicer[..., 0]
else:
    func_to_struct_data = func_to_struct_img
fig, ax = plt.subplots(1, 1, figsize=(10, 5))
plotting.plot_epi(func_to_struct_data, display_mode='z', cut_coords=5, title="fMRI in Structural Space", axes=ax)
plt.show()

MNI Space는 뇌 이미징 연구에서 핵심적인 개념으로, 다양한 피험자의 뇌 데이터를 표준화된 좌표 시스템에 맞춰 비교 분석할 수 있게 해줍니다. Montreal Neurological Institute에서 개발된 이 공간은 x, y, z 축으로 구성된 3D 좌표 시스템을 사용하며, MNI152와 같은 표준 템플릿을 기반으로 합니다.

fMRI 데이터를 MNI 공간으로 변환하기 위해서는 FSL의 FLIRT나 FNIRT 같은 도구를 사용한 공간 정규화 기술이 필요합니다.

이 과정에서 개별 피험자의 뇌 구조 차이를 보정하여 일관된 비교가 가능해집니다.

제시된 코드에서는 MNI 공간으로 변환된 fMRI 데이터를 다루고 있으며, 이를 시각화하기 위해 Nilearn의 plotting 모듈을 사용하고 있습니다. fMRI 데이터는 일반적으로 4D (x, y, z, time) 형식이므로, 단일 시간점의 3D 데이터를 추출하는 과정이 포함되어 있습니다.

또한, NIfTI (.nii) 파일 형식을 다루기 위해 nibabel 라이브러리를 사용하고 있습니다.

MNI 공간 외에도 구조적 공간으로 변환된 fMRI 데이터를 다루고 있는데, 이는 개인의 해부학적 구조에 맞춘 분석이 필요할 때 유용합니다.

MNI 공간을 활용한 fMRI 데이터 분석은 개인 간 비교, 그룹 분석, 특정 뇌 영역의 기능 연구 등 다양한 신경과학 연구에 필수적인 도구로 사용되고 있습니다.

[Deep Learning & Machine Learning] Batch Iterator 만들어보자

minyoungxi — Thu, 1 Aug 2024 15:56:55 +0900

Batch Iteration

배치 반복(Batch Iteration)은 머신 러닝 및 데이터 처리에서 대용량 데이터 세트를 보다 효율적으로 처리하기 위해 사용되는 스킬입니다. 메모리 집약적일 수 있는 전체 데이터 세트를 한 번에 처리하는 대신, 데이터는 더 작고 관리하기 쉬운 배치로 처리됩니다.

Batch Iterator(배치 반복자)를 만드는 단계별 방법은 아래와 같습니다.

- 샘플 수 결정(Dtermine the Number of Samples) : 데이터 세트의 총 샘플 수를 계산합니다.

- 배치로 반복(Iterate in Batches) : 지정된 배치 크기 단위로 데이터 세트를 반복합니다.

- 배치 생성(Yield Batches) : 각 반복에서 X에서 샘플 배치를 생성하고, 만약 제공된 경우 y에서 해당 샘플을 생성합니다.

이러한 방법은 효율적인 처리를 보장하고 머신 러닝 워크 플로우의 학습 및 평가 단계에 모두 사용할 수 있습니다.

import numpy as np

X = np.array([[1, 2], 
                  [3, 4], 
                  [5, 6], 
                  [7, 8], 
                  [9, 10]])

y = np.array([1,2,3,4,5])

def batch_iterator(X, y=None, batch_size=None):
    n_samples = X.shape[0]
    batches = []
    for i in range(0, n_samples, batch_size):
        begin, end = i, min(i+batch_size, n_samples)
        print(begin, end)

        if y is not None:
            batches.append([X[begin:end], y[begin:end]])

        else:
            batches.append(X[begin:end])    
        
        print(batches)

    return batches
    
 batch_iterator(X,y,batch_size=64)

RSV(호흡기세포융합바이러스)를 연구해보자! - 미국 데이터로 알아보는 RSV와 Bronchiolitis

minyoungxi — Wed, 17 Jul 2024 08:02:58 +0900

Introduction

3개월 전 다른 연구실 교수님의 요청으로 한국의 RSV와 인플루엔자에 대해 저희 연구실과 공동연구를 제안하였습니다.

연구 관련된 논문을 하나 보내주셔서 해당 논문의 분석 기법을 공부하고 킥오프 미팅을 마쳤죠. 한국에서 RSV에 관련된 연구를 수행하기 위해서는 이 질병과 관련된 데이터가 필요하기에 건강보험공단의 데이터 사용을 위해 신청 후 대기 중인 상태입니다.

(건보 데이터는 직접 추출하기 위해서 원주까지 가야함..)

무한 대기 중인 상태인데, 연구책임자이신 교수님께서 Group knowledge 증진을 위해 Research Study를 제안하셨습니다.

늘 그렇듯 이런 일정이 잡히면 말단인 저는 보내주신 논문을 읽고 정리하고 준비를 해야합니다.

이왕 준비하는 김에 읽었던 논문과 몰랐던 메디컬 지식을 공유합니다.

RSV는 매년 겨울철에 감염이 증가하는 경향이 있습니다. 현재 RSV에 대한 특별한 항바이러스제는 없지만 감염 예방을 위해 단일클론항체인 팔리비주맙(Palivizumab)을 사용할 수 있다고 합니다. 한국에서는 2020년 COVID-19 팬데믹 동안 RSV 발병율이 일시적으로 감소했습니다. 사회적 거리두기 덕분이었죠. 하지만 이후 RSV 발병률이 다시 증가하고 있습니다.

2023년 질병관리청(KDCA)에 따르면 2023년 초부터 RSV 감염이 급증하였으며, 특히 영유아 사이에서 많이 발생했습니다. 많은 소아과 병원에서 RSV 환자가 증가하며 의료 시스템에 부담이 가중되었다는 소식을 들었습니다. 성인들은 사실 일반적인 감기와 비슷한 증상을 겪고 끝나지만, 영유아나 면역력이 약한 사람들, 노인들에게는 심각한 질병을 초래할 수 있는 호흡기 바이러스입니다.

참고논문

Mortality Associated With Influenza and Respiratory Syncytial Virus in the US, 1999-2018
https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2789446

Mortality Associated With Influenza and RSV in the US, 1999-2018

This cross-sectional study uses data from 50.3 million US death certificates to evaluate excess mortality from respiratory syncytial virus (RSV) and influenza from 1999 to 2018.

jamanetwork.com

Mortality Among US Infants and Children Under 5 Years of Age with Respiratory Syncytial Virus and Bronchiolitis

https://pubmed.ncbi.nlm.nih.gov/35968871/

Mortality Among US Infants and Children Under 5 Years of Age with Respiratory Syncytial Virus and Bronchiolitis: A Systematic Li

RSV mortality reported among US infants and children is variable. Current, nationally representative estimates are needed for otherwise healthy, late-preterm to full-term infants and children.

pubmed.ncbi.nlm.nih.gov

Respiratory Syncytial Virus Burden and Healthcare Utilization in United States Infants <1 Year of Age: Study of Nationally Representative Databases, 2011-2019

https://pubmed.ncbi.nlm.nih.gov/35968879/

Respiratory Syncytial Virus Burden and Healthcare Utilization in United States Infants <1 Year of Age: Study of Nationally Repre

This study highlights the importance of ensuring access to RSV preventive measures for all infants.

pubmed.ncbi.nlm.nih.gov

Terms

호흡기세포융합바이러스(RSV) : ‘호흡기세포융합바이러스(Respiratory Syncytial Virus, RSV)’는 일반적으로 감기와 유사한 증상을 나타내는 급성 호흡기 감염 바이러스입니다. 대부분의 사람은 1~2주 안에 회복되지만, 영유아와 노인에게 특히 증상이 심각할 수 있습니다.

late-preterm/full-term : 조산아/만삭아
> 조산아 기준은 재태 기간 37주 미만 또는 최종 월경일로부터 259일 미만에 태어난 아기를 미숙아 또는 조산아라고 부릅니다.

ACB(All-Cause Bronchiolitis) : ACB는 '전체 원인 세기관지염'을 의미합니다.
세기관지염(Bronchiolitis)은 소아의 하기도 감염으로 다양한 바이러스에 의해서 발생 가능합니다.

CFR(Case Fatality Ratio): CFR은 '치명률' 혹은 '사례치명률'이라고 함. 특정 질병에 걸린 사람들 중 그 질병으로 인해 사망한 사람들의 비율을 나타냅니다.
CFR(%) = (특정 질병으로 인한 사망자 수 / 해당 질병에 걸린 총 환자 수) x 100

Research

'Respiratory Syncytial Virus Burden and Healthcare Utilization in United States Infants <1 Year of Age: Study of Nationally Representative Databases, 2011-2019' 논문의 내용을 먼저 보겠습니다.

RSV는 미국의 영아(1세 미만) 입원의 주요 원인이지만, 연구는 특정 인구 집단에 집중되어 진행되었다고 합니다.

본 연구에서 사용한 데이터는 NIS(National Impatient Sample)와 NEDS 데이터를 사용합니다.

'RSV 입원(RSVH) , 세기관지염 입원(BH), 응급실 방문 건수, 전체 입원 / 방문 대비 비율, 출생 1000명당 비율과 입원 사망률, 기계 환기 사용, 총 비용' 등

연간 평균 RSVH 및 RSV 응급실 방문은 각각 56,927건(범위 43,845–66,155)과 131,999건(범위 89,809–177,680)이었습니다. RSVH 비율은 시간에 따라 일정했지만(P = .5), 응급실 방문 비율은 증가했습니다(P = .004).

2011년부터 2019년까지 메디케이드 영아가 가장 높은 평균 비율을 보였습니다:
• RSVH: 1,000명당 22.3건(95% 신뢰구간 21.5–23.1)
• 응급실 방문: 1,000명당 55.9건(95% 신뢰구간 52.4–59.4)

이는 민간 보험이나 기타/미상 보험을 가진 영아와 비교했을 때 유의미하게 높았습니다 (RSVH: P < .0001; 응급실 방문: P < .0001). 2011년부터 2019년까지 모든 인종과 민족에서 메디케이드 영아는 민간 또는 기타/미상 보험을 가진 영아에 비해 최대 7배 높은 평균 RSVH 비율을 보였습니다. RSVH 사망률은 시간에 따라 일정했지만(P = .8), 기계 환기 사용(2019년: RSVH의 13%, P < .0001)과 평균 입원 비용(2019년: $21,513, P < .0001)은 증가했습니다. 세기관지염 패턴도 유사했습니다.

2011-2019년 동안의 RSV(A) 및 세기관지염(B) 입원 비율과 출생 1,000명당 입원율. 두 그래프 모두 입원 비율과 입원율이 큰 변동 없이 유지되는 모습입니다.

A - RSV 입원 비율과 입원율이 연도별로 큰 변화 없이 비교적 일정한 추세 - 왼쪽 Y축: 전체 영아 입원 중 RSV 입원 비율(%) - 오른쪽 Y축: 출생 1,000명당 RSV 입원율

B - 세기관지염 입원 비율과 입원율도 RSV와 유사한 패턴

A , B

매년 응급실 방문율이 증가하는 추세

모든 인종과 민족에서 메디케이드 영아는 민간 또는 기타/미상 보험을 가진 영아에 비해 최대 7배 높은 평균 RSVH 비율을 보였습니다.

Medicaid 보험을 가진 영아들이 RSV와 Bronchiolitis으로 인한 응급실 방문의 대부분을 차지합니다.
- RSV 와 Bronchiolitis 모두 유사한 패턴을 보이고 있으며 출생 1000명당 응급실 방문율이 다른 보험 유형에 비해 현저히 높습니다.
- Medicaid 보험을 가진 영아들의 RSV 및 세기관지염 관련 의료 서비스 이용이 다른 보험 유형에 비해 훨씬 높다는 것을 명확히 보여주며, 이는 이들을 위한 특별한 예방 및 관리 전략의 필요성을 강조합니다.
- Medicaid 보험은 저소득 가정을 위한 공공 의료 보험 프로그램입니다. 따라서 아래의 결과는 저소득 가정의 영아들이 RSV로 인한 입원 위험이 높음을 시사합니다.

Mortality Among US Infants and Children Under 5 Years of Age with Respiratory Syncytial Virus and Bronchiolitis

본 연구도 앞서 살펴본 내용과 크게 다르지는 않습니다. 미국의 질병통제예방센터(CDC)가 매년 약 40,000명의 영유아가 RSV로 인해 입원한다고 추정하고 있습니다.

2015-2016 감시 기간 동안 미국의 RSV 입원율
- 5세 미만 어린이 1000명당 2.9명
- 6개월 미만 영유아 1000명당 14.7명
- 1개원 영유아 1000명당 25.1 명 ( 가장 높음 )

또 다른 연구인 2011-2019년 NIS(National Impatient Sample) 데이터를 기반으로 영유아 RSV 입원 환자는 56,927명으로 나타납니다.
- 2019년 영유아 RSV 입원율은 1000명당 17.2명

영유아 RSV 문제는 공중 보건에 중요한 문제를 제기하고 있으나 미국에서는 routine laboratory testing을 권장하지 않으므로 RSV의 실제 사례는 과소평가되거나 불확실할 가능성이 높다고 언급합니다.(underestimated or uncertain)

본 연구는 전체 사망률과 함께 연령, 출생 주수(wGA), 중환자실 입원과 같은 질병의 심각성에 영향을 미칠 것으로 예상되는 사회인구학적 및 임상 변수별로 분석되었습니다. RSV 사례가 과소평가될 가능성이 높기 때문에, 모든 원인에 의한 세기관지염(ACB) 사례에서의 사망률도 RSV 사망률의 상한선으로 설명합니다.

체계적 문헌 검토(SLR) 및 메타분석 보고항목(PRISMA) 지침에 따른 방법론을 사용합니다. 개별 연구의 편향 위험은 코호트 연구와 사례-대조 연구에 대해 수정된 뉴캐슬 오타와 척도(Newcastle Ottawa Scale, NOS)를 사용하여 평가되었습니다. 여러 연구들을 Review하는 survey 같은 논문이라고 생각하시면 될 것 같습니다.

대부분의 연구는 후향적 코호트 연구이고 그 외 감시 연구, 사례-대조군 연구, 전향적 코호트 연구가 포함되었습니다.

데이터는 단일 기관 연구부터 전국 규모의 데이터베이스(예: NIS, KID)를 사용한 연구까지 다양합니다.

연구 기간은 1979년부터 2019년까지 다양한 기간을 다룹니다.

연구 대상은 대부분 5세 미만의 영유아를 대상으로 하며, 일부 연구는 특정 연령대(예: 3개월 미만)나 특정 조건(예: 조산아)에 초점을 맞추었습니다.

연구 품질은 AHRQ 기준에 따라 대부분의 연구가 'Good' 품질로 평가되었습니다.

특정 집단 연구 중환자실 입원 환자, 선천성 심장병 환자, 아메리카 원주민/알래스카 원주민 등 특정 집단을 대상으로 한 연구들도 포함되었습니다.

Table2는 미국의 5세 미만 영유아에서 RSV와 전체 원인 세기관지염(ACB)의 사망률을 보고한 연구들의 결과를 요약한 표입니다.

1979년부터 1999년까지의 데이터를 다루고 있고 RSV에 대한 구체적인 사망률은 보고되지 않았습니다.

1세 미만 영아의 ACB 사망률은 10만 명당 2.0에서 9.4 사이로 보고되었습니다.
5세 미만 안동의 ACB 사망률은 10만 명당 0.57에서 0.65 사이로 보고되었습니다.

하위그룹 분석 : 성별, 인종, 재태 연령, 출생 체중, 지역 등에 따른 사망률 차이가 보고되었습니다. 예를 들어 남아가 여아보다, 흑인이 백인보다, 조산아가 만삭아보다 더 높은 사망률을 보였습니다.

본 연구의 전반적인 결과를 요약하자면 RSV나 ACB로 인한 5세 미만 영유아의 사망률은 상대적으로 낮았습니다. 전국적으로 대표성이 있는 데이터베이스를 사용한 연구에서 건강한 아동의 RSV CFR은 0.04%에서 0.55% 범위였습니다.

데이터는 RSV 사망률에 대한 최신 데이터가 부족합니다. 그리고 건강한 조산아나 만삭아에 대한 데이터가 특히 부족합니다.

RSV의 정의와 진단 방법의 차이로 인해 실제 위험성을 자세하게 파악하기 어려운 점이 있습니다. 미국 소아과학회 지침이 체계적인 RSV 검사를 권장하지 않아서 불확실성이 존재합니다.

포괄적이고 체계적인 RSV 검사와 보고가 필요합니다. 입원 외 사망 사례를 포함한 더 광범위한 데이터 수집이 필요합니다.

[논문리뷰] Vision language models are blind - VLM은 사실 장님이었나 ?

minyoungxi — Thu, 11 Jul 2024 22:18:19 +0900

Introduction

최근 8개월 동안 Vision Language Models (VLMs)의 발전으로 다양한 이미지-텍스트 처리가 가능해졌습니다. VLM들은 장면 내 객체 식별, 복잡한 작업 수행 등에서 뛰어난 성능을 보이고 있습니다. 현재의 VLM 벤치마크들은 인간과 AI 간의 전반적인 격차를 측정하지만, 구체적인 시각적 한계를 지적하지는 않습니다.

이 논문은 VLM이 실제로 인간처럼 이미지를 "보는지" 검증하기 위해 로우 레벨 차원에서 시각 작업에 대한 새로운 벤치마크를 제안합니다. 이 벤치마크는 2D 기하학적 도형만을 포함하며, 최소한의 지식을 요구합니다.

연구진은 4개의 최신 VLM (GPT-4V, Gemini-1.5 Pro, Claude-3 Sonnet, Claude-3.5 Sonnet)을 8가지 간단한 시각 작업에 대해 테스트했습니다. 그 결과, VLM들이 인간에게는 매우 쉬운 작업들(예: 두 선의 교차점 확인, 원 겹침 여부 판단 등)에서 놀라울 정도로 낮은 성능을 보였습니다.

이러한 결과는 VLM의 "시각"이 근시와 같이 세부 사항을 흐릿하게 보는 것에 가깝거나, 최악의 경우 시각 정보 없이 추측하는 것과 같다는 것을 시사합니다. 이는 기존의 복잡한 벤치마크에서 VLM들이 보여준 높은 성능과는 대조적입니다.

이 연구는 VLM의 구체적인 시각적 한계를 밝히고, 향후 컴퓨터 비전 연구의 방향성을 제시하는 데 기여하고 있습니다.

Task

https://vlmsareblind.github.io/

본 논문에서 테스트한 7가지 주요 테스크는 다음과 같습니다:

선 교차점 세기: 두 개의 2-세그먼트 선형 함수가 교차하는 횟수를 세는 과제입니다.
두 원의 겹침/접촉 여부 판단: 두 개의 원이 겹치거나 접촉하는지 여부를 판단하는 과제입니다.
원으로 둘러싸인 글자 식별: 단어 내에서 빨간 원으로 둘러싸인 특정 글자를 식별하는 과제입니다.
겹치는 도형 세기: 올림픽 로고와 유사한 겹치는 원이나 오각형의 개수를 세는 과제입니다.
중첩된 사각형 세기: 서로 중첩된 사각형의 개수를 세는 과제입니다.
격자의 행과 열 세기: 주어진 격자(그리드)에서 행과 열의 수를 세는 과제입니다.
단일 색상 경로 따라가기: 간단한 지하철 지도에서 두 지점 사이의 단일 색상 경로의 수를 세는 과제입니다.

위의 링크에서는 각 Task마다 4개의 주요 VLM 모델들의 성능을 자세하게 리뷰하고 있습니다.

각 Task들을 보면 모두 기본적인 시각적 인식 능력을 요구하며, 인간에게는 매우 쉽지만 VLM에게는 예상외로 어렵게 느껴지는 것 같습니다. 각 Task는 다양한 크기, 색상, 두께 등의 변수들을 포함하여 다각도로 모델의 성능을 평가했습니다.

Task2의 결과를 한 번 확인해보고 갈까요?

제공해드린 사이트로 가보면 이미지,프롬프트,결과들이 보기쉽게 정리되어 있습니다.

각 모델들이 얼마나 잘 맞추는지에 대해서 잘 정리되어 있으니 확인해보시기 바랍니다.

Insight

본 논문은 흥미로운 제목과 함께 재밌는 결과들을 제시하고 있습니다.

하지만 VLM(Vision Language Models)은 실제로 인간이 보는 것처럼 이미지를 "보는" 것이 아니기 때문에 이러한 비교가 큰 의미가 있을지 의문이 듭니다. 모두 알다시피 모델은 이미지를 개별 픽셀(Pixel) 또는 Token의 집합으로 처리합니다. 모델은 이 픽셀 데이터를 바탕으로 학습된 패턴을 이용해 "추측" 혹은 "추론"을 하죠. 즉, 인간의 직관적인 이해와는 달리 통계적 추론에 가까운 과정을 거칩니다.

우리가 이 과정을 '시각' 또는 '보는 것'이라고 표현하는 것은 인간의 특성을 AI에 부여하는 의인화라는 것입니다. 실제로는 매우 다른 프로세스인데, 본 연구는 이를 인간의 시각 과정과 유사하다고 잘못 해석하고 있는 것 같습니다.

정리하자면 VLM의 작동 방식이 인간의 시각과 근본적으로 다르다는 점이고 우리가 AI 능력을 설명할 때 사용하는 언어가 때로는 오해를 불러일으킬 수 있다는 점을 지적하고 싶습니다.

[논문리뷰] - ECG(심전도), PPG(광전용적맥파) feature extraction 연구 논문을 읽어봅시다. ( ECG feature extraction , 심전도 인공지능 )

minyoungxi — Wed, 10 Jul 2024 19:07:21 +0900

1. Introduction

생체신호와 관련된 프로젝트를 진행하고 있는데, 가장 어려운 부분은 역시나 메디컬 도메인 지식입니다.

작년 말부터 진행 중이었던 현재 프로젝트를 너무 데이터 그 자체와 약간의 도메인 지식 그리고 인공지능 모델링 측면에서만 봐서 그런지 너무나 더딘 개선 속도가 마음에 걸려서 처음으로 돌아왔습니다.

많은 생체신호 데이터를 사용 중이지만, 그 중에서도 가장 중심적으로 활용이 되어야 하는 ECG와 PPG에 관해서 조금 더 deep하게 알아볼 것입니다. 개별적인 논문을 모두 자세히 보려고 했지만, 사실 ECG라는 데이터로 할 수 있는 연구가 너무나 많다보니 Feature Extraction 역시 각 연구의 목적에 따라 처리 방법이 너무나 다릅니다.

제가 가지고 있는 데이터는 125Hz인 반면 대부분의 논문은 거의 5-10Hz 를 사용하기도 하고 400Hz를 사용하기도 하더라구요. 아무래도 추출 방식에 따라서도 전처리 기법이 매우 다르기도 해서 여러 논문을 훑어보며 어떤 방식을 사용하는구나! 정도로만 보고 넘어가야 할 것 같습니다.

2. ECG

제가 보유한 ECG 데이터는 125Hz로 측정되었습니다. 논문마다 추출된 샘플링 레이트가 차이가 나는 경우가 많습니다. Resampling 과정을 통해 데이터의 샘플링을 줄이거나 늘릴 수 있는데요, 매우 낮은 샘플링 레이트로 리샘플링한다면 신호로부터 얻을 수 있는 정보의 손실이 커질 수 있습니다.

어떤 논문에서는 5-10 Hz 구간의 샘플링을 사용하기도하고 400Hz에서 사용하기도 합니다.

125Hz에서 원본 데이터를 획득했다면, 400Hz로 업샘플링해도 추가적인 정보는 얻기 힘듭니다. 오히려 샘플링이 높을수록 데이터의 크기가 커지기 때문에 불필요한 계산 복잡성만 증가하게 되겠죠?

Automatic diagnosis of the 12-lead ECG using a deep neural network

이 논문은 심전도의 자동 진단을 위한 DNN의 사용 연구입니다.

1,676,384 명의 환자에게서 추출된 ECG 데이터를 사용하고, 1도 방실차단(1dAVb), 우각차단(RBBB), 좌각차단(LBBB), 동서맥(SB), 심방세동(AF), 동빈맥(ST)의 6가지 이상의 예측을 목표로 합니다.

Fig3.은 이 논문에서 사용한 DNN 구조인데요. 1차원 신호를 처리하고 분류하는 데 사용됩니다.

이 구조를 통해 학습하는 주요 목표는 심전도 데이터에서 6가지 ECG 문제를 정확하게 인식하고 분류하는 것이라고 합니다.

이 논문에서 사용된 방법이 400Hz 샘플링 속도로 리샘플링을 진행하고 7~10초의 신호를 4096 샘플로 zero padding 하여 입력값을 만들어 줍니다. 모델의 구조는 복잡하지 않게 설계되어 있습니다.

기본적인 Convolutional Layer 와 Residual Blocks을 사용했고 마지막에 Fully Connected Layer를 통해 심전도의 각 이상 상태에 대한 확률을 계산하게 됩니다.

결과를 보면 흉부외과 레지던트 의사들보다 높은 성능을 보였다고 하며 DNN 기반 ECG 분석이 단일 리드 설정에서 12-lead 검사로 일반화될 수 있다고 주장합니다.

ECG-SL: Electrocardiogram(ECG) Segment Learning, a deep learning method for ECG signal

이 논문은 ECG 신호의 주기적 특성을 명시적으로 모델링하기 위해 새로운 ECG 세그먼트 학습 프레임워크를 제시합니다. 기존의 딥러닝 접근법은 ECG 신호의 주기적 특성을 충분히 고려하지 않았다는 문제가 있다고 언급합니다.

ECG 신호를 개별 심장 박동 세그먼트로 분할하고 1차원 CNN 기반으로 오토인코더를 사용하여 특징을 추출합니다.

Transformer 인코더를 사용하여 시간적 정보를 학습하고 최종적으로 Attention Layer를 통해 예측을 수행합니다.

본 모델은 오토인코더를 사용하여 구조적 임베딩을 pretrain 하고 Transformer 인코더를 사용하여 masking된 세그먼트를 재구성하는 방식으로 시간적 표현을 학습합니다.

이 모델에서 인상깊은 점은 Saliency Map을 사용하여 모델의 의사 결정 과정을 시각화하고 사용자가 이해할 수 있도록 돕는다는 점입니다. ECG 신호의 주기적 특성을 명시적으로 모델링하는 새로운 접근법을 제안하고 , 다양한 임상 테스크에서 뛰어난 성능을 입증했습니다.

3. ECG feature에 대해서 알아보자 !

ECG(심전도) 신호에서 추출할 수 있는 주요 특징들 중 RMSSD, SDNN, pNN50은 심박 변이도(Heart Rate Variability, HRV)를 평가하는 데 중요한 지표입니다. 이들은 자율신경계의 활동과 심장 건강 상태를 반영하는 중요한 생리학적 정보를 제공합니다.

RR interval

심박 변이도(Heart Rate Variability, HRV)는 연속적인 심장 박동 사이의 시간 변화를 측정하는 생리학적 현상입니다. HRV는 자율신경계의 기능과 심장의 적응력을 반영하는 중요한 지표로, 전반적인 건강 상태와 스트레스 대처 능력을 평가하는 데 광범위하게 사용됩니다.

HRV의 기본 원리는 건강한 심장이 외부 환경과 내부 상태의 변화에 따라 박동 간격을 지속적으로 조절한다는 것입니다. 예를 들어, 흡기 시에는 심박수가 약간 증가하고 호기 시에는 감소하는 현상(호흡 동성 부정맥)이 나타납니다. 이러한 변화는 주로 자율신경계의 교감신경과 부교감신경의 상호작용에 의해 조절됩니다.

HRV의 임상적 응용은 매우 다양합니다.

심혈관 질환의 위험 평가: 낮은 HRV는 심혈관 질환의 위험 증가와 관련이 있습니다.
자율신경계 기능 평가: 당뇨병성 자율신경병증 등의 진단에 활용됩니다.

RMSSD(Root Mean Square of Successive Differences)는 연속된 RR 간격(RR interval) 차이의 제곱 평균의 제곱근으로, 심박의 단기 변동성을 나타냅니다. 이 지표는 주로 부교감 신경계의 활동을 반영하며, 높은 RMSSD 값은 더 좋은 심장 건강과 스트레스 대처 능력을 시사할 수 있습니다. 일반적으로 20-70ms 사이의 값이 정상 범위로 간주되며, 이보다 높은 값은 더 강한 부교감 신경 활동을 의미할 수 있습니다. RMSSD는 스트레스 관리, 운동 회복, 그리고 전반적인 심혈관 건강 평가에 유용하게 사용됩니다.

SDNN(Standard Deviation of NN intervals)은 RR 간격의 표준편차로, 전체적인 심박 변이도를 나타냅니다. 이 지표는 교감 및 부교감 신경계를 포함한 전반적인 자율신경계 활동을 평가하는 데 사용됩니다. SDNN 값이 높을수록 심장이 다양한 상황에 더 잘 적응할 수 있음을 의미하며, 이는 더 나은 심장 건강 상태를 반영합니다. 일반적으로 0.5에서 2.0 사이의 값이 정상으로 간주되지만, 이는 측정 기간과 개인의 상태에 따라 다를 수 있습니다. SDNN은 장기적인 심장 건강 예측과 전반적인 자율신경계 균형 평가에 중요한 역할을 합니다.

pNN50(Percentage of successive NN intervals that differ by more than 50ms)는 연속된 RR 간격 중 50ms 이상 차이나는 간격의 비율을 나타냅니다. 이 지표 역시 부교감 신경 활동의 또 다른 지표로 사용되며, RMSSD와 마찬가지로 단기 심박 변이도를 반영합니다. 일반적으로 건강한 성인에서는 10% 이상의 값이 정상으로 간주됩니다. pNN50이 높을수록 부교감 신경 활동이 더 활발함을 의미하며, 이는 더 나은 심장 건강과 스트레스 대처 능력을 시사할 수 있습니다. 이 지표는 특히 연령에 따른 자율신경계 기능 변화를 평가하거나, 운동 훈련의 효과를 모니터링하는 데 유용하게 사용됩니다.

이러한 HRV 지표들은 개별적으로도 중요하지만, 함께 분석될 때 더욱 포괄적인 심장 건강 평가가 가능합니다. 예를 들어, RMSSD와 pNN50이 모두 높고 SDNN도 정상 범위 내에 있다면, 이는 건강한 자율신경계 기능과 좋은 심장 적응력을 나타낼 수 있습니다. 반면, 이 지표들이 모두 낮다면 자율신경계 기능 저하나 심장 건강의 문제를 시사할 수 있습니다. 따라서 이러한 ECG 특징들은 임상에서 심장 질환의 조기 진단, 치료 효과 모니터링, 그리고 전반적인 건강 상태 평가에 중요한 도구로 활용됩니다.

4. CO

A multimodal stacked ensemble model for cardiac output prediction utilizing cardiorespiratory interactions during general anesthesia

해당 논문은 Cardiac Output을 추정하는 멀티모달 방법론에 대한 내용입니다. 469명의 환자들로부터 추출된 NIBP(Non-invasive Blood Pressure) , HR(Heart Reate) , SpO2, CO 를 데이터로 사용하네요.

아래는 멀티모달 모델링을 통해 CO를 추정하는 방법입니다.

머신러닝 알고리즘인 Generalized linear model (GLM), random forest (RF), gradient boosting machine (GBM), extreme gradient boosting (XGBoost)를 사용합니다. 개별 base learner들을 사용해서 마지막에 Ensemble 기법을 통해 합쳐줍니다. 평가 지표는 MSE , RMSE, MAE , R제곱 등을 통해 평가하네요.

[Insight] Scale’s Alex Wang on the US-China AI Race - Scale AI의 수장 Alex Wang이 말하는 AI 전쟁

minyoungxi — Wed, 26 Jun 2024 15:25:45 +0900

최근 Scale AI의 CEO인 Alex Wang의 인터뷰가 담긴 팟캐스트를 들었는데요, AI가 글로벌 권력 균형을 어떻게 변화시킬 수 있는지에 대한 Alex Wang(Scale AI의 CEO)의 인사이트가 인상적입니다.
(https://www.chinatalk.media/p/scales-alex-wang-on-the-us-china)

Scale AI라는 회사는 AI 트레이닝 데이터 라벨링을 위한 API를 제공하는 비즈니스 모델을 가지고 있는 회사입니다. 특히, 자율 주행 관련 데이터를 필요로 하는 Waymo, Uber 등의 기업이 주요 고객이라고 합니다.

본 인터뷰는 ChinaTalk 에서 진행했습니다. 인공지능의 발전에 빼놓을 수 없는 국가가 중국이죠 ? 자율주행은 물론 데이터의 절대적인 양을 따져도 미국과 가장 비등한 상대가 중국이라고 생각합니다. Alex 처럼 미국으로 가서 스타트업을 성공적으로 이끈 중국인들도 굉장히 많죠. Alex의 Scale AI는 예전에 잠깐 들었는데, 벌써 시리즈 F 투자를 받았네요. !!

Alex는 Scale의 10억 달러 자금 조성을 발표하는 이 블로그 포스트에서(https://scale.com/blog/scale-ai-series-f) Scale이 AI를 위한 세계적인 데이터 파운드리로 성장하는 것을 목표로 하고 있다고 언급했습니다. Alex는 뉴멕시코 주 로스 알라모스에서 두 명의 물리학자 부모님 밑에서 자랐고, 대학 시절에 Scale을 시작했습니다.

그는 DoD(국방부)와 협력하며 AI의 국가 안보적 함의에 대해 진지하게 고민하는 유일한 민간 AI 리더 중 한 명입니다.

아래는 인터뷰에서 논의한 주제들입니다.

1. AGI의 급속한 도약을 제한하는 세 가지 주요 요인과 얼마나 빠르게 이런 장애물들을 넘을 수 있을까 ?
2. AGI의 경쟁에서 중국의 강점과 약점
3. AI 경쟁에서 승리(또는 패배)할 경우의 국가 안보적 의미
4. AI net 평가에 대한 전망과 데이터에 대한 맨해튼 프로젝트의 필요성
5. 혁신을 저해하지 않거나 이민자들을 차별하지 않으면서 AI의 간첩 행위를 방지하는 방법

데이터의 벽

AI의 진보와 국가 경쟁력을 주도하는 세 가지 대표적인 요인은 컴퓨트(Compute), 데이터(Data), 알고리즘(Algorithms) 입니다. 컴퓨트(연산)과 알고리즘에 대해서는 많은 논의가 이루어졌지만, 데이터 역시 매우 중요한 부분입니다.

첫 번째로 중요한 것은 첫 컴퓨팅 곡선(compute curve)입니다. 무어의 법칙과 확장 기능을 모두 활용하여 과거보다 훨씬 더 많은 컴퓨팅을 사용할 수 있습니다.

두 번째로 중요한 것은 데이터인데요, 데이터는 AI 모델의 성능을 향상시키기 위해 필수적입니다. 양질의 데이터가 많이 필요하며, 이러한 데이터는 지속적으로 업데이트되고 개선되어야 합니다. 앞으로 나아가기 위해서는 데이터의 수집, 정제, 관리에 대한 지속적인 투자가 필요합니다. 데이터 벽을 넘기 위해서는 이러한 과정들이 더욱 효율적으로 이루어져야 합니다.

2010년대 초반부터 딥러닝과 신경망의 사용이 시작되면서, 알고리즘에 사용되는 데이터의 양은 꾸준히 지수 곡선 형태로 증가해 왔습니다. 이는 페이페이 리(Fei-Fei Li) 연구실에서 나온 이미지넷(Imagenet) 데이터셋에서 시작되어, 이후 꾸준히 증가했죠. 현재의 모델들은 매우 많은 데이터를 필요로 합니다.

세 번째로 중요한 것은 알고리즘입니다.

현재의 대형 언어 모델들은 두 단계로 훈련됩니다.
사전 훈련(pre-training)과 후속 훈련(post-training)이죠. 대부분의 사람들이 자연스럽게 떠올리는 것은 사전 훈련 단계입니다. 이 단계에서는 수만 개 또는 수십만 개의 GPU를 사용하여 인터넷의 많은 데이터를 다운로드하고, 그 위에 거대한 신경망 또는 트랜스포머 기반 모델을 훈련시킵니다.

두 번째 단계는 후속 훈련으로, 실제로 모델을 유용한 기능에 맞게 최적화하는 단계입니다. 이 후속 훈련 단계에서는 최첨단 데이터(frontier data)에 크게 의존합니다. 여기에서는 RLHF(인간 피드백을 통한 강화 학습) 및 SFT(지도형 미세 조정)와 같은 기법을 적용합니다. 여기서 고품질의 데이터를 활용하여 이러한 모델들이 코딩과 같은 매우 유용한 task에서 훨씬 더 잘 수행되도록 합니다.

이 단계에서 많은 안전 통제가 이루어집니다. 후속 훈련의 두 번째 단계는 지난 2년 동안 대부분의 진보가 이루어진 곳입니다. 이는 업계에서는 잘 알려져 있지만, 다른 곳에서는 잘 알려지지 않았습니다.

GPT-4는 2022년 가을에 처음 훈련되었고, 그 이후로 GPT-4를 크게 능가하는 사전 훈련은 아직 이루어지지 않았습니다. 그 이후의 모든 진보는 이 후속 훈련 과정을 통해 이루어졌습니다. ( 하지만 최근 claude-3.5 sonnet 모델이 GPT-4를 압도했죠 ! )

Epoch AI에서 제공한 예제에서는 동일한 성능 향상을 이루기 위해 두 가지 접근 방법이 있습니다. 후속 훈련 강화(Post-Training Enhancement, PTE) 또는 사전 훈련 컴퓨트를 5배로 확장하는 것입니다. 이는 두 가지 방법 모두 유사한 성능 개선을 달성할 수 있음을 보여줍니다.

후속 훈련(post training process)의 한계

Alex Wang : 연구 커뮤니티에서는 현재 상반된 답변이 있습니다. 솔직히 말해, 이는 이 분야에서 가장 큰 질문 중 하나입니다. 일부는 후속 훈련이 단지 모델에 이미 존재하는 지능의 많은 부분을 노출시키는 것이라고 믿습니다. 따라서 후속 훈련은 모델이 본질적으로 가지고 있지 않은 새로운 기술을 모델에 부여할 수 없다는 것입니다.

GPT-3.5는 후속 훈련 과정을 통해 GPT-4가 처음 나왔을 때보다 더 나아졌습니다. 뛰어난 후속 훈련을 통해 많은 성능 한계를 극복할 수 있습니다. 이로 인해 모델들이 개선된 코드 분석을 수행하고, 스스로 코드를 실행하며, 더 고급 에이전트 작업을 수행하고, 다양한 종류의 작업을 자동화할 수 있게 되었습니다.

QStar와 기타 최근 다양한 챗봇들은 AI 시스템이 국제 수학 올림피아드 수준의 문제를 해결하는 데 매우 근접하고 있음을 나타냅니다.

Chinese Espionage and the Race to AG

데이터셋을 보호하기 위해 국가적 방어선을 구축할 필요가 있다고 생각하십니까?

산업 스파이 활동이 AI를 목표로 하고, 많은 똑똑한 중국 PhD, 전투기 조종사, 정보 분석가들이 뛰어난 데이터를 만들 수 있다고 가정한다면, 미국이 장기적이고 지속 가능한 데이터 우위를 개발할 수 있는 방법은 무엇인가요?

미국은 최고의 인재들이 이주하고자 하는 매력적인 목적지입니다. 세계에서 가장 우수한 인재들이 미국으로 이주하고 싶어합니다. 이러한 흐름을 유지할 수 있다면, 미국은 이러한 최첨단 데이터셋을 강화하는 데 필요한 전문가 능력, 전문 지식, 뛰어난 인재들에 있어 근본적인 이점을 가질 것입니다.

산업 스파이 문제는 미국 발전의 근본적인 장애물입니다.
모든 AI 개발이 비공개 연구소에서 이루어지고 모든 비밀이 도난당한다면, 국가적인 이점을 구축하기에 어려움이 많습니다.

특히 많은 과학자들은 데이터나 지식을 클라우드 서비스를 통해 저장합니다.
모델이나 데이터 자체도 비트와 바이트로 이루어져 있기 때문에 전 세계의 모든 데이터 파일을 사용하더라도 결국 가중치 파일 하나로 귀결됩니다.
이러한 모델 가중치는 도난당할 수 있는 가능성이 높은 비트와 바이트로 이루어져 있습니다.

현재 많은 연구소나 회사의 보안 수준은 이런 가중치들을 비밀로 유지하는데 적합하지 않죠. 예를 들어, 최근 구글 엔지니어인 리언 딩은 구글에서 AI 인프라 작업을 하면서 TPU v6 디자인과 많은 훈련 코드를 비롯한 여러 자료를 훔쳐 체포당했습니다.

Alex는 중국 공산당을 싫어하는 부모를 따라 미국으로 왔고, 미국에서 국가 안보 문제에 종사했다고 합니다. 로스 알라모스에서 자라며 국가 안보와 미국 방어에 대해 매우 열의가 많다고 밝혔죠.

하지만 매번 대화 시작 전에 관계자들에게 "저는 로스 알라모스에서 태어났습니다. 저의 부모님은 헌신적인 공무원이고, 미국이 AI 경쟁에서 승리하도록 만들고 싶습니다." 라고 말합니다.

인재는 중국을 떠나 미국으로 오고, 중국으로 돌아가지 않습니다. 대부분의 중국을 떠나는 사람들은 중국 공산당을 좋아하지 않으며, 돌아갈 생각이 없습니다.

중국의 정책에서도 이를 볼 수 있습니다. 과거에는 미국으로 대학원을 가도록 권장했지만, 돌아오는 사람이 적어서 이제는 러시아나 유럽으로 가도록 권장합니다.

현재의 상황을 보면 미국이 승리할 가능성이 적다고 말합니다. 하지만 보안 문제를 해결하고 AI 노력의 보안에 자신감을 가질 수 있다면, 미국은 가능한 한 많은 고급 인재를 중국에서 받아들여야 합니다. 현재 중국은 세계 어느 나라보다 더 많은 고급 STEM 인재를 배출하고 있기 때문입니다.

[Insight] Claude 3.5 Sonnet 발표. OpenAI를 압도하는 Antropic

minyoungxi — Mon, 24 Jun 2024 09:43:20 +0900

Antropic ?!

엄청난 LLM product가 또 출시되었습니다.
매주마다 LLM 관련 다양한 논문들이 나오고 있는데요, 저번주에는 정말 엄청난 프로덕트가 출시되었네요.

Antropic의 Claude 3.5 Sonnet 출시 소식입니다.
올해 3월 Antropic은 Claude 3.0 모델을 출시하면서 ChatGPT-4 보다 더 성능이 좋은 모델을 공개했습니다. Claude3.0은 Opus, Sonnet, Haiku라는 3가지 모델로 이루어져 있는데요, 각 모델은 성능뿐만 아니라 윤리성 검증까지 마친 상태라고 했죠.

엔트로픽은 OpenAI의 엔지니어들이 샘 알트만의 행보에 반대하여 퇴사 후 설립한 회사입니다. ( 샘 알트만의 영리화 정책 )
Antropic은 OpenAI와 차별성을 두기 위해 공익회사임을 밝히고 회사의 미션을 '인류에게 도움이 되는 대규모 AI 시스템을 구축한다!'입니다.

이런 AI 시스템은 안정성, 투명성, 윤리성에 가치를 두고 있어야 한다고 주장합니다. 처음에 이런 방식을 보고 정말 놀랐는데요, 자사만의 특별한 AI 학습 방식인 '헌신적 구성-Constitutional AI'을 개발했습니다. 이는 인공지능 모델이 스스로 윤리 원칙을 학습하도록 합니다. 기존의 단순한 방식과는 차별화된 학습 방식이죠.

Antropic이 발표한 Claude는 2023년에 발표한 Cluade3을 기반으로 빠르게 버전업을 진행하고 있는 상태입니다. 그 중에서도 저번주에 발표한 Cluade 3.5 Sonnet은 정말 너무 놀라운 성능입니다.

사실 처음 Claude와 ChatGPT를 사용해보면 Claude가 더 사용자 친화적인 인터페이스를 가지고 있고, 퍼포먼스나 개발자 친화적인 디테일 부분에서 Claude가 조금 더 우위에 있다고 생각합니다. 개발자 커뮤니티에서도 최근 'GPT4 다운그레이드' 된 것이 확인되었죠. OpenAI도 갑질을 할 것 같더니 ! Claude가 나타났네요.

필자는 Cluade와 ChatGpt 모두 유료 결제를 통해 사용 중입니다.
가장 최근에 발표된 ChatGpt 4.0 o 모델의 쇼케이스도 인상깊게 보고 놀랐는데요. 막상 사용해보면 성능의 증가가 크게 체감되지는 않았습니다.

하지만 저번주에 출시한 Claude 3.5 Sonnet은 Gpt-4o 보다 훨~씬 뛰어나다는 것을 직접 사용하면서 느끼게됩니다. 사실 체감상 뿐만 아니라 아래에서 보여주는 벤치마크를 참고하더라도 압도적인 성능을 보여주죠.

디테일한 포인트들을 정리해봤습니다.

- Anthropic에 따르면 여러 벤치마크에서 GPT-4o를 능가합니다.
- 새 모델은 텍스트와 이미지를 분석하고 텍스트를 생성할 수 있습니다.
- 이전 Cluade 3 Opus 모델에 비해 두 배 빠릅니다.
- Claude 3.5 Sonnet은 200,000 토큰의 컨텍스트 창을 가지고 있습니다 (GPT-4o는 128K).
- Anthropic은 AI 생성 콘텐츠 편집을 위한 새로운 작업 공간인 Artifacts를 도입했습니다.
- 이 모델은 현재 Anthropic의 웹 클라이언트, iOS 앱, 및 API를 통해 이용할 수 있습니다.
- 더 나은 버전인 Claude 3.5 Opus는 웹 검색 기능 등과 함께 곧 출시될 예정입니다.

기능적인 부분을 살펴볼까요? Claude 3.5 Sonnet은 대학원 수준의 추론(GPQA), 학부 수준의 지식(MMLU), 및 코딩 능력(HumanEval)에서 새로운 산업 벤치마크를 설정합니다.

또한 더 친근해졌습니다 ! 미묘한 차이, 유머, 복잡한 지침을 이해하는 능력이 눈에 띄게 향상되었으며, 자연스럽고 공감할 수 있는 톤으로 고품질의 콘텐츠를 작성하는 데 뛰어납니다.

Claude 3.5 Sonnet은 Opus보다 훨씬 더 똑똑합니다. 예를 들어, 내부 에이전트 코딩 평가에서 Claude 3.5 Sonnet은 64%의 문제를 해결했으며, 이는 38%를 해결한 Claude 3 Opus를 능가하는 성과입니다.

Claude 3.5 Sonnet은 독립적으로 코드를 작성, 편집, 실행할 수 있으며, 정교한 추론 및 문제 해결 능력을 갖추고 있습니다.

https://www.youtube.com/watch?v=_ca2NUaJMmE

Toolset

1. 비정형 텍스트에서 구조화된 데이터 추출

- 목적: 수동 데이터 입력을 줄이기 위해 인보이스에서 이름, 날짜, 금액 등을 추출합니다.
- 예시 사용: 인보이스나 이메일에서 관련 정보를 추출하여 데이터 처리에 활용.

2. 자연어 요청을 구조화된 API 호출로 변환

- 목적: 팀이 간단한 명령으로 자주 사용하는 작업을 스스로 처리할 수 있게 합니다.
- 예시 사용: "구독 취소"와 같은 명령을 구독 서비스의 API 호출로 변환.

3. 데이터베이스 검색 또는 웹 API 사용으로 질문에 답변

- 목적: 고객 지원 챗봇에서 즉각적이고 정확한 답변을 제공합니다.
- 예시 사용: 고객 데이터베이스에서 데이터를 가져와 주문 상태에 대한 질문에 답변.

4. 소프트웨어 API를 통한 간단한 작업 자동화

- 목적: 데이터 입력이나 파일 관리에서 시간을 절약하고 오류를 최소화합니다.
- 예시 사용: 새로운 데이터 입력으로 스프레드시트를 자동으로 업데이트.

5. 세분화된 작업을 위한 다수의 빠른 클로드 서브에이전트 조정

- 목적: 참석자의 가용성을 기반으로 최적의 회의 시간을 자동으로 찾습니다.
- 예시 사용: 모든 참석자의 일정을 확인하여 회의를 조율.

Artifacts !!

https://www.youtube.com/watch?v=nIsvzIO3s8I

Anthropic은 Artifacts의 미리보기를 [http://claude.ai]에서 출시했습니다. Artifacts를 통해 사용자는 문서, 코드, Mermaid 다이어그램, 벡터 그래픽, 심지어 간단한 게임까지 생성하도록 Claude에게 요청할 수 있습니다. Artifacts는 채팅 옆에 나타나 실시간으로 생성물을 확인하고, 반복하며, 빌드할 수 있게 해줍니다.

Anthropic은 Artifacts가 Claude.ai의 더 큰 비전의 시작에 불과하다고 밝혔습니다. 이 인터페이스와 사용자 경험은 매우 만족스럽고, 곧 팀 협업을 지원하도록 확장될 예정입니다.

미래에는 팀과 전체 조직이 지식을 중앙 집중화하고, 문서 및 진행 중인 작업을 공유된 공간에 안전하게 통합할 수 있게 될 것입니다. Claude는 필요할 때마다 팀원처럼 활동하며, 이는 기업 및 업무 환경에 매우 유용할 것으로 보입니다.

[논문리뷰] - SSM과 S4 모델들을 알아보자 ! ( + Transformer , Mamba ) - State Space Model for New-Generation Network Alternative to Transformers: A Survey

minyoungxi — Mon, 24 Jun 2024 06:17:48 +0900

SSM(Space State Model)은 뭐야 ?

SSM은 기존 Transformer(https://minyoungxi.tistory.com/104) 기반 모델에 비해 다양한 작업에서 계산 비용이 낮으면서 큰 잠재력을 보이며 주목받고 있습니다. 제어 이론 및 계산 신경 과학에 뿌리를 두고 있으며, 동적 시스템을 상태 변수로 모델링하여 딥러닝에 적용됩니다.

그렇다면 Transformer의 문제는 무엇일까요 ?
Transormer는 Attention 기법을 통해서 일반적으로 장거리 종속성을 개선했지만, Transformer의 문제점은 유전체 또는 극도로 긴 텍스트와 같은 맥락에서는 확장이 잘 되지 않습니다.

self attention 예시

왜 극도로 긴 input에서 느릴까 ? self-attention 매커니즘 때문. self-attention은 입력 시퀀스의 모든 토큰 쌍 사이의 상호작용을 계산해야 합니다. 이는 시퀀스의 길이가 $n$ 일 때, $O(n^2)$ 의 시간 복잡도를 가지며, 메모리 사용량도 동일하게 $O(n^2)$ 로 증가합니다. 따라서 입력 시퀀스가 길어질수록 연산량과 메모리 사용량이 기하급수적으로 증가합니다.

SSM은 최근 크게 주목받고 있는 Mamba 알고리즘의 self-attention과 같다고 볼 수 있습니다.

1차원 input을 입력받아서 잠재 공간에 매핑 후 다시 1차원 출력으로 내보내는 것입니다.

ssm equation

SSM은 긴 시퀀스를 효율적으로 모델링할 수 있으며, Transformer와 달리 메모리와 계산 자원을 덜 소모합니다.

위의 수식을 보면 선형적인 계산 복잡도를 가지고 있으며 , 효율적인 훈련을 위한 병렬적 계산이 가능합니다.

하지만 더 많은 메모리가 필요할 수 있으며 훈련 중에 그래디언트 소실 문제가 발생할 수도 있습니다.

Deep SSM

아래에 나타난 상태공간 방정식은 1차원 입력 신호를 N 차원의 잠재 상태 $x(t)$ 로 mapping 한 후에 1차원 출력 신호 $y(t)$ 로 투영합니다. 즉, 입력 신호인 $u(t)$를 state representation vector $x(t)$ 와 출력 벡터 $y(t)$로 매핑하는 것이죠.

$\acute{x}(t) = A(t)x(t) + B(t)u(t)$ -> 시간에 따른 $x(t)$의 변화량
$y(t) = C(t)x(t) + D(t)u(t)$

$x(t) \in \mathbb{R}^n$, $y(t) \in \mathbb{R}^q$, $u(t) \in \mathbb{R}^p$ 는 각각 상태 벡터, 출력 벡터, 입력 (또는 제어) 벡터를 나타냅니다.

$\dot{X}(t) = \frac{d}{dt} X(t)$
$A(t) \in \mathbb{R}^{n \times n}$,
$B(t) \in \mathbb{R}^{n \times p}$,
$C(t) \in \mathbb{R}^{q \times n}$, 그리고 $D(t) \in \mathbb{R}^{q \times p}$ 는 각각 상태 행렬, 입력 행렬, 출력 행렬, 피드포워드 행렬을 나타냅니다.

시스템 모델에 직접적인 전달 경로가 없을 때, $D(t)$는 영 행렬이 되며, 따라서 다음과 같은 단순화된 방정식을 얻을 수 있습니다:

$$
\dot{X}(t) = A(t)X(t) + B(t)U(t)
$$
$$
y(t) = C(t)X(t)
$$

시스템이 연속적이므로 컴퓨터에 입력하기 전에 이를 이산화(Discretion)해야 합니다. Mamba 아키텍처에서는 영차 유지(Zero-Order Hold, ZOH) 방식을 채택하여 이산화합니다:

$$
X_t = \bar{A} X_{t-1} + \bar{B} U_t
$$
$$
y_t = C X_t
$$

여기서
$\bar{A} = \exp(\Delta A)$,
$\bar{B} = (\Delta A)^{-1}(\exp(\Delta A) - I) \cdot \Delta B$,
$\Delta$ 는 스텝 크기를 나타냅니다.

연속함수 $u(t)$ 대신 이산 입력 시퀀스 ($u_1$ , $u_2$, ... )에 적용하기 위해 SSM은 입력의 해상도를 나타내는 step size로 이산화되어야 합니다.

만약 $state$ $vector$와 $input$ $vector$를 $h$와 $x$를 사용하여 나타내고 싶다면 아래의 함수를 통해 RNN의 방식과 유사한 연산으로 나타낼 수 있습니다.
function to function 이 아닌 sequence to sequence mapping 으로 바뀌게 되고, 상태 방정식이 $x_k$ 의 재귀적 표현이 되어 discrete SSM을 RNN처럼 계산할 수 있게 됩니다.

$h_t = \bar{A}_t-1 + \bar{B}x_t$
$y_t = Ch_t$

그러나 RNN 모델은 계산할 때 병렬화(parallelized)할 수 없는 문제에 직면합니다. 위의 수식을 단순히 확장하면 다음과 같습니다.

$$ y_0 = C \bar{A}^0 \bar{B}x_0 $$ $$ y_1 = C \bar{A}^1 \bar{B}x_0 + C \bar{A}^0 \bar{B}x_1 $$ $$ y_2 = C \bar{A}^2 \bar{B}x_0 + C \bar{A}^1 \bar{B}x_1 + C \bar{A}^0 \bar{B}x_2 $$
마지막 항과 끝에서 두 번째 항의 곱셈자는 항상 $C \bar{A}^0 \bar{B}$ 및 $C \bar{A}^1 \bar{B}$입니다. 따라서 우리는 이 곱셈자들을 컨볼루션 커널로 취급할 수 있습니다:
$$ \bar{K} = C \bar{B} \cdot (\bar{A}^0, \bar{A}^1, \bar{A}^2, \ldots, \bar{A}^L) $$
여기서 $L$은 주어진 입력 시퀀스의 길이입니다. 우리는 식 (4)를 다음과 같은 컨볼루션 형식으로 다시 쓸 수 있습니다:
$$ \bar{K} = (CB, CAB, \ldots, CA^kB, \ldots) $$ $$ y = x \ast \bar{K} $$
이렇게 하면, 우리는 병렬 학습과 선형 복잡도의 반복 형식 추론에 적합한 완전한 SSM 모델을 얻을 수 있게 됩니다. Transformer 아키텍처에서는 문맥 정보가 유사도 행렬에 저장되지만, SSM은 유사한 모듈이 없어 문맥 학습 성능이 떨어집니다.

위의 수식을 통해 SSM 모델의 계산 복잡도가 입력 시퀀스의 길이에 선형적으로 비례한다는 것을 확인할 수 있음. 따라서 이 모델은 입력 시퀀스의 길이에 따라 선형 복잡도를 가짐. 이와 같은 선형 복잡도를 통해 SSM 모델은 병렬 학습과 효율적인 추론을 실현할 수 있음.

Transformer 모델에서 주로 사용되는 self-attention의 계산 복잡도는 $O(n^2d)$ 입니다. $n$은 시퀀스의 길이 , $d$는 임베딩 차원입니다. 즉, 시퀀스의 길이에 대해 제곱에 비례하여 계산 복잡도가 증가하는 것이죠.
반면, SSM 모델의 계산 복잡도는 $O(nd)$ 이므로 시퀀스의 길이에 대해 선형적으로 계산 복잡도가 증가합니다.

SSM의 다양한 변형이 존재하며, 이들은 특정 응용 분야에 맞게 최적화되었습니다. 예를 들어, Kalman 필터는 상태 공간 모델의 대표적인 변형 중 하나로, 잡음이 포함된 시스템의 상태를 추정하는 데 사용됩니다. 또한, 확장된 Kalman 필터(Extended Kalman Filter, EKF)와 무향 Kalman 필터(Unscented Kalman Filter, UKF)와 같은 비선형 변형도 존재합니다.

최근에는 SSM의 개념을 딥러닝 모델에 통합하려는 시도가 이어지고 있습니다. 특히, SSM은 긴 시퀀스 데이터를 처리하는 데 있어 계산 복잡도를 낮추는 데 강점을 보입니다. 이러한 이유로 SSM은 Transformer 모델의 대안으로 주목받고 있으며, 다양한 연구자들이 이를 개선하고 최적화하려는 노력을 기울이고 있습니다.

HiPPO

HiPPO는 SSM 논문들 중 가장 흥미롭게 읽은 논문입니다. HiPPO 이전에 Parallelizing Legendre Memory Unit Training(LMU)

라는 논문이 있는데요, 해당 논문에서는 RNN의 단점 중 하나인 병렬화 불가능 문제를 linear recurrence convolution으로 해결하는 시도를 했습니다.

만약 우리가 특정 input의 이전/이후 state를 가져올 수 있는 딜레이 구조의 시스템을 구축할 수 있다면, 해당 시스템의 output으로 input의 recurrence 구조를 확보할 수 있다는 장점이 생깁니다. 우리는 Linear system을 찾고자 하기 때문에 (애초에 학습하고자 하는 신경망 연산 자체가 텐서 및 행렬 기반이기 때문이라 생각하면 편합니다), 다음과 같이 네 개의 matrices $< A, B, C, D >$ 로 표현되는 LTI system을 찾는 것이 목표가 됩니다.

요약하자면, 이상적인 딜레이 시스템을 LTI 시스템으로 구축하여 표현한 것이 기존의 Linear State Machine 디자인이었고, 이를 다시 non-linear neural network system을 사용하여 학습한 것이 LMU 구조입니다.

HiPPO는 polynomial bases에 projection을 해서 continuous-signal과 discrete-signal을 online하게 compression 합니다. HiPPO 모델을 요약하자면, 고차 다항식 프로젝션 연산자를 사용하여 시퀀스 데이터의 정보를 압축하고 모델의 효율성을 높이는 알고리즘입니다.

> HiPPO model combines the concepts of Recurrent Memory and Optimal Polynomial Projections, which can significantly improve the performance of recursive memory, This mechanism is very helpful for SSM to handle long sequences and long-term dependencies.

HiPPO 논문을 보시게 되면 정말 많은 수식들을 볼 수 있습니다.

각 time step의 중요도 measurement가 정의되면, HiPPO는 "natural online function approximation problem"의 optional solution을 찾아냅니다. 아래의 그림처럼 $f(t)$라는 ground truth input이 주어졌을 때, 정보의 손실을 최소화하는 방향으로 $g(t)$를 얻어낼 수 있습니다. 이때, $g(t)$는 orthogonal polynomials(OP)를 활용해서 구할 수 있습니다.

모든 시간 $t$ 에는 $f$를 polynomial-space로 optimal projection 하는 $g(t)$가 있는 것이죠. 아래의의 예시에서는 orthogonal polynomial basis(OP basis)가 4개입니다. 각각의 coefficient $c(t)$는 해당 시점에서 OP basis에 사영(projection)된 값을 나타냅니다.

$C(t)$는 HiPPO에서 모든 시간 t에 대해 0~$t$ 시간에 대한 정보의 총합으로 볼 수 있는 $C_t$ 를 유지하기 위한 프레임워크 입니다. 적절한 bias를 선택함으로써 $C(t)$ 는 history를 나타내게 됩니다. ( $C_t$ 와 $t$ 시점의 출력 $f_t$ 의 선형 조합을 통해 $C_t+1$ 을 생성합니다.)

HiPPO를 행렬 형태로 구현하여 SSM에 적용하면 SSM의 성능을 크게 향상시킬 수 있습니다.
이전 연구의 문제는 SSM이 실제로 성능이 매우 낮다는 것이었죠.

- Sequence의 길이에 따라서 기울기(gradient)가 기하급수적으로 증가/감소하는 문제가 발생했습니다.
- Discrete-time SSM을 보면 이산 시간 간격 $\Delta$ 에 대한 $A$를 $\bar A$ 로 표기한다는 것이죠. Continuous-time 에서는 현재 상태 $x(t)$ 를 사용하여 $y$를 계산하고, Discrete-time 에서는 업데이트한 후에 업데이트 된 $x$ 를 사용하여 $y$를 계산합니다.

Summary

HiPPO(High-order Polynomial Projection Operator) 방법은 연속 함수 $f$를 Hilbert 공간 $u$에서 예측 함수 $g$의 서브스페이스로 변환하여 이를 적절한 벡터 기반의 계수 배열로 표현하는 방법입니다. 이를 통해 연속 시간 미분 방적식을 LTI(선형 시불변) 시스템의 미분 방정식으로 변환할 수 있습니다. 이 과정에서 시스템의 주축이 되는 함수 $A(t)$와 $B(t)$의 형태를 결정하여 시퀀스 메모리의 중요도를 매핑합니다.

기존의 LMU(LeGendre Memory Unit)는 특정 슬라이딩 윈도우 크기 $\theta$ 를 가지는 이상적인 딜레이 시스템의 LTI 미분 방정식을 이산화하여 사용하지만, HiPPO는 이를 연속 시간 메모리화로 일반화한 것입니다.

S4

S4 모델은 이러한 제한을 해결하기 위해 구축되었습니다.

Method: Structured State Spaces (S4)

Efficiently Modeling Long Sequences with Structured State Spaces

LSSL은 state space model (SSM) 을 Simulating 하느라 느리고 memory도 많이 차지한다고 합니다. 이를 해결하기 위해 S4 모델을 제안합니다.

LSSL은 선형 상태 공간 모델로, 시간 시계열 데이터나 연속된 데이터의 학습 및 예측에 많이 사용됩니다. LSSL의 주요 문제점은 다음과 같습니다:

• 느린 계산 속도: 상태 공간 모델은 일반적으로 연산 복잡도가 높아 학습과 예측 과정에서 시간이 많이 소요됩니다.
• 높은 메모리 사용: 상태 공간 모델은 많은 파라미터를 다루어야 하므로 메모리 사용량이 많습니다.

LSSL 에서는 state matrix A를 구하기 위해 L 개의 successive multiplication (연속 곱셈)을 수행해야 하는데, 이는 계산 복잡도가 높아져 Bottle neck 현상을 일으킵니다. -> A를 여러번 곱하는 과정은 시간 복잡도가 $O(L)$ 로, L이 커질수록 계산이 매우 느려집니다.

LSSL의 문제를 해결하기 위해 A를 canonical form으로 변환하면 계산 효율성을 크게 향상시킬 수 있습니다. A를 대각행렬(diagonal matrix)으로 만들면, 행렬 곱셈이 대각 원소들 간의 곱셈으로 단순화되어 계산이 훨씬 빠르고 tractable 합니다.

S4는 A matrix에 low-rank correction (stably diagonalized)를 적용하고, cauchy kernel을 이용해서 SSM computation을 낮춥니다. Path-X 문제를 풀어냈고, LRA에서 SOTA를 달성하게 됩니다.

> 대각 행렬을 이용하면 계산이 훨씬 단순하고 효율적입니다. 하지만 일반 행렬을 대각화하는 것은 쉽지 않죠. 실제로는 다양한 수학적 기법과 최적화가 필요합니다. S4 모델에서는 이러한 문제를 해결하기 위해 low-rank correlation과 같은 기법을 사용하여 계산 효율성을 높입니다.

논문에는 수식이 너무 많습니다. 어쨌든 HiPPO matrices (A matrix in SSM) 들을 diagonalize 하는 데 성공했고, 이를 이용해서 굉장히 빠른 속도, 성능을 낼 수 있다는 것입니다.

아래의 결과를 보면 확실히 LSSL에 비해 학습 단계에서 소요 시간과 메모리 할당량 모두에서 훨씬 효율적인 것을 알 수 있습니다. 특히, 차원이 커질수록 S4의 효율성이 더욱 두드러지게 나타납니다. 512 차원에서 S4는 학습 시간이 29.6배 더 빠르고, 메모리 사용량은 392배 더 적네요.

또한 Transformer 모델 대비 입력 시퀀스 길이 1024에서는 1.58배 더 빠르며, 길이 4096에서는 5.19배 더 빠릅니다.

결론적으로 S4 모델은 Transformer 모델에 비해 큰 시퀀스 길이에서 훨씬 더 빠르고 메모리 효율적입니다. 특히, 길이가 길어질수록 S4의 효율성이 두드러집니다. 이는 S4 모델이 실제 대규모 시퀀스 데이터를 처리하는 데 매우 유리할 것 같습니다.

Review

모든 딥러닝 모델들에는 수많은 수식이 있지만, 특히 이번에 리뷰할 때 주로 읽었던 State Space Model for New-Generation Network Alternative to Transformers: A Survey : https://arxiv.org/abs/2404.09516
논문과 각각의 개별 논문들 ( HiPPO, LSSL 등 ) 은 특히 너무 많은 수식으로 인해 어려움을 많이 겪었습니다.

Continuous time memorization 에 대한 근사화(approximation)는 HiPPO 그리고 LSSL 논문에서 공통적으로 가지는 이론적/기술적 배경에 해당됩니다. 다음 논문 리뷰에서는 연속 시간 모델링을 이산 시간 모델로 근사화 혹은 다운 샘플링하는 과정에 대해서 깊게 이해해볼까 합니다. Mamba에서는 ZOH 방법을 사용한다고만 간단하게 나와있는데, SSM의 발전 과정과 앞으로의 논문 이해를 위해 한 번 짚어보고 가야할 것 같네요 !

[논문리뷰] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning - 더 빠르고 더 좋다 !

minyoungxi — Tue, 28 May 2024 22:38:16 +0900

논문 요약

FlashAttention 2는 FlashAttention의 후속 논문으로, GPU에서 더욱 효율적인 어텐션 연산을 수행하기 위한 최적화 기법들을 제안합니다.
기존의 Attention 연산과의 차이점을 비교해보며 본 논문의 주요 Contribution을 위주로 한 번 살펴보겠습니다.

Contribution

1. 알고리즘 최적화를 통한 비-행렬곱 연산 감소
- FlashAttention-2는 softmax 연산 등에서 불필요한 연산을 제거하고 행렬곱 위주의 연산을 수행하도록 알고리즘을 개선했습니다.
- GPU에서 행렬곱이 훨씬 빠르게 수행되므로 전체 연산 효율이 크게 향상되었습니다.
- 반면 기존의 어텐션 구현에서는 비-행렬곱 연산이 상대적으로 많았습니다.

비행렬곱 연산(non-matrix multiplication operations)은 행렬의 곱셈 연산이 아닌 다른 모든 종류의 연산을 의미합니다. 머신러닝과 딥러닝에서 사용되는 신경망은 주로 행렬의 곱셈 연산으로 이루어져 있지만, 곱셈 이외에도 다양한 연산이 사용됩니다. 비행렬곱 연산의 예시로는 다음과 같은 것들이 있습니다. GPU에서 행렬곱 연산은 매우 최적화되어 있는 반면, 비행렬곱 연산은 상대적으로 최적화가 덜 되어 있습니다. 따라서 비행렬곱 연산을 최소화하고 행렬곱 연산을 최대화하는 것이 GPU 활용 효율을 높이는 데 도움이 됩니다.

2. 시퀀스 길이에 대한 병렬화를 통한 GPU 활용도 증대
- FlashAttention은 배치 크기와 헤드 수에 대해서만 병렬 처리를 했지만, FlashAttention-2는 시퀀스 길이 차원으로도 병렬화를 확장했습니다.
- 이를 통해 배치 크기나 헤드 수가 적은 경우에도 GPU를 충분히 활용할 수 있게 되었습니다.
- 기존 구현들은 배치 크기나 헤드 수가 적으면 병렬성이 제한되는 한계가 있었습니다.

3. Warp 간 작업 분배 최적화로 shared memory 접근 감소
- 하나의 thread block 내에서도 warp들이 어떻게 작업을 나누느냐에 따라 shared memory 접근 패턴이 달라집니다.
- FlashAttention-2는 warp 간 통신과 shared memory 읽기/쓰기를 최소화하는 방식으로 작업을 분배했습니다.
- 기존 FlashAttention을 포함한 다른 구현들은 이 부분이 상대적으로 덜 최적화되어 있었습니다.

4. 정량적 성능 향상
- 위와 같은 최적화를 통해 FlashAttention-2는 FlashAttention 대비 최대 2배, 표준 어텐션 구현 대비 최대 10배의 속도 향상을 달성했습니다.
- A100 GPU 기준으로 최대 이론 성능 대비 73%까지 도달했는데, 이는 기존 구현들에 비해 매우 높은 수치입니다.

5. 실제 모델 학습 속도 향상
- GPT 스타일 모델 학습에 FlashAttention-2를 적용한 결과, FlashAttention 대비 최대 1.3배, 기존 방식 대비 2.8배의 학습 속도 향상을 얻었습니다.
- A100 GPU 1개로 최대 225 TFLOPs/s의 연산 속도를 보였는데, 이는 학습에 사용되는 전체 연산량의 72%가 실제로 GPU에서 처리되고 있음을 의미합니다.
- 기존의 방법들로는 이처럼 높은 GPU 활용률을 달성하기 어려웠습니다.

그림으로 그려보는 FlashAttention2

런타임에서 GPU는 세가지 메모리 접근법을 가지고 있습니다.

- SRAM: 실제 연산 코어와 함께 위치한 온칩 메모리입니다. 크기는 제한적이지만(A100 카드에서 약 20MB) 극도로 빠릅니다(총 19TB/s 대역폭).
- HBM: 오프칩이지만 카드 내부에 있는 메모리로, GPU 내부에 있지만 코어와 함께 위치하지는 않습니다. A100은 40GB의 HBM을 가지고 있지만, 1.5TB/s의 대역폭만 가집니다.
- DRAM: 전통적인 CPU RAM입니다. TB 단위로 가질 수 있지만, 약 12.8GB/s 대역폭만 얻을 수 있어 너무 느립니다.

GPU에서 가장 작은 처리 단위를 "스레드(Thread)"라고 합니다.

스레드는 덧셈, 뺄셈, 곱셈, 나눗셈과 같은 간단한 산술 연산을 수행하기에 적합합니다.

일반적인 GPU 카드에는 수천 개의 CUDA 코어가 있으며, 각 코어는 여러 개의 스레드를 실행할 수 있습니다. 예를 들어, NVIDIA H100은 16,896개의 CUDA 코어를 가지고 있습니다. 스레드는 스레드 블록으로 그룹화되며, 각 블록은 동일한 연산을 실행합니다.

예를 들어, 일반적인 NVIDIA GPU 카드는 스레드 블록당 최대 1,024개의 스레드를 가질 수 있습니다. 각 스레드 블록은 빠른 공유 메모리(SRAM)에 접근할 수 있습니다. 이 메모리는 작지만 빠릅니다!

대부분의 고성능 GPU는 10MB에서 40MB 사이의 공유 메모리를 가지고 있습니다. 모든 스레드 블록은 또한 큰 전역 메모리를 공유할 수 있습니다. 최신 GPU 대부분은 더 빠른 High Bandwidth Memory(HBM)에 접근할 수 있습니다. HBM은 SRAM보다 1,000배 이상 클 수 있습니다. HBM의 데이터 접근 속도는 빠르지만 SRAM보다는 느립니다.

데이터가 메모리에서 이동하는 방식을 이해하는 것은 더 나은 알고리즘을 작성하는 데 매우 중요합니다.

예를 들어, 어텐션 레이어에서는 쿼리와 키 사이의 텐서 곱을 계산해야 합니다.

$ S = QK^T $ 이 연산은 스레드 블록에 분산되고, 결과 변수 S는 전역 메모리(또는 사용 가능한 경우 HBM)에 기록됩니다. 이 작업이 완료되면, S 행렬을 다시 스레드로 가져와서 softmax 변환을 계산해야 합니다.

$Attention = Softmax(S)$

그리고 다시, 결과 행렬을 전역 메모리로 이동시켜야 합니다. 행렬은 스레드와 전역 메모리 사이에서 앞뒤로 이동합니다. 왜냐하면 연산을 스레드 블록에 격리시키고 SRAM을 사용하여 중간 행렬을 캐시할 수 있는 논리적인 방법이 없기 때문입니다.

요즘 일반적으로 사용되는 한 가지 전략은 S 행렬의 연산을 더 작은 행렬로 분할하여 각 작은 연산을 스레드 블록에 격리시키는 것입니다.

아래는 일반적으로 HBM에서 Attention을 연산하는 프로세스와 FlashAttention 기법을 사용하여 Attention을 계산하는 프로세스를 비교합니다.

[논문리뷰] - ⭐️Mamba: Linear-Time Sequence Modeling with Selective State Spaces⭐️ - 맘바 ! Transformer의 대체자 ?

minyoungxi — Sun, 26 May 2024 11:50:48 +0900

1. Interesting Point

"We identify that a key weakness of such models is their inability to perform content-based reasoning, and make several improvements. First, simply letting the SSM parameters be functions of the input addresses their weakness with discrete modalities, allowing the model to selectively propagate or forget information along the sequence length dimension depending on the current token.”

저자들은 기존의 SSM 모델들의 주요한 약점 이 내용 기반 추론(content_based reasoing)을 수행하지 못한다는 것을 발견하고 몇 가지 개선점을 제시합니다. 우선, SSM parameters를 단순히 입력의 함수로 만들어 이산화하여 약점을 해결하고, 현재 토큰에 의존하여 시퀀스 길이 차원을 따라 정보를 선택적으로 전파하거나 잊을 수 있도록 합니다.

We integrate these selective SSMs into a simplified end-to-end neural network architecture without attention or even MLP blocks (Mamba). Mamba enjoys fast inference (5× higher throughput than Transformers) and linear scaling in sequence length, and its performance improves on real data up to million-length sequences.

이러한 선택적 SSM을 어텐션이나 심지어 MLP 블록조차 없는 단순화된 end-to-end 신경망 아키텍쳐(Mamba)에 통합합니다. Mamba는 빠른 추론(Transformer 보다 5배 높은 처리량)과 시퀀스 길이에 대한 선형 스케일링을 제공하며 실제 데이터에서 최대 백만 길이 시퀀스까지 성능이 향상됩니다.

However, this property brings fundamental drawbacks: an inability to model anything outside of a finite window, and quadratic scaling with respect to the window length. An enormous body of research has appeared on more efficient variants of attention to overcome these drawbacks (Tay, Dehghani, Bahri, et al. 2022), but often at the expense of the very properties that makes it effective.

self-attention은 유한한 윈도우 밖의 것들은 모델링할 수 없고 윈도우 길이에 대해 제곱으로 스케일링 됩니다. 이러한 단점을 극복하기 위해 어텐션의 더 효율적인 변형들에 대한 연구가 많이 진행되었습니다.

However, they have been less effective at modeling discrete and information-dense data such as text.

구조화된 상태 공간 시퀀스 모델(SSMs)이 시퀀스 모델링을 위한 유망한 아키텍처 클래스로 부상했고, 이 모델들은 RNN과 CNN의 조합으로 해석될 수 있습니다. 그러나 텍스트와 같은 이산적이고 정보 밀도가 높은 데이터를 모델링하는 데는 덜 효과적입니다.

Mamba Motivation Summary

우선 트랜스포머의 모델부터 텍스트 생성 모델까지 간단하게 살펴보겠습니다. Transformer 모델의 주요 장점은 입력값이 무엇이든, 시퀀스의 이전 토큰을 참고할 수 있어서 그 표현을 도출할 수 있다는 점이죠 ?

모델의 구성을 보면 텍스트를 받아서 Encoder에 들어가고 그 후에 Decoder 블록을 통과하게 되어있습니다. 이 구조를 사용하여 GPT 모델처럼 디코더만을 사용하는 생성 모델을 만들 수 있습니다.

출처 : https://tulip-phalange-a1e.notion.site/05f977226a0e44c6b35ed9bfe0076839

우리가 잘 알고있는 트랜스포머 기반 모델인 GPT(Genrative Pre-Trained Transformer, GPT)는 디코더 블록을 사용하여 어떤 입력 텍스트를 완성하게 되는 것입니다.

하나의 Decoder 블록에는 masked self-attention과 피드포워드 신경망으로 구성되어 있습니다.

self-attention은 이 모델들이 작동하는 주요 이유 중 하나라고 배웠습니다. 전체 시퀀스에 대한 압축되지 않은 관점을 제공하여 훈련 속도를 빠르게 해주죠. 각 토큰은 이전의 토큰과 비교하여 행렬을 생성하게 됩니다. 행렬의 각 가중치는 토큰 쌍이 서로 얼마나 관련이 있는지에 의해 결정됩니다. 이는 병렬 처리를 가능하게 하여 훈련 속도를 크게 높일 수 있는 것이죠.

하지만 다음 토큰을 생성할 때, 이미 일부 토큰을 생성했더라도 전체 시퀀스에 대한 Attention을 다시 계산해야하죠.

길이가 L인 시퀀스에 대한 토큰을 생성하는 데는 대략 L 제곱만큼의 계산이 필요하며, 시퀀스의 길이가 증가하면 비용이 증가합니다.

상태 공간 모델 ( State Space Models, SSM )

상태 공간 모델(State Space Models, SSM)은 트랜스포머와 RNN과 마찬가지로 정보의 시퀀스를 처리합니다.
본 논문에서 제시하는 Mamba 모델의 뼈대를 이루고 있는 아키텍처라고 볼 수 있습니다.

SSM은 흔히 제어이론에서 사용되고 있는 상태 공간 방정식과 동일합니다. 이는 연속형 변수를 가정해서 사용하는 방정식인데, 딥러닝의 경우 변수가 전부 이산형 변수이기 때문에 이산화 과정을 거쳐야 합니다.

상태공간모델 수식

이산화 방식은 다양하지만 Mamba의 경우 ZOH 방식을 채택합니다.

Discrete time state space model 의 수식을 보면 t가 커질수록 B와 C는 고정된 상태에서 A만 계속해서 곱해지는 경향이 발생합니다.

그렇기에 이를 커널로 정의하여 컨볼루션 형식으로 작성합니다.

이산화 과정

상태 공간 방정식을 쭉 풀어서 전개해보면 Training 단계에서는 그렇게 좋지 않습니다. 왜냐하면 Training시 이미 입력과 출력의 모든 토큰을 가지고 있기 때문에, 병렬화해야 합니다. SSM 모델은 합성곱(Convolutional) 모드도 제공하므로 이를 통해 학습 단계에서의 계산을 효율적으로 병렬화가 가능합니다.

컨볼루션 표현을 위한 수식 전개입니다. CNN이 동작하는 방식은 고정된 길이의 Kernel을 이동하여 이미지의 특징을 추출하죠 ?

이번에는 이미지가 아닌 텍스트를 다루고 있기 때문에 1차원 관점이 필요합니다.

여기서 kernel 즉, 필터를 나타내기 위해 사용하는 커널은 SSM 공식에서 도출할 수 있습니다.

위의 그림에서 kernel ( 핑크색 )이 각 토큰 세트를 통과하고 출력을 계산할 수 있습니다.

1차원적인 CNN 접근법

행렬 A

행렬 $\bar{A}$의 중요한 이유는 크게 세 가지가 있습니다.

우선 이전 상태의 정보를 포착할 수 있습니다. 행렬 A는 이전 상태의 정보를 새로운 상태로 전달합니다.

또한 행렬 A는 정보가 시간이 지남에 따라 어떻게 전달되는지 결정합니다. 이는 모델이 시간에 따른 입력 정보의 변화를 적절히 반영할 수 있도록 합니다. 그리고 언어 모델에서 다음 토큰은 이전 토큰(프롬프트)에 의존합니다. 행렬 A가 이전 입력의 기록을 잘 포착해야 모델이 적절한 다음 출력을 생성할 수 있습니다.

행렬 A를 생성하는 것은 따라서 몇 개의 이전 토큰만 기억하는 것과 지금까지 본 모든 토큰을 포착하는 것 사이의 차이를 만들 수 있습니다. 특히 재귀적 표현의 맥락에서는 이전 상태만을 고려하기 때문입니다.

그렇다면 우리는 어떻게 큰 메모리(맥락 크기)를 유지하는 방식으로 행렬 A를 생성할 수 있을까요?

우리는 헝그리 헝그리 히포(Hungry Hungry Hippo) 또는 HiPPO(High-order Polynomial Projection Operators)$^3$를 사용합니다. HiPPO는 지금까지 본 모든 입력 신호를 계수의 벡터로 압축하려고 시도합니다.

이는 행렬 A를 사용하여 최근 토큰을 잘 포착하고 오래된 토큰을 감소시키는 상태 표현을 구축합니다. 그 공식은 다음과 같이 표현될 수 있습니다:

정사각형 행렬 A를 가정하면, 우리는 다음을 얻습니다.

Hippo Matrix로 행렬을 초기화하면 A행렬은 지금까지 본 모든 입력 신호를 계수 벡터로 근사하는 방식으로 구축합니다.(Legendre)

생성된 하삼각행렬의 각 행은 Legendre 다항식 차수에 해당합니다.

Hippo Matrix로 초기화된 행렬 A는 입력 값의 시간적 특성을 효과적으로 포착하고 SSM의 성능을 향상시킵니다.

Hippo Theory

HiPPO를 사용하여 행렬 A를 구축하는 것은 무작위 행렬로 초기화하는 것보다 훨씬 나은 것으로 나타났습니다. 결과적으로, 이는 오래된 신호(초기 토큰)보다 새로운 신호(최근 토큰)를 더 정확하게 재구성합니다. HiPPO 매트릭스의 아이디어는 그것이 그 역사를 기억하는 숨겨진 상태를 생성한다는 것입니다. 수학적으로, 이는 르장드르 다항식의 계수(Legendre polynomial)를 추적함으로써 이전 역사의 모든 것을 근사화할 수 있게 함으로써 그렇게 합니다.

HiPPO는 장거리 의존성을 처리하기 위해 앞서 본 재귀적 및 컨볼루셔널 표현에 적용되었습니다. 결과는 시퀀스를 효율적으로 처리할 수 있는 SSM 클래스인 Structured State Space for Sequences (S4)였습니다.$^5$

이는 세 부분으로 구성됩니다:

상태 공간 모델
장거리 의존성을 처리하기 위한 HiPPO
재귀적 및 컨볼루셔널 표현을 생성하기 위한 이산화

이 SSM 클래스는 선택한 표현(재귀적 대 컨볼루셔널)에 따라 여러 가지 이점을 가지고 있으며, 텍스트의 긴 시퀀스를 처리하고 HiPPO 매트릭스를 기반으로 메모리를 효율적으로 저장할 수 있습니다.

상태 공간 모델, 심지어 S4(Structured State Space Model)조차도 언어 모델링 및 생성에서 중요한 특정 작업에서는 성능이 떨어집니다. 즉, 특정 입력에 집중하거나 무시하는 능력입니다.

이는 선택적 복사(Selective Copying) 및 유도 헤드(induction heads)라는 두 가지 합성 작업으로 설명할 수 있습니다.

선택적 복사 작업에서, SSM의 목표는 입력의 일부를 복사하여 순서대로 출력하는 것입니다.

왼쪽의 예시는 입력을 한 번에 한 토큰씩 다시 쓰되, 시간 이동(Time-shift)을 적용합니다. 이는 바닐라 SSM으로 수행할 수 있으며, 시간 지연은 컨볼루션 연산을 통해 학습할 수 있습니다.

하지만 선택적 복사의 경우, 예를 들어 트위터의 댓글이 주어졌을 때, 모든 나쁜 단어(흰색 토큰)를 제거하여 댓글을 다시 작성합니다.

이는 바닐라 SSM으로는 수행할 수 없는데, 이는 내용 인식 추론(content-aware reasoning)을 필요로 하기 때문입니다. 바닐라 SSM은 시간 불변(Time invariant)하기 때문에 내용 인식 추론을 할 수 없습니다. 시간 불변이란 생성하는 모든 토큰에 대해 매개변수 A,B,C가 동일하다는 것을 의미합니다.

SSM이 성능이 떨어지는 두 번째 작업은 유도 헤드(induction heads)로, 입력에서 발견된 패턴을 재현하는 것이 목표입니다.

아래의 예시에서 우리는 기본적으로 한 번의 프롬프팅을 수행하고 있습니다. 여기에서 우리는 모델에게 "Q:" 후에 "A:" 응답을 제공하도록 "가르치려고" 시도합니다. 그러나 SSM이 시간 불변성을 가지고 있기 때문에, 이전 토큰 중 어떤 것을 기억할지 선택할 수 없습니다.

이를 행렬 B에 집중하여 설명해 봅시다. 입력 x가 무엇이든 관계없이 행렬 B는 정확히 동일하게 유지되므로 x와 독립적입니다.

마찬가지로, A와 C도 입력에 관계없이 고정되어 있습니다. 이는 지금까지 본 SSM의 정적인 특성을 보여줍니다.

비교적으로, 이러한 작업들은 트랜스포머에게는 상대적으로 쉽습니다. 트랜스포머는 입력 시퀀스에 따라 동적으로 어텐션을 변경할 수 있습니다. 그들은 시퀀스의 다른 부분을 선택적으로 "보거나" "주의를 기울일" 수 있습니다.

SSM이 이러한 작업에서 성능이 떨어지는 것은 시간 불변성 SSM의 근본적인 문제, 즉 A, B, C 행렬의 정적인 특성으로 인한 내용 인식 문제를 시사합니다.

여러 작업(synthetic tasks)에서의 직관을 사용하여 선택 메커니즘에 대한 동기를 얻습니다. 그 후에 이 메커니즘을 상태 공간 모델(State Space Models)에 어떻게 통합하는지 설명합니다. 선택 메커니즘을 통합한 SSM은 시간에 따라 변하는(time-varying)한 특성을 가지게 되므로, 기존의 컨볼루션 연산을 직접 사용할 수 없습니다. 또한 저자들은 모던 하드웨어의 메모리 계층 구조를 고려한 알고리즘을 통해 문제해결을 논의합니다. 이후에 등장하는 간소화된 SSM 아키텍처는 Attention과 MLP 블록을 포함하지 않습니다.

출처 : Mamba 논문

Mamba Contribution1. input-dependent(입력 종속)방식으로 데이터를 효율적으로 선택하지 못하므로 선택 메커니즘에 대해 주요한 기여를 통해 상태 공간 모델 접근 방식 제안(simple selection mechanism). parameters 들을 매개 변수화 합니다.

SSM의 재귀적인 표현은 전체적인 기록을 압축하는 효율적인 작은 상태를 생성합니다.

그러나 어텐션 행렬을 통해 기록들을 전혀 압축하지 않은 Transformer와 비교해본다면 덜 강력한 상태이죠.

Mamba는 Transformer만큼의 성능을 내면서 작은 크기를 유지하고자 합니다.

이는 앞서 언급한 SSM처럼 데이터를 선택적으로 압축함으로써 이뤄낼 수 있습니다. 입력 문장을 가지고 있을 때, 종종 중요한 의미를 가지지 않는 정보 ( Stop words ) 가 있죠? 정보를 선택적으로 압축하려면 입력에 따라 매개변수가 달라져야 합니다. 이를 위해, 훈련 중 SSM의 입력과 출력의 차원을 먼저 알아야합니다.

Structured State Space Model (S4)에서, 행렬 A, B, C는 입력과 독립적입니다. 그들의 차원 N과 D는 정적이며 변하지 않습니다.

오른쪽 : S4

대신, 맘바는 행렬 B와 C, 심지어 스텝 크기 ∆를 입력에 의존하도록 하여 입력의 시퀀스 길이와 배치 크기를 포함합니다.

이것은 이제 모든 입력 토큰에 대해 서로 다른 B와 C 행렬을 가지고 있다는 것을 의미합니다. 이렇게 만들면 내용 인식 문제를 해결할 수 있습니다.

행렬 A는 동일하게 유지됩니다. 왜냐하면 우리는 상태 자체가 정적으로 유지되기를 원하지만, 이것이 영향을 받는 방식(B,C를 통해)은 동적으로 유지되기를 원하기 때문입니다. 그리고 입력값에 의존하여 숨겨진 상태에서 어떤 요소를 유지하고 무시할지 선택적으로 고를 수 있습니다. 작은 Step size는 특정 단어를 무시하고 대신 이전 맥락을 더 사용하는 데 초점을 맞추게 됩니다. 큰 Step size는 맥락보다 입력 단어에 더욱 집중하도록 학습됩니다.

Mamba Contribution2. Convolution 대신 scan을 사용하여 모델을 반복적으로 계산하는 하드웨어 인식 알고리즘 제안합니다. a100 gpu 기준 최대 3배 더 빠릅니다.

앞서 언급했듯이 우리의 행렬이 동적이기 때문에, 고정된 kernel을 가정하는 컨볼루션을 더이상 사용할 수 없습니다.

컨볼루션의 병렬화를 잃고 재귀적인 표현만을 사용할 수 있습니다.

각 상태는 이전 상태(행렬 A에 의해 곱해진)와 현재 입력(행렬 B에 의해 곱해진)의 합입니다. 이것을 스캔 작업이라고 하며, for 루프를 사용하여 쉽게 계산할 수 있습니다. 병렬화와는 대조적으로, 이전 상태를 가지고 있어야만 각 상태를 계산할 수 있으므로 불가능해 보입니다. 그러나 맘바는 병렬 스캔 알고리즘을 통해 이것을 가능하게 합니다. 이것은 연산 순서가 중요하지 않다고 가정함으로써 수행됩니다. 결과적으로, 우리는 시퀀스를 부분적으로 계산하고 반복적으로 결합할 수 있습니다.

함께, 동적인 행렬 B와 C, 그리고 병렬 스캔 알고리즘은 재귀적 표현을 사용하는 동적이고 빠른 특성을 나타내는 선택적 스캔 알고리즘을 생성합니다.

하드웨어 인식 알고리즘

최근 GPU의 단점 중 하나는 작지만 매우 효율적인 SRAM과 크지만 약간 덜 효율적인 DRAM 사이의 전송(IO) 속도가 제한되어 있다는 것입니다. SRAM과 DRAM 사이에 정보를 자주 복사하는 것은 병목 현상이 됩니다. 딥러닝 프레임워크에서 텐서 연산 수행 시 , GPU의 HBM과 SRAM 간의 데이터 복사가 반복적으로 발생합니다. 데이터 복사 작업이 전체 수행 시간의 상당 부분을 차지하죠.

여러 개의 CUDA 커널을 하나의 커스텀 CUDA 커널로 융합하여 중간 결과를 HBM에 복사하지 않고 연산을 수행합니다.

최종 결과만 HBM에 저장함으로써 연산 속도를 향상시킬 수 있죠.

하드웨어 인식 알고리즘의 마지막 부분은 재계산 입니다.

중간 상태들은 저장되지 않지만, 그래디언트를 계산하기 위해 역방향 패스에서 필요합니다. 대신, 저자들은 역방향 패스 동안 이러한 중간 상태들을 재계산합니다. 이것이 비효율적으로 보일 수 있지만, 상대적으로 느린 DRAM에서 모든 중간 상태를 읽는 것보다 훨씬 비용을 절약할 수 있습니다.

선택적 SSM. 출처: Gu, Albert, and Tri Dao. "Mamba: Linear-time sequence modeling with selective state spaces." arXiv preprint arXiv:2312.00752 (2023).

Mamba Contribution3. SSMs 아키텍처를 결합하여 이전 deep sequence model의 아키텍처를 단순화하는 것입니다. Transformer의 MLP 블록을 단일 블록으로 통합하여 상태 공간 모델을 기반으로 선택적 상태 공간을 통합하는 Mamba라는 간단한 SSMs 모델을 만들 수 있습니다.

Mamba Block은 Selective SSM이 디코더 블록에서 self-attention을 나타내는 것과 같은 방식으로 블록으로 구현될 수 있습니다.

디코더와 마찬가지로, 우리는 여러 맘바 블록을 쌓을 수 있으며, 그 출력을 다음 맘바 블록의 입력으로 사용할 수 있습니다.

선택적 SSM을 적용하기 전에 독립적인 토큰 계산을 방지하기 위한 컨볼루션이 사용됩니다.

선택적 SSM은 다음과 같은 특성을 가집니다:

이산화를 통해 생성된 재귀적 SSM
장거리 의존성을 포착하기 위한 HiPPO 초기화가 있는 행렬 A
정보를 선택적으로 압축하기 위한 선택적 스캔 알고리즘
계산 속도를 높이기 위한 하드웨어 인식 알고리즘

2. Related Work

Simplified State Space Layers for Sequence Modeling - 시퀀스 모델링을 위해 간소화된 상태 공간 레이어를 제안함 , 기존의 구조화된 상태 공간 모델을 단순화하여 효율성과 성능을 향상시킴

Long Range Arena: A Benchmark for Efficient Transformers - : 효율적인 Transformer 모델을 평가하기 위한 벤치마크 제안 , 장거리 의존성이 필요한 다양한 작업들로 구성되어 있음

Legendre Memory Units: Continuous-Time Representation in Recurrent Neural Networks - 연속 시간 표현을 사용하는 Legendre Memory Unit (LMU)이라는 순환 신경망 모델 제안 , 연속 시간 표현을 통해 장기 의존성을 더 잘 포착할 수 있음

HiPPO: Recurrent Memory with Optimal Polynomial Projections - 최적의 다항식 투영을 사용하는 HiPPO (High-order Polynomial Projection Operator) 메모리 메커니즘 제안

Efficiently Modeling Long Sequences with Structured State Spaces - 구조화된 상태 공간을 사용하여 긴 시퀀스를 효율적으로 모델링하는 방법 제안 , 상태 공간 모델을 활용하여 계산 복잡도를 줄이고 병렬화 가능성을 높임

Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers - 선형 상태 공간 레이어를 사용하여 순환, 합성곱, 연속 시간 모델을 결합하는 방법 제안 , 다양한 모델의 장점을 활용하여 시퀀스 모델링 성능을 향상시킴

3. 실험 및 결과

Results

Conclusion

어렵다.. 맘바..

[논문리뷰] - xLSTM: Extended Long Short-Term Memory - LSTM을 트랜스포머처럼 만들어보자고 ?

minyoungxi — Thu, 16 May 2024 22:20:29 +0900

1. Introduction

이전 Transformer 논문 리뷰 : https://minyoungxi.tistory.com/104

[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

Transformer의 탄생 배경 자연어 처리 분야에서 순환신경망(RNN)은 오랫동안 메인 모델로 사용되어 왔습니다. 하지만 RNN은 길이가 길어질수록 성능이 저하되는 단점이 있었습니다. 그래서 어텐션(Att

minyoungxi.tistory.com

원문 : https://arxiv.org/abs/2405.04517

xLSTM: Extended Long Short-Term Memory

In the 1990s, the constant error carousel and gating were introduced as the central ideas of the Long Short-Term Memory (LSTM). Since then, LSTMs have stood the test of time and contributed to numerous deep learning success stories, in particular they cons

arxiv.org

논문이 다루는 task

LSTM(Long Short-Term Memory) 모델을 확장하여 대규모 언어 모델링 작업에서의 성능을 향상시키는 것을 목표로 합니다. 이 논문은 LSTM을 수십억 개의 파라미터로 확장하고, 최신 기술을 적용하여 기존 LSTM의 한계를 극복하는 방법을 탐구합니다.

해당 task에서 기존 연구 한계점

LSTM

1. 저장 결정 수정 불가능 : LSTM은 저장된 값을 더 유사한 벡터가 발견될 때 수정하는 능력이 부족합니다.

예를 들어, 가장 유사한 벡터를 찾아야 하는 최근접 이웃 검색 문제에서 LSTM은 이미 저장된 값을 수정하기 어려워합니다.
해결책: xLSTM은 지수 게이팅(exponential gating)을 도입하여 이 문제를 해결합니다.

2. 제한된 저장 용량 : LSTM은 정보를 스칼라 셀 상태로 압축하여 저장하기 때문에, 드문 토큰을 예측하는 데 있어 성능이 저하됩니다.
해결책: xLSTM은 매트릭스 메모리(matrix memory)를 도입하여 저장 용량을 확장합니다.

3. 병렬 처리의 부족 : LSTM은 메모리 혼합(memory mixing)으로 인해 시퀀스 처리에서 병렬화를 어렵게 합니다. 이는 연산을 순차적으로 처리해야 함을 의미합니다.
해결책: mLSTM은 메모리 혼합을 제거하고 완전 병렬화가 가능한 구조로 설계되었습니다.

2. Related Work

Linear Attention

Synthesizer: 학습된 attention 가중치를 사용하여 토큰 간의 상호작용 없이 작동합니다 .
Linformer: 저차원 행렬을 사용하여 self-attention을 실현하고 선형적으로 근사합니다 .
Linear Transformer: attention 메커니즘을 선형화합니다 .
Performer: 긍정적 직교 무작위 특징 접근법을 통해 주의 소프트맥스를 선형적으로 근사합니다 .
SGConv 및 Hyena Hierarchy: 구조화된 글로벌 컨볼루션과 긴 컨볼루션을 사용하여 attention을 대체합니다 .

State Space Models (SSMs)

Structured State Space (S4): 처음 제안된 모델로, 컨텍스트 길이에 대해 선형적이며 Transformer와 비교하여 유망한 성능을 보입니다.
Diagonal State Space (DSS): 구조화된 상태 공간을 대각선으로 단순화한 모델입니다 .
Gated State Space (GSS): 게이트를 추가하여 상태 공간 모델의 성능을 개선합니다 .
Bidirectional Gated SSM (BiGS): 양방향 게이트를 사용하여 성능을 향상시킵니다 .
H3 및 Mamba: 상태 공간 모델의 최근 발전을 반영하는 모델입니다.

3. 제안 방법론

Main Idea

기존 LSTM(Long Short-Term Memory) 모델을 확장하여 새로운 지수 게이팅과 메모리 구조를 도입함으로써, 대규모 언어 모델링 작업에서의 성능을 향상시키는 것입니다. LSTM의 한계를 극복하고 최신 기술을 적용하여 더 큰 모델을 구축하고, 이를 통해 LSTM이 트랜스포머(Transformers) 및 상태 공간 모델(State Space Models)과 경쟁할 수 있도록 합니다.

Contribution

지수 게이팅 ( Exponential Gating )

xLSTM

지수 게이팅(Exponential Gating)은 xLSTM에서 기존 LSTM의 Gating Machanism을 확장한 것입니다.

gate라는 것은 아래의 그림에 나와있는 것처럼 하나의 셀(cell)에 존재합니다.

Input gate, Forget gate, Output gate 이렇게 세 가지가 있습니다.

간단하게 설명하자면 이 gate들의 역할은 모델이 정보를 언제 저장하고 언제 삭제하며 언제 출력할지를 결정하는 데 사용됩니다.

LSTM

기존 LSTM 모델의 gating 메커니즘은 이 게이트들이 시그모이드 함수를 사용하여 활성화 됩니다. 시그모이드 함수는 게이트의 출력값을 0~1 사이로 제한하여 정보의 흐름을 부드럽게 조절하는 역할을 합니다.

지수 게이팅(exponential gating)에서는 input gate 와 forget gate에 지수 함수(exponential function)을 사용합니다. 지수 함수는 게이트의 출력값을 더 넓은 범위로 확장하여 정보의 흐름을 더 강하게 또는 약하게 조절할 수 있도록 합니다.

이런 구조를 가지게 되면 모델이 저장된 정보를 더 유사한 정보로 대체할 수 있는 능력을 크게 향상시킵니다. 예를 들어, 새로운 입력이 기존에 저장된 정보보다 더 유사할 때, 모델이 이 정보를 쉽게 수정할 수 있습니다.

기존 LSTM 구조의 가장 큰 문제는 t-1에서 t로 넘어갈 때 t-1 의 정보를 모두 가져가는게 아니라 latent space 라는 하나의 벡터로 전달이 되죠? 이는 제한된 정보만을 넘겨주게 되므로 모델이 제대로 된 정보를 볼 수 없을지도 모릅니다.

지수 게이팅의 효과로는 정보 수정 능력이 향상된다는 것입니다. 또한 유연하게 정보를 조절할 수 있게 되죠. 게이트의 출력값 범위가 넓어지면서 모델이 조금 더 유연하게 정보를 조절할 수 있게 됩니다. 이는 모델이 다양한 상황에서 정보를 적절하게 처리하는 데 도움이 됩니다.

왼쪽 sLSTM , 오른쪽 mLSTM

새로운 메모리 구조 (New Memory Structures): 두 가지 새로운 LSTM 변형을 제안합니다.

sLSTM : 스칼라 메모리와 스칼라 업데이트를 사용하며 새로운 메모리 혼합 기법(Memory Mixing)을 도입했습니다.

mLSTM : 메트릭스 메모리를 사용하며 공분산 업데이트 규칙을 도입합니다. 이렇게 함으로써 완전 병렬 처리가 가능해집니다.

sLSTM

mLSTM

xLSTM 블록 : sLSTM과 mLSTM을 잔차 블록(Residual Block) 구조에 통합하여, xLSTM 블록을 설계합니다. 이 블록들을 계층적으로 쌓아서 xLSTM 아키텍쳐를 구축합니다. sLSTM 블록은 트랜스포머와 유사한 Post up-projection 구조를 , mLSTM 블록은 상태 공간 모델과 유사한 pre up-projection 구조를 채택했습니다.

4. 실험 및 결과

Dataset

실험에서 사용된 주요 데이터셋은 다음과 같습니다:

SlimPajama: 약 15B 토큰과 300B 토큰으로 구성된 대규모 언어 모델링 데이터셋입니다.
SlimPajama 15B: 15B 토큰으로 모델을 훈련하여 기본 성능을 평가합니다.
SlimPajama 300B: 300B 토큰으로 대규모 언어 모델을 훈련하여 확장 성능을 평가합니다.

Baseline

실험에서는 여러 기본 모델들과 xLSTM의 성능을 비교합니다:

Transformers:
- GPT-3: 350M 파라미터를 가진 트랜스포머 모델.
- Llama: 최근 트랜스포머 기반 언어 모델.

State Space Models (SSMs):
- H3
- Mamba

Recurrent Neural Networks (RNNs):
- RWKV-4
- RWKV-5
- RWKV-6

Linear Transformers:
- GLA (Gated Linear Attention)
- Retention
- Hyena

Results

Validation Perplexity:

SlimPajama 15B 데이터셋에서의 결과:
xLSTM[1:0]: 13.43
xLSTM[7:1]: 13.48

이 결과는 다른 모델들(GPT-3, Llama, H3, Mamba, RWKV 시리즈 등)보다 우수함을 보여줍니다.

SlimPajama 300B 데이터셋에서의 결과:
xLSTM[1:0]과 xLSTM[7:1] 모두 8.89~9.00 범위 내에서 최고의 성능을 보였습니다.

Sequence Length Extrapolation:
긴 시퀀스 길이(최대 16384)에서 xLSTM 모델은 낮은 퍼플렉시티를 유지하며, 다른 모델들보다 더 긴 문맥에서 안정적으로 작동합니다.

Downstream Tasks:
다양한 다운스트림 작업에서 xLSTM은 다른 모델들보다 우수한 성능을 보였습니다.
예를 들어, LAMBADA, HellaSwag, PIQA 등 다양한 작업에서 높은 정확도를 기록했습니다.

Scaling Laws:
모델 크기와 데이터 양이 증가함에 따라 xLSTM의 성능이 안정적으로 향상됨을 보여줍니다.
이는 xLSTM이 대규모 언어 모델로서 확장 가능성이 높음을 시사합니다.

Conclusion

본 논문은 시계열 연구나 LSTM에 관심이 많으신 분들이라면 매우 흥미롭게 읽으셨을 것이라 예상됩니다.

원문에는 수식의 비교가 매우 상세하게 설명되어 있으며 다른 논문에 비해 친절하게 가이드라인이 잡혀있습니다.

하지만 저자들은 한계점에서 sLSTM은 메모리 혼합(memory mixing) 때문에 병렬화된 연산을 허용하지 않아, 빠른 병렬 구현이 불가능하다고 합니다. CUDA 커널을 개발하여 sLSTM의 병렬 처리 성능을 향상시켰으나, 현재의 sLSTM CUDA 커널은 병렬 mLSTM 구현보다 약 1.5 배 느리다고 합니다.

mLSTM의 CUDA 커널은 최적화되지 않았기 때문에, 현재 구현은 Flash Attention이나 Mamba에서 사용되는 스캔보다 약 4배 느립니다.

이론적으로는 xLSTM의 속도가 더 빨라야 하는데, 막상 결과를 보니 Flash Attention이나 Mamba보다 느리다고 언급합니다.

이 논문의 저자 중 한 명은 LSTM을 1990년부터 연구한 사람입니다. 수학적으로 설명이나 이론에 매우 강하지만, 개인적으로는 아마 개발 능력이 뒷받침되지 못하지 않았나 생각이 드네요. 하지만 본 논문의 결과처럼 성능 면에서는 기존의 강력한 모델들보다 뛰어난 모습을 보여주었으니 기대가 됩니다 !

[논문리뷰] - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS - 랭크를 줄여라 ! + X-LoRA !!

minyoungxi — Fri, 10 May 2024 15:24:05 +0900

1. Introduction

LoRA paper: https://arxiv.org/abs/2106.09685

LoRA github: https://github.com/microsoft/LoRA

이전 트랜스포머 논문

https://minyoungxi.tistory.com/104

[논문리뷰] Attention is all you need - 트랜스포머를 모르면 취업을 못해요

minyoungxi.tistory.com

논문이 다루는 task & 해당 task에서 기존 연구 한계점

이 논문은 자연어 처리(Natural Language Processing, NLP) 분야에서 널리 사용되는 대규모 사전 훈련된 언어 모델의 효율적인 태스크 및 도메인 특화적인 적응(adaptation) 방법에 대해 다룹니다.

자연어 처리의 많은 애플리케이션은 하나의 대규모 pre trained 된 언어 모델을 여러 다운스트림 애플리케이션에 적용하는 데 의존합니다.

이러한 방법은 주로 fine-tuning을 통해 이루어지는데, 이 방법은 단점은 새 모델에 원래 모델만큼 많은 파라미터가 포함된다는 것입니다. 더 큰 모델이 몇 달마다 학습되면서 GPT-3 와 같이 1,750억 개의 학습 가능한 파라미터가 있는 모델이 되는 것이죠.

일부 파라미터만 조정하거나 새로운 task를 위한 외부 모듈을 학습하는 다양한 시도가 있엇습니다. 이런 방법은 각 task에 대해 사전 학습된 모델 외에 소수의 task 별 파라미터만 저장하고 로드하면 되므로 배포할 때 제약이 많이 줄어듭니다. 하지만 모델 깊이를 더 깊게하거나 모델의 사용 가능한 시퀀스의 길이를 줄여서 추론 대기 시간이 도입됩니다. 더 중요한 부분은 이러한 방법이 fine-tuning baseline과 일치하지 않는 경우가 많아서 효율성과 모델 품질 사이에 격차가 발생한다는 것입니다.

저자들은 GPT-3 175B와 같은 매우 큰 모델들을 더 효율적으로 파인 튜닝하고, 모델의 특정 레이어에 저랭크(rank) 행렬을 삽입하여 적응성을 향상시키는 '저랭크 적응(Low-Rank Adaptation, LoRA)' 기법을 제안합니다. 이 방법은 기존의 전체 파라미터를 재학습하는 파인 튜닝에 비해 훨씬 적은 수의 훈련 가능한 파라미터를 사용함으로써, 계산 비용 및 메모리 요구사항을 크게 줄입니다.

2. Related Work

이 논문에서는 기존의 언어 모델 적응 방법들을 소개하고 LoRA와 비교합니다. 특히, 자연어 처리 분야에서 전이 학습을 위한 다양한 접근 방식이 소개되며, 이들 방법들은 주로 어댑터 레이어(Adapter Layers)를 사용하거나 입력 계층 활성화를 최적화하는 것에 초점을 맞추고 있습니다.

그러나 이러한 방식은 추가적인 추론 지연을 발생시키거나 모델의 사용 가능한 시퀀스 길이를 줄이는 단점이 있습니다. 이러한 한계를 극복하기 위한 새로운 방법론으로 LoRA가 제안되었습니다.

3. 제안 방법론

Main Idea

What is Rank?

LoRA(Low-Rank Adaptation)를 설명하려면 먼저 '행렬에서의 Rank(랭크)'의 의미부터 이해해야 합니다. 행렬에서 랭크는 행렬을 구성하는 행 또는 열 벡터들 중 서로 독립적인 벡터의 최대 개수를 의미합니다. 이는 행렬이 정보를 얼마나 '밀도 있게' 담고 있는지를 나타내는 지표로 볼 수 있습니다.

랭크의 중요성
행렬의 랭크는 그 행렬이 연산될 때 계산 복잡성과 직결됩니다. 예를 들어, 랭크가 낮은 행렬은 많은 정보가 중첩되어 있거나 불필요한 정보가 적다는 것을 의미하며, 이는 계산을 더 효율적으로 만듭니다. 따라서 랭크가 낮을수록, 즉 정보가 간결할수록 파라미터 수가 적어져 계산 속도가 빨라집니다.

다음은 랭크가 2인 3 x 3 행렬의 예시입니다.

아래의 행렬 A의 두 번째 및 세 번째 열은 첫 번째 열의 간단한 배수입니다. 즉, 모든 열벡터는 선형 족속 관계에 있으며, 실제로 독립적인 정보를 가진 열 벡터는 하나 뿐입니다. 따라서 이 행렬의 랭크는 1이 되는 것이죠

$
\begin{bmatrix}
1 & 2 & 3 \\
2 & 4 & 6 \\
3 & 6 & 9
\end{bmatrix}
$

아래의 행렬을 보면 첫 번째와 두 번째 행은 선형 독립입니다. 그러나 세 번째 행은 0으로만 구성되어 있어서 어떠한 새로운 정보도 제공하지 않습니다. 따라서 이 행렬의 랭크는 2가 됩니다.

$
\begin{bmatrix}
1 & 0 & 3 \\
0 & 1 & 3 \\
0 & 0 & 0
\end{bmatrix}
$

Low-Rank-Parametrized Update Matrices

신경망에는 행렬 곱셈을 수행하는 많은 레이어가 포함되어 있죠. 이러한 레이어의 가중치 행렬은 일반적으로 full-rank를 갖습니다. 특정 task에 적응할 때, 사전 학습된 언어 모델은 더 작은 subspace로의 랜덤 projection에도 불구하고 여전히 효율적으로 학습할 수 있으며, 낮은 "내재 차원(instrisic dimension)" 을 갖습니다. 저자들은 이에 영감을 받아서 가중치에 대한 업데이트도 adpatation 중에 낮은 instrisic rank를 갖는다고 가정합니다. 사전 학습된 가중치 행렬 $W_0 \in \mathbb{R}^{d \times k} $ 의 경우

$$ W_0 + \Delta W = W_0 + BA $$

$$ where B \in \mathbb{R}^{d \times k} , A \in \mathbb{R}^{r \times k} , r << min(d,k) $$

로 표현해서 업데이트를 제한합니다. 여기서 $r$은 rank를 뜻합니다. 학습하는 동안 $W_0$는 고정되고 기울기 업데이트를 받지 않는 반면 A와 B는 학습 가능한 파라미터를 포함합니다. $W_0$ 와 $\Delta W = BA $ 는 모두 동일한 입력으로 곱해지고 각각의 출력 벡터는 좌표 방향으로 합산됩니다.

추가 설명

$$ W_0 + \Delta W = W_0 + BA $$ 이 식은 사전 훈련된 모델의 가중치 $W_0$에 저랭크 행렬의 곱 $BA$를 더하여 새로운 가중치 $W$를 형성합니다. 여기서 $\Delta W$는 $W_0$의 업데이트(변화량)를 나타내고 $BA$로 표현됩니다.

$ B \in \mathbb{R}^{d \times k} , A \in \mathbb{R}^{r \times k} $ 는 $B$와 $A$는 저랭크 행렬 분해를 통해 나타내어지며, $B$는 $d$ x $r$ 차원이고 , A는 $r$ x $k$ 차원입니다. 이 행렬들은 $ \Delta W $를 저랭크 공간에서 표현하기 위한 기저를 형성합니다.

해당 수식을 보면 전체 가중치 $W_0$ 의 크기를 변경하지 않고, 작은 크기의 $B$와 $A$만 업데이트하여 메모리 사용량을 크게 줄일 수 있습니다. $r$이 작기 때문에 $BA$의 계산과 역전파가 빠르게 수행될 수 있어서 전체적인 학습 및 추론 속도가 향상됩니다.

$B$와 $A$만 조정되면 되므로, 다양한 테스크에 모델을 빠르게 적응시킬 수 있습니다. 이러한 수식은 대규모 언어 모델을 다양한 NLP task에 효과적으로 적용하는 데 있어서 기존의 전체 파인 튜닝 방식에 비해 상당한 계산 및 저장 공산의 이점을 제공합니다.

위 그림은 reparameterization을 설명하고 있습니다.

$A$에는 랜덤 가우시안 초기화를 사용하고 $B$에는 0을 사용하므로 학습 시작 시 $BA$ = 0 입니다.

논문의 세부사항을 보시면 알파를 순위로 나눈 값으로 스케일링 된다는 것을 확인할 수 있는데요,

$r$은 고유 차원에 해당합니다. 1부터 64까지의 행렬을 어느 정도로 분해하고 가중치에 대한 압축 정도를 표현하고 싶은지 정할 수 있습니다.

여기서 $\alpha$는 스케일링 요소입니다. 단순히 원래 모델 가중치에 추가되는 변화의 양을 제어하므로 지식의 균형을 유지합니다.

사전 훈련된 모델과 새로운 task에 대한 적응의 간극을 줄여주는 것이죠.

$r$ 과 $\alpha$는 모두 하이퍼 파라미터 입니다. 값들을 조정하면서 출력의 변화를 관찰할 수 있습니다.

LoRA는 가중치 행렬에 low-rank 행렬을 추가하여 파라미터 효율적인 fine-tuning을 가능하게 합니다. 이를 통해 학습 가능한 파라미터 수를 크게 줄일 수 있습니다.
LoRA 기반 학습은 파라미터 수 증가에 따라 전체 fine-tuning에 근접하게 수렴합니다.
배포 시 업데이트된 파라미터를 사전 학습된 가중치에 병합할 수 있어 inference 시 추가 지연 시간이 발생하지 않습니다.
Transformer 아키텍처에서는 self-attention 모듈의 가중치 행렬에 LoRA를 적용할 수 있습니다.
LoRA의 주요 이점은 메모리 및 저장 공간 사용량 감소, 작업 간 전환의 용이성, 학습 속도 향상 등입니다.
그러나 단일 forward pass에서 여러 작업을 위한 LoRA 모듈을 동적으로 선택하는 것은 쉽지 않다는 한계도 있습니다.

Contribution

LoRA로 인해 하드웨어의 요구사항의 부담이 많이 줄었습니다.

파라미터의 수가 훨씬 적어졌고, 훈련 시간이 감소했으며 RAM usage도 많이 줄어들었죠.

또한 $\Delta W$ 가중치를 간단히 병합할 수 있게 되었습니다.

4. 실험 및 결과

Baseline

FT: Fine-Tuning
FTTop2: 마지막 두 레이어만 튜닝
BitFit
AdapH: 오리지널 adapter tuning
AdapL: MLP 모듈 뒤와 LayerNorm 뒤에만 adapter layer 적용 (논문)
AdapP: AdapterFusion (AdapL과 유사)
AdapD: AdapterDrop (몇몇 adapter layer를 drop)

Results

다양한 adaptation 방법을 적용한 GLUE 벤치 마크

다양한 adaptation 방법을 적용한 GPT-3 175B의 성능 비교 결과

다양한 adaptation 방법을 적용한 GPT-3 175B의 정확도와 파라미터 개수에 대한 그래프

LoRA를 위한 최적의 rank $r$은 무엇일까?

아래의 표에서 볼 수 있듯이 rank를 높인다고 성능이 반드시 향상되는 것은 아닙니다.

데이터셋에 따라서 다른 성능을 보여주고 있습니다. 랭크를 선택할 때 물어봐야 할 좋은 질문은 pre trained 모델이 유사한 데이터를 보았는지 입니다. 또는 나의 데이터 세트가 다르면 더 높은 랭크를 선택해야 할 수도 있습니다.

Conclusion

https://arxiv.org/abs/2402.07148

X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechani

We report a mixture of expert strategy to create fine-tuned large language models using a deep layer-wise token-level approach based on low-rank adaptation (LoRA). Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states

arxiv.org

최근에 X-LoRA 라는 최신 논문을 읽다가 LoRA도 다시 정리해야겠다고 생각해서 리뷰를 진행했습니다.

X-LoRA는 여러 LoRA 어댑터를 동적으로 혼합하여 사용하는 새로운 접근 방식을 제안합니다. 이는 토큰 수준에서 각각 다른 어댑터들을 조합하여 사용하며, 이를 통해 모델이 더 다양하고 복잡한 테스크를 효율적으로 해결할 수 있도록 합니다.

기존의 LoRA가 특정 테스크에 맞춰 저차원의 파라미터만을 학습하는 방식과 차이가 있죠. 이는 모델의 전반적인 가중치는 그대로 유지한 채로, 특정 레이어에만 저랭크 행렬을 추가하여 조정합니다.

또한 동적 게이팅 메커니즘을 도입하여, 모델의 히든 스테이트에 기반하여 실시간으로 어댑터들의 활성화를 결정합니다. 이는 특정 입력에 대해 가장 적합한 어댑터를 선택하고 조합함으로써 보다 정교한 출력을 가능하게 합니다.

LoRA의 경우 어댑터가 활성화되는 것은 주로 고정된 매개변수에 의존하죠.

X-LoRA는 과학적 데이터와 복잡한 기술적 문제를 해결하는 데 특화된 어댑터를 개발하고, 이를 통합하여 사용함으로써 보다 전문적인 영역에서도 뛰어난 성능을 발휘할 수 있습니다. 특히, 단백질 역학, 분자 설계 등 생명 과학 분야에서의 응용을 강조합니다.

또한 X-LoRA는 개별 토큰과 레이어 수준에서 어댑터를 동적으로 혼합하며, 이를 통해 훨씬 더 세밀하고 유동적인 모델 조정이 가능해집니다.

논문을 직접 보시면 분량이 굉장히 많은데요, 다양한 전문 분야에서 기존의 LoRA 보다 더 높은 정확도와 간결한 답변을 제공하는 예시가 많습니다. 저는 도메인에 확실히 특화되었다고 느꼈습니다. 예를 들어, 단백질의 나노역학적 성질 예측과 같은 고도의 과학적인 테스크에서 예상치 못한 인사이트를 도출하기도 합니다.

[Medical Series : BioSignal ] - ECG랑 PPG로 심혈관 정보를 알아내볼까?

minyoungxi — Wed, 8 May 2024 23:55:23 +0900

비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보

비침습적인 생체신호를 통해 알아낼 수 있는 심혈관 정보에는 여러 가지가 있으며, ECG(Electrocardiogram, 심전도)와 PPG(Photoplethysmogram, 광용적맥파)는 이 중에서도 매우 중요한 역할을 합니다. 이들 각각의 신호를 통해 얻을 수 있는 정보와 그 의학적 의미에 대해 자세히 설명하겠습니다.

ECG (Electrocardiogram, 심전도)

ECG는 심장의 전기적 활동을 측정하는 방법으로, 심장의 리듬과 속도, 그리고 일부 질환을 진단하는 데 사용됩니다. ECG 신호에서 QRS 복합체의 시간 간격과 모양은 심장의 펌프질 효율성과 관련이 있어 심박출량 추정에 유용할 수 있습니다. 예를 들어, QRS 기간의 변화는 심장의 전기적 활동과 관련이 있으며, 이는 심장의 수축력과 연관될 수 있습니다.

심박수(Heart Rate, HR): ECG와 PPG 신호의 peak 간격으로부터 분당 심박수를 계산할 수 있습니다. 심박수는 심박출량과 밀접한 관련이 있습니다.

심박변이도(Heart Rate Variability, HRV): 심박 간격의 변동성을 분석하여 자율신경계 활동을 평가할 수 있습니다. HRV는 심장 기능과 건강 상태를 반영합니다. 이를 통해 교감신경과 부교감 신경의 균형 및 심혈관계 조절 기능을 평가할 수 있습니다. HRV의 감소는 자율신경계 이상이나 심혈관 위험과 관련될 수도 있습니다.

맥파전달시간(Pulse Transit Time, PTT): ECG의 R peak와 PPG의 peak 사이의 시간 차이로 정의되며, 혈관 탄성도와 혈압과 관련이 있습니다. PTT는 심박출량 변화를 간접적으로 반영할 수 있습니다.

맥파전달속도(Pulse Wave Velocity, PWV): PTT를 이용하여 계산되며, 동맥 경직도를 나타내는 지표입니다. PWV는 심혈관 건강과 관련이 있습니다.

PPG (Photoplethysmogram, 광용적맥파)

PPG는 피부에 가까이 위치한 센서를 통해 혈관을 통과하는 혈액의 볼륨 변화를 측정하는 기술입니다. 이 방법은 심박수, 혈액 산소 포화도, 그리고 혈관의 건강 상태를 감지할 수 있습니다. PPG 신호는 심장 박동에 의해 혈관 내의 혈액 양이 변화할 때 발생하는 빛의 흡수 및 반사의 변화를 측정합니다. 심박출량을 추정하기 위해, PPG 신호의 파형과 시간 간격 분석을 통해 혈액 흐름과 관련된 정보를 추출할 수 있습니다.

PPG 파형 분석: PPG 신호의 모양과 특징점들을 분석하여 혈관 탄성도, 혈류량 변화, 말초 혈관 저항 등을 추정할 수 있습니다. 이는 심박출량과 관련된 정보를 제공합니다. 맥파의 모양, 크기, 전달 속도 등을 분석하여 말초 혈관의 탄성도와 기능을 평가할 수 있습니다. 맥파 전달 속도 증가나 PPG 파형의 변화는 혈관 경직도 증가를 시사할 수 있습니다.

이러한 정보들은 심혈관 질환의 조기 진단, 위험 평가, 모니터링 등에 활용될 수 있습니다. 또한 운동, 스트레스, 약물 등에 대한 심혈관계의 반응을 평가하는 데에도 도움이 됩니다.

그러나 ECG와 PPG는 심장의 구조적 정보를 직접적으로 제공하지는 않습니다. 보다 상세한 심장 구조와 기능의 평가를 위해서는 심초음파, 심장 MRI, 심장 CT 등의 영상 기법이 필요할 수 있습니다. 또한 ECG와 PPG의 해석에는 전문적인 지식과 임상적 맥락을 고려해야 합니다.

[Medical Series : Can you feel my Heartbeat? ] - 심전도는 12가지 통로가 있어

minyoungxi — Wed, 8 May 2024 12:30:54 +0900

심장으로 흐르는 12가지의 전기 통로

심전도(ECG)의 각 리드는 심장의 다양한 부위에서 발생하는 전기적 신호를 측정합니다. 이를 통해 심장의 기능과 상태를 평가할 수 있습니다. 전통적인 12-lead ECG는 다음과 같은 리드로 구성됩니다.

표준 임상 리드(Limb Leads)

출처 : https://www.nottingham.ac.uk/nursing/practice/resources/cardiology/function/bipolar_leads.php

표준 임상 리드(Standard limb leads)는 심전도에서 사용하는 기본적인 리드 유형 중 하나로, 심장의 전기적 활동을 측정하는 데 사용됩니다. 이 리드들은 심장의 전기적 신호를 다양한 각도에서 포착하여 심장의 기능과 상태를 평가하는 데 중요한 역할을 합니다. 표준 임상 리드는 심전도에서 기본적으로 사용되는 세 개의 리드, 즉 리드 1~3을 포함합니다.

리드 I: 왼쪽 팔과 오른쪽 팔 사이의 전기적 활동을 측정합니다. 이 리드는 심장의 좌우 방향을 보여줍니다. ( 좌심실 측벽, lateral wall )

리드 II: 오른쪽 팔과 왼쪽 다리 사이의 전기적 활동을 측정합니다. 이는 주로 심장의 수직적 활동을 보여줍니다. ( 좌심실 하벽, inferiorwall

)

리드 III: 왼쪽 팔과 왼쪽 다리 사이의 전기적 활동을 측정합니다. ( 좌심실 하벽, inferior wall )

이 리드들은 심전도의 기본적인 구성을 이루며, 함께 사용될 때 심장의 전기적 활동을 종합적으로 이해하는 데 도움을 줍니다. 이러한 기본적인 정보를 바탕으로 심장의 정상적인 기능 여부와 특정 심장 질환의 존재를 파악할 수 있습니다. 예를 들어, 심근경색, 부정맥 등 다양한 심장 질환이 이 리드들을 통해 진단될 수 있습니다.

그렇다면 각 리드별로 심장에 영향을 주는 요인을 정리해볼까요 ?

리드 I : 심장의 수평 축을 따라 발생하는 전기적 활동을 분석하며 좌심실 비대, 좌각차단, 좌심실 허혈 등에 민감하게 반응합니다. 이를 확인할 수 있는 방법은 QRS 파형을 확인하면 되는데요, 대표적으로 QRS 파형의 진폭 증가 , ST 분절 변화, T파 역위 등이 있습니다.

예를 들어 좌심실 비대시 QRS 복합체의 폭이 넓어지고 진폭이 증가합니다.

아래 그림에서 LVH가 의미하는게 좌심실비대(left ventricular hypertorphy, LVH) 입니다.

리드 II : 심장의 수직 축을 따라 하향 전기적 활동을 포착하고 주로 좌심실과 우심실을 연결하는 신호에 민감합니다. 주로 심방세동이나 심실조기수축과 같은 부정맥의 확인, 심방 및 심실 활동을 보여줍니다. 파형으로 확인해보면 ST분절 상승(elevation), 병적 Q파, P파 형태 변화 등이 있습니다. 아래의 그림은 심방세동이 나타나는 환자의 ECG 파형과 Normal한 상태의 ECG 파형을 비교한 것입니다.

리드 III : 심장의 좌측 하향 부위의 전기적 활동을 포착합니다. 해당 리드는 하부벽 심근경색에서 특히 ST 구간의 상승을 보여주며, 좌심실 하단 부위에 영향을 받는 경우에 활동 변화가 포착됩니다.

증폭된 유니폴라 임상 리드 ( Augmented Limb Leads )

출처 : https://cvphysiology.com/arrhythmias/a013b

aVR: 오른쪽 팔을 기준으로 측정하며, 심장의 오른쪽 상부를 보여줍니다. 대부분의 파형이 음의 방향으로 나타납니다.

즉, P파, QRS 복합체, T파가 대체로 음성입니다. 이 리드는 심장의 오른쪽 상단부를 반영하며, 일반적으로 다른 리드와는 대조적인 파형을 보입니다.

aVL: 왼쪽 팔을 기준으로 측정하며, 심장의 왼쪽 상부를 보여줍니다. R파가 비교적 높고, Q파는 작게 나타날 수 있습니다. 심장의 좌측 상단부를 반영하며, 좌심실 측벽의 활동을 보여줍니다.

aVF: 왼쪽 다리를 기준으로 측정하며, 심장의 하부를 보여줍니다. QRS 복합체에서 R파가 상대적으로 높습니다. 이 리드는 심장의 하단부를 강조하며, 대체로 양의 방향의 파형을 보여줍니다.

흉부 리드 ( Precordial Leads )

V1: 4번째 늑골 우측 흉골 가장자리에 위치합니다. 주로 우심실의 전방 부위를 보여줍니다.

V2: 4번째 늑골 좌측 흉골 가장자리에 위치합니다. 우심실의 전방을 보여줍니다.

리드 V1, V2 에서는 우심실 및 심실중격 ( right ventricular and septal ) 에 영향을 줍니다. 우심실 비대, 우각차단, 브루가다 증후군 등 진단에 유용합니다. 이걸 확인하려면 ST 분절 상승 ( 브루가다 증후군 ), QRS 파형 진폭 증가 등이 있습니다.

V3: V2와 V4 사이에 위치합니다. 심장의 중앙 부위, 특히 좌심실의 전방을 보여줍니다.

V4: 5번째 늑골 중앙 쇄골선에서 위치합니다. 주로 좌심실의 중앙을 보여줍니다.

리드 V3, V4 에서는 좌심실 전벽( anterior wall )에 영향을 주고 전벽 심근경색, 좌각차단 등을 반영합니다. 이를 확인하기 위해서는 ST 분절 상승, 병적 Q파 QRS 파형 진폭 감소 등을 통해 확인할 수 있습니다.

V5: 5번째 늑골 앞쪽 겨드랑이선에서 위치합니다. 좌심실의 측면 부위를 보여줍니다.

V6: 5번째 늑골 중간 겨드랑이선에서 위치합니다. 좌심실의 측면 부위를 보여줍니다.

Summary

심전도(ECG)에서 가장 흔히 사용되는 리드는 상황과 목적에 따라 다르지만, 일반적으로 리드 II가 가장 널리 사용됩니다.

리드 II는 오른쪽 팔(음극)과 왼쪽 다리(양극) 사이의 전기적 활동을 측정합니다.

이 리드는 심장의 전기적 축이 자연스럽게 아래쪽으로 향하고, 심장의 주 전기적 활동을 잘 포착할 수 있기 때문에 특히 유용합니다.

심장 모니터링: 병원의 심장 모니터링 시스템에서 리드 II는 종종 기본 리드로 사용되어 지속적인 심장 모니터링을 제공합니다. 심방과 심실의 활동을 명확히 보여주기 때문에 심장의 기본 리듬과 어떠한 부정맥을 감지하는 데 이상적입니다.

부정맥 진단: 리드 II는 심장의 전기적 축과 일치하여, 특히 심방에서 발생하는 전기적 활동을 분명하게 보여줍니다. 이는 심방 세동이나 심방 조동 같은 부정맥의 진단에 매우 유용합니다.

휴대용 ECG 기기: 휴대용 ECG 장치나 일부 스마트 워치에서 간편하게 측정할 수 있는 심전도 파형으로도 리드 II가 자주 사용됩니다. 사용자가 간편하게 두 손이나 한 손과 한 다리를 이용하여 측정할 수 있기 때문입니다.

리드 II는 심장의 전기적 활동을 종합적으로 평가하는 데 도움을 주며, 다양한 임상 상황에서 광범위하게 활용됩니다.

그래서 ECG를 처음 배우는 의료 학생이나 전문가들에게 기본적으로 가장 중요한 리드로 간주됩니다 :)

[Deep Dive Python] List 와 Dictionary 를 자세히 알아볼까? - 1

minyoungxi — Wed, 8 May 2024 11:24:16 +0900

리스트와 딕셔너리

출처 : scaler

Python에서 반복적인 작업을 자동화 하고자 만들어진 가장 일반적인 방법은 리스트(list)타입을 쓰는 것입니다.

리스트는 아주 간편하며 다양한 문제를 해결하는 데 사용할 수 있습니다. 리스트를 자연스럽게 보완할 수 있는 타입이 딕셔너리(dict)타입 입니다. 딕셔너리 타입은 검색에 사용할 키(key)와 키에 연관된 값(value)를 저장합니다.

딕셔너리는(분할상환 복잡도로) 상수 시간에 원소를 삽입하고 찾을 수 있습니다. 따라서 동적인 정보를 관리하는 데는 딕셔너리가 가장 이상적이죠 ! 파이썬은 리스트와 딕셔너리를 다룰 때 가독성을 좋게 하고 기능을 확장해주는 특별한 구문과 내장 모듈을 제공합니다.

이로 인해 다른 언어가 제공하는 단순 배열, 벡터, 해시 테이블 타입보다 훨씬 더 편리하게 딕셔너리와 해시 테이블을 쓸 수 있습니다.

시퀀스를 슬라이싱 하는 방법 !

파이썬은 시퀀스를 여러 조각으로 나누는 슬라이싱(slicing)구문이 있습니다. 슬라이싱을 사용하면 최소한의 노력으로 시퀀스에 들어 있는 아이템의 부분집합에 쉽게 접근할 수 있습니다. 어떤 파이썬 클래스에서도 슬라이싱을 추가할 수 있죠.

`__getitem__` 과 `__setitem__` 특별 메서드를 구현하면 됩니다. 슬라이싱 구문의 기본 형태는 모두 알다시피 리스트[시작:끝] 이렇게 작성합니다. 여기서 시작 인덱스에 있는 원소는 슬라이스에 포함되지만, 끝 인덱스에 있는 원소는 포함되지 않습니다 !

a = ['a','b','c','d','e','f','g','h']

print("가운데 2개:", a[3:5])    
print("마지막을 제외한 나머지:", a[1:7])

>>>

가운데 2개: ['d', 'e']

마지막을 제외한 나머지: ['b', 'c', 'd', 'e', 'f', 'g']

리스트의 맨 앞부터 슬라이싱할 때는 시각적 잡음을 없애기 위해 0을 생략해야 합니다.

assert a[:5] == a[0:5]

리스트의 맨 앞부터 슬라이싱할 때는 시각적 잡음을 없애기 위해 0을 생략합니다.

a[:] # ['a','b','c','d','e','f','g','h']
a[:5] # ['a','b','c','d','e']   
a[:-1] # ['a','b','c','d','e','f','g']
a[4:] # ['e','f','g','h']   
a[-3:] # ['f','g','h']
a[2:5] # ['c','d','e']
a[2:-1] # ['c','d','e','f','g']
a[-3:-1] # ['f','g']

위의 슬라이싱에는 놀랄 만한 부분이 없습니다. 저도 위의 슬라이싱을 가장 자주 사용합니다 :)

슬라이싱할 때 리스트의 인덱스 범위를 넘어가는 시작과 끝 인덱스는 조용히 무시됩니다.

이런 동작 방식으로 인해 코드에서 입력 시퀀스를 다룰 때 원하는 최대 길이를 쉽게 지정할 수 있습니다 !

first_twenty_items = a[:5]  
last_twenty_items = a[-5:]

리스트를 슬라이싱한 결과는 완전히 새로운 리스트이며, 원래 리스트에 대한 참조는 그대로 유지됩니다.

슬라이싱한 결과로 얻은 리스트를 변경해도 원래 리스트는 바뀌지 않습니다.

b = a[3:]
print("이전:", b)

b[1] = 99   
print("이후:", b)   
print("원본:", a)

>>>

이전: ['d', 'e', 'f', 'g', 'h']

이후: ['d', 99, 'f', 'g', 'h']

원본: ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

대입에 슬라이스를 사용하면 원본 리스트에서 지정한 범위에 들어 있는 원소를 변경합니다.

언패킹 대입(예를 들면, a,b = c[:2])과 달리 슬라이스 대입에서는 슬라이스와 대입되는 리스트의 길이가 같을 필요가 없습니다.

대입된 슬라이스 이전이나 이후에 있던 원소들은 그대로 유지됩니다.

다음 코드에서는 리스트에 지정한 슬라이스 길이보다 대입되는 배열의 길이가 더 짧기 때문에 리스트가 줄어듭니다.

print('이전', a)
a[2:7] = [99, 22, 14]
print('이후', a)

>>>

이전 ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

이후 ['a', 'b', 99, 22, 14, 'h']

다음 코드에서는 리스트에 지정한 슬라이스 길이보다 대입되는 배열의 길이가 더 길기 때문에 리스트가 늘어납니다.

print('이전', a)
a[2:3] = [47, 11]   
print('이후', a)

>>>

이전 ['a', 'b', 99, 22, 14, 'h']

이후 ['a', 'b', 47, 11, 22, 14, 'h']

슬라이싱에서 시작과 끝 인덱스를 모두 생략하면 원래 리스트를 복사한 새 리스트를 얻게됩니다.

b = a[:]
assert b == a and b is not a

시작과 끝 인덱스가 없는 슬라이스에 대입하면(새 리스트를만들어내는 대신) 슬라이스가 참조하는 리스트의 내용을 대입하는(연산자 오른쪽에 있는) 리스트의 복사본으로 덮어 쓰게 됩니다.

b = a
print('이전', a)
print('이전', b)    

a[:] = [101, 102, 103]  

assert a is b  # 여전히 같은 리스트 객체
print('이후', a)    # 새로운 내용이 들어있음
print('이후', b)    # 동일한 리스트 객체를 참조하고 있음

>>>

이전 ['a', 'b', 47, 11, 22, 14, 'h']

이후 [101, 102, 103]

Summary

- 슬라이싱은 간결하게 하자. (시작 인덱스에 0을 넣거나 끝 인덱스에 시퀀스 길이를 넣지 말자)

- 슬라이싱은 범위를 넘어가는 시작 인덱스나 끝 인덱스도 허용한다.

- 리스트 슬라이스에 대입하면 원래 시퀀스에서 슬라이스가 가리키는 부분을 대입 연산자 오른쪽에 있는 시퀀스로 대치한다. 이때 슬라이스와 대치되는 시퀀스의 길이가 달라도 된다.

Python 추가 문제 팁

아래의 코드는 Python에서 map() 함수와 lambda 함수를 사용하여 리스트의 각 요소를 제곱하는 예제입니다.

squared_numbers 에서 map() 함수를 사용하여 numbers 리스트의 각 요소에 함수를 적용합니다.

map() 함수와 lambda 함수를 사용하면 리스트의 각 요소에 함수를 적용할 때 간결하고 읽기 쉬운 코드를 작성할 수 있습니다.

이 예제에서는 제곱 연산을 수행했지만, lambda 함수를 수정하여 다른 연산을 적용할 수도 있습니다.

numbers = [1,2,3,4,5]

squared_numbers = list(map(lambda x: x**2, numbers))    

print(squared_numbers)

[Medical Series : Can you feel my Heartbeat? ] - 심장에 전기가 흐른다구요 !? 심전도(Electrocardiogram)에 대해서 알아보자

minyoungxi — Sat, 27 Apr 2024 17:25:03 +0900

심장의 전기적 활동

심장에는 극히 미량의 전기를 리드미컬하게 분명히 ! 일으키고 있습니다. 그 리듬은 심장의 규칙적인 움직임의 원친이 되고 있습니다.

이것을 심장의 "전기적 활동(electical activity)라고 합니다. 이 전기적 활동을 받아 심근의 수축이나 이완과 같은 "기계적 활동"이 일어나는 것이죠. 그러나 이 전기적 활동은 매우 미량의 전기로 일어나기 때문에 그 상태를 알기 위해서는 심장의 극히 작은 전기적 활동을 포착하여 체외의 증폭 장치로 증폭해야 확인할 수 있습니다.

각 심근세포의 전기적 활동

심장은 심근세포가 많이 모여서 이루어진 장기입니다. 따라서, 심장 전체를 보기 전에 우선 1개의 심근세포에서는 어떠한 전기적 활동이 일어나는지 관찰해봅시다.

출처 : https://m.blog.naver.com/corean8839/221235849695

심근세포의 전기적 활동에는 칼륨이온, 나트륨이온, 칼슘이온이 크게 관여하고 있습니다.

심근세포가 "정지상태"에 있을 때 세포내외의 이온 상태를 보면 세포내에는 세포외 농도의 약 30배나 되는 칼륨이온(K+)이 있고 세포외에는 세포내 농도의 약 10배가 되는 나트륨이온(NA+)이 있습니다.

또한 칼슘이온(Ca2+)은 세포내보다는 세포외에 많은 상태입니다. 그러나 이들 세포내외의 이온은 세포막을 사이에 두고 균형을 이루고 있으며, 그 전기적 상태는 세포막의 바로 안쪽이 마이너스로, 바깥쪽이 플러스로 하전되어 있습니다.

이 상태를 전기적으로 "분극되어 있다"라고 표현합니다.

칼륨이온(K+):
세포 내에 가장 풍부한 양이온입니다. 세포막 전위를 결정하는 데 중요한 역할을 합니다. 칼륨 채널을 통해 세포막을 가로질러 이동하며, 이는 활동 전위의 재분극 단계에서 중요합니다. 세포 내 효소 기능, 단백질 합성 및 세포 용적 조절에 관여합니다.

나트륨이온(Na+):
세포 외액에 가장 풍부한 양이온입니다. 나트륨-칼륨 펌프(Na+/K+ ATPase)에 의해 능동적으로 세포 밖으로 이동합니다. 활동 전위의 상승 단계(탈분극)에서 중요한 역할을 합니다. 세포막을 가로질러 다양한 물질의 수송에 관여하는 공동수송체(co-transporter)와 교환수송체(exchanger)의 기능에 필수적입니다.

칼슘이온(Ca2+):
세포 외액에 더 높은 농도로 존재합니다. 근육 수축, 신경 전달물질 방출 및 세포 내 신호 전달에 매우 중요한 역할을 합니다. 심근세포에서 칼슘은 근소포체(sarcoplasmic reticulum)에 저장되어 있다가 활동 전위 동안 방출되어 수축을 유발합니다. 칼슘 채널과 교환수송체를 통해 세포막을 가로질러 이동합니다.

이 정지상태일 때 자극이 가해지면(전기적 흥분이 더해지면) 세포막의 투과성에 변화가 생겨 이온의 이동이 일어납니다.

우선, 세포외의 나트륨이온이 급속하게 세포내로 밀려들어갑니다. 이 때 세포내 전위는 일시적으로 +25mV 정도로 상승하는데 이것을 "탈분극(depolarization)"이라고 합니다.

나트륨이온이 다 밀려들어가면 세포내 전위는 0mV 정도에서 안정되고 이어서 칼슘이온이 천천히 세포외에서 세포내로 들어갑니다. 그 다음에는 지금까지 세포내에 있던 칼륨이온이 세포외로 나오게됩니다. 그리고 세포내 전위는 다시 -85mV 정도로 다시 돌아가는데 이것을 "재분극(repolarization)"이라고 합니다.

이렇게 되면 나트륨이온이나 칼슘이온이 세포내로 들어오기만 하고 칼륨이온은 세포외로 나가기만 하는 상태가 되어 버리기 때문에 다음의 단계에서 각각의 이온을 본래의 상태로 되돌리려는 세포막펌프가 작용하여 다시 정지상태가 되는 것입니다.

1. 나트륨이온이 세포내로 밀려들어간다.
2. 칼슘이온이 천천히 세포내로 들어간다.
3. 칼륨이온이 세포외로 나온다.
4. 세포막펌프의 작용으로 본래의 상태로 돌아가 정지상태가 된다.

심전도의 기본 파형과 파형의 의미

P파 : 심장의 전기적 활동이 시작되고 가장 먼저 나타나는 파로서, 양성(위쪽)의 작은 봉우리 모양이 'P파'라고 부릅니다.

P파는 심방의 전기적 흥분을 의미합니다. 정확하게는 먼저, 우심방의 흥분이 시작되고 바로 다음으로 좌심방이 흥분하는데, 보통의 심전도에서는 1개의 봉우리로 밖에 보이지 않습니다.

-> 정상 P파는 폭이 0.09~0.11초, 높이가 2.5mm 이하입니다.

QRS 군집 : P파가 끝나고 조금 지나면 이번에는 음성(아래 방향)의 작은 움직임이 보이는데, 이 파를 "Q파" 라고 합니다. 그리고 곧바로 높고 날카로운 양성의 움직임으로 바뀌는데 이를 "R파"라고 합니다. R파는 재빠르게 기선으로 되돌아와 다시 음성의 움직임을 보이는데 이것을 "S파" 라고 합니다.

Q R S 각각의 파형은 떨어지지 않고 항상 1개의 움직임으로 보이기 때문에 "QRS군"으로 통합해서 다루고 있습니다.

왜냐하면 이 QRS군은 심실의 탈분극(depolarization, 탈분극은 신경세포나 근육세포에서 일어나는 중요한 생리학적 과정입니다)을 나타내기 때문입니다.

세포막 전위(Membrane potential): 세포막 내외부의 이온 농도 차이로 인해 세포막에는 전위차가 존재합니다. 보통 세포 내부는 음전하를, 외부는 양전하를 띱니다.

안정 상태(Resting state): 자극이 없을 때, 세포는 안정 상태를 유지합니다. 이때 세포막 전위를 휴지 전위라고 합니다.

탈분극 자극(Depolarizing stimulus): 세포에 특정 자극이 가해지면, 세포막의 나트륨 통로가 열리고 나트륨 이온이 세포 내로 유입됩니다. 이로 인해 세포 내부의 전위가 점차 양전하로 변하는데, 이를 탈분극이라고 합니다.

활동 전위(Action potential): 탈분극이 임계값에 도달하면 세포막 전위는 급격히 상승하여 일시적으로 양전하가 됩니다. 이를 활동 전위라고 하며, 신경 신호나 근육 수축을 유발합니다.

재분극(Repolarization): 활동 전위 이후, 칼륨 통로가 열리고 칼륨 이온이 세포 외부로 유출되면서 세포막 전위는 다시 음전하로 변합니다. 이를 재분극이라고 합니다.

과분극(Hyperpolarization): 재분극 과정에서 세포막 전위가 휴지 전위보다 더 낮아질 수 있는데, 이를 과분극이라고 합니다. 이후 세포막 전위는 다시 휴지 전위로 돌아옵니다.

QRS군이 이와 같이 날카로운 형태를 나타내는 것은 심실의 근육에서는 자극이 매우 빨리 전달된다는 것을 의미하는 것입니다. QRS군의 폭은 정상에서는 0.10초를 넘지 않습니다.

높이는 기록 방법에 따라 달라지는데, 심장이 배대해지면 R파의 높이는 대체로 높아집니다.

QRS군의 움직임이 끝나고 잠시 동안 거의 평탄하게 달리다가, 완만한 경사의 산이 나타납니다. 이것을 "T파"라고 하는데 심실의 "재분극(repolarization)"을 나타냅니다. 가끔, T파 다음에 매우 완만한 언덕과 같은 파형이 보이는 경우가 있는데 이를 "U파"

라고 합니다.

PR간격 또는 PQ간격 : 심방 탈분극(심방의 전기적 활성화)을 나타내는 구간입니다. 동방결절에서 생성된 전기 자극이 심방을 통과하는 데 걸리는 시간을 반영합니다. 정상 범위는 0.12초에서 0.20초 사이입니다.

QT간격 : 심실 탈분극과 재분극을 포함하는 전체 시간을 나타냅니다. Q파의 시작부터 T파의 끝까지를 측정합니다. QT 간격은 심박수에 따라 달라지므로 보정된 QT 간격(QTc)을 사용하기도 합니다. 정상 QTc 값은 0.36초에서 0.44초 사이입니다.

ST 부분 : 심실 탈분극이 끝나고 재분극이 시작되는 구간입니다. 이 부분은 일반적으로 등전위선(isoelectric line)에 위치해야 합니다. ST 부분은 심근 상태에 관해서 매우 중요한 정보를 제공해 주는 부분입니다. 예를 들어서 심근의 혈류가 부족한 "심근허혈(myocardial ischemia)" 상태라면 ST부분이 기선의 아랫방향으로 이동하고 심근경색이 일어나면 ST부분이 상승합니다.

심전도 파형과 심실의 수축, 확장과의 관계

출처 : 위키

심실이 수축되거나 확장되는 것은 심근의 수축이나 이완이라는 기계적 활동의 결과로 발생하는 움직임입니다.

또한 이것은 선행된 전기적 활동에 의해 발생된 것이죠. 위의 그림을 통해 심전도 파형과 심실의 수축 및 확장의 관계에 대해서 살펴볼 수 있습니다.

심실의 수축은 QRS군의 중간부터 일어나기 시작하여 곧 대동맥판막(arotic valve)이 열리고 혈액을 보내기 시작하는데, T파가 끝날 무렵에 대동맥판막이 닫히고 심실의 수축기가 끝납니다. 그리고 곧 승모판막(mitral valve)이 열리고 심실로 혈액이 유입되기 시작하는데, 다음의 QRS군의 중간까지가 심실의 확장기가 됩니다.

[논문리뷰] - DeepOnto: A Python Package for OntologyEngineering with Deep Learning

minyoungxi — Thu, 25 Apr 2024 11:18:29 +0900

1. Introduction

논문이 다루는 task

본 논문이 다루는 task는 온톨로지 엔지니어링에 딥러닝 기술, 특히 언어 모델을 통합하는 것입니다. 온톨로지 엔지니어링은 지식 표현과 추론을 위한 핵심 분야로, 온톨로지 설계, 구축, 평가, 유지보수 등 다양한 단계를 포함합니다. 온톨로지는 인간과 기계 모두 이해할 수 있는 개념과 관계의 체계를 제공함으로써 지식 공유와 활용을 촉진합니다.

최근 거대 언어 모델의 등장으로 기존 온톨로지 엔지니어링 방식의 한계를 극복할 수 있는 가능성이 열리고 있습니다. 예를 들어, BERT 등의 언어 모델은 풍부한 맥락 정보를 활용해 개념 간 유사도를 판단할 수 있어 온톨로지 정렬이나 완성 작업에 효과적입니다. 그러나 딥러닝 모델은 그 예측 과정이 불투명하고 대량의 학습 데이터를 필요로 한다는 한계도 있습니다.

해당 task에서 기존 연구 한계점

기존 연구의 한계점은 크게 두 가지로 볼 수 있습니다. 첫째, OWL API나 Jena 같은 기존 온톨로지 처리 도구는 안정적이고 표준 기반이지만, 딥러닝 프레임워크와 호환되지 않아 모델 개발과 적용이 쉽지 않습니다. 대부분 Java 기반인 반면 PyTorch, Tensorflow 등 주요 딥러닝 프레임워크는 Python 기반이기 때문입니다.

둘째, 딥러닝 기반 온톨로지 엔지니어링을 위해서는 온톨로지의 다양한 정보를 적절한 입력 형태로 변환하는 작업이 필수적이지만, 이를 지원하는 도구가 부족한 상황입니다. 단순한 용어 추출을 넘어 논리적 표현식의 자연어 변환, 그래프 구조로의 투영 등 보다 복잡한 처리가 요구되지만 기존 도구로는 수행이 쉽지 않습니다.

이에 본 논문에서는 Python 기반의 통합 온톨로지 엔지니어링 패키지 DeepOnto를 제안합니다. DeepOnto는 OWL API 기반의 핵심 처리 모듈과 다양한 부가 모듈을 제공해 온톨로지 정보를 딥러닝에 적합한 형태로 변환하고, 이를 활용한 정렬, 완성, 언어 모델 분석 등 다양한 태스크를 지원합니다. 이를 통해 딥러닝과 온톨로지의 상호보완적 통합을 도모하고자 합니다.

2. Related Work

related work 부분이 생략된 이유는 아마도 이 논문이 특정 태스크에 대한 새로운 모델을 제안하기보다는 포괄적인 온톨로지 처리 프레임워크를 소개하는 데 초점을 맞추고 있기 때문일 것 같습니다.

3. 제안 방법론

Main Idea

DeepOnto의 주요 아이디어는 온톨로지 엔지니어링을 위한 포괄적이고 유연한 Python 기반 프레임워크를 제공하는 것입니다. 특히 거대 언어 모델(LLM)과의 통합을 핵심 목표로 합니다.

Figure 1은 DeepOnto의 전체 구조를 보여줍니다. 그 중심에는 OWL API 기반의 핵심 온톨로지 처리 모듈이 있습니다. 이 모듈은 기본적인 온톨로지 입출력과 조작 기능 외에도 추론(reasoning), 정규화(normalization), 자연어 변환(verbalization), 투영(projection) 등 다양한 부가 기능을 제공합니다. 이러한 기능들은 온톨로지를 딥러닝에 적합한 형태로 변환하는 데 핵심적인 역할을 합니다.

OWL API는 온톨로지를 생성, 조작, 직렬화하기 위한 고수준 프로그래밍 인터페이스를 제공하는 Java 기반 오픈소스 라이브러리입니다. OWL API는 온톨로지 언어 OWL(Web Ontology Language)을 기반으로 하며, 주로 시맨틱 웹 및 지식 표현 분야에서 널리 사용됩니다.

OWL 2 명세의 완전한 구현: OWL API는 OWL 2의 모든 프로파일(EL, QL, RL)과 직렬화 문법(Functional Syntax, RDF/XML, Turtle, Manchester Syntax 등)을 지원합니다.

온톨로지 생성 및 조작: 클래스, 속성, 인스턴스 등의 엔티티를 생성하고, 이들 간의 관계를 정의하는 axiom을 추가, 삭제, 수정할 수 있습니다.

온톨로지 추론 및 검증: HermiT, FaCT++, Pellet 등의 추론기와 연동해 implicit한 지식을 도출하고, 온톨로지의 일관성을 검사할 수 있습니다.

온톨로지 입출력 및 직렬화: OWL, RDF 등 다양한 형식으로 온톨로지를 읽고 쓸 수 있으며, 메모리 상의 온톨로지 객체를 직렬화할 수 있습니다.

모듈화 및 통합: OWL API는 모듈화된 구조를 가지며, OSGi 프레임워크를 통해 다른 시맨틱 웹 도구 및 라이브러리와 쉽게 통합될 수 있습니다.

핵심 모듈 위에는 개별 엔지니어링 태스크를 수행하는 다양한 도구와 자원이 구현되어 있습니다. 현재는 주로 언어 모델 기반의 온톨로지 정렬(BERTMap 등), 온톨로지 완성(BERTSubs), 언어 모델 프로빙(OntoLAMA) 등을 지원하고 있습니다. 그러나 모듈화된 구조 덕분에 임베딩, 개념 삽입 등 새로운 기능을 쉽게 추가할 수 있습니다.

그림에서 알 수 있듯이 Ontology 클래스와 함께 다양한 하위 모듈이 제공됩니다.

reasoning 모듈은 HermiT, ELK 등의 추론기를 사용해 implicit한 지식을 도출합니다.

verbalization 모듈은 복잡한 논리식을 자연어로 변환합니다.

normalization 모듈은 axiom을 정규형으로 변환하는데, 이는 모델 학습 시 입력 패턴을 단순화할 수 있습니다.

taxonomy 모듈은 개념 간 subsumption 관계를 그래프 형태로 추출합니다.

projection 모듈은 OWL 온톨로지를 RDF 트리플 집합으로 변환하는데, 이는 지식그래프 모델에 유용합니다.

이 외에도 pruning 등의 모듈이 포함되어 있습니다.

이러한 핵심 모듈 위에 개별 엔지니어링 태스크를 위한 도구와 자원이 구현됩니다.

BERTMap과 BERTSubs는 각각 온톨로지 정렬과 완성을 위한 BERT 기반 모델입니다.

Bio-ML은 정렬 모델 평가를 위한 벤치마크 데이터셋 및 프레임워크입니다.

OntoLAMA는 프롬프트 기반 subsumption 예측을 통해 언어 모델의 온톨로지 이해도를 진단합니다. 그림에서 점선으로 표시된 것처럼, 임베딩이나 개념 삽입 등의 새로운 태스크를 지속적으로 추가할 수 있습니다.

Figure 2는 DeepOnto가 제공하는 두 가지 주요 기능, 즉 온톨로지 pruning과 verbalization의 예시를 보여줍니다.

왼쪽 그림은 온톨로지 pruning 과정을 나타냅니다. Pruning은 온톨로지에서 불필요하거나 중복된 개념을 제거하여 온톨로지의 크기를 줄이는 기술입니다. 그러나 단순히 개념을 삭제할 경우 원래의 subsumption 계층 구조가 훼손될 수 있습니다.

이를 방지하기 위해 DeepOnto는 Bio-ML에서 제안된 pruning 알고리즘을 구현하고 있습니다. 이 알고리즘은 제거 대상 개념의 상위 개념과 하위 개념 간에 새로운 subsumption 관계를 추가함으로써 계층 구조를 유지합니다. 예를 들어, 그림에서 점선으로 표시된 개념을 제거할 때, 해당 개념의 상위 개념과 하위 개념을 직접 연결하는 파란색 실선의 subsumption 관계가 추가됩니다.

오른쪽 그림은 복잡한 개념 표현식(complex concept expression)을 자연어로 변환하는 verbalization 과정을 보여줍니다. 예시에서는 "FoodProduct ⊓ ∃derivesFrom.(InvertebrateAnimal ⊔ VertebrateAnimal)"이라는 표현식이 "food product that derives from invertebrate animal or vertebrate animal"이라는 자연어 문장으로 변환되고 있습니다.

DeepOnto는 OntoLAMA에서 제안된 재귀적 verbalization 알고리즘을 구현하고 있습니다. 이 알고리즘은 다음과 같은 절차를 따릅니다:

복잡한 개념 표현식을 구문 분석하여 트리 형태로 변환합니다.
트리의 잎 노드(leaf node)에 해당하는 원자 개념(atomic concept)과 역할(role)을 미리 정의된 자연어 템플릿에 따라 verbalization합니다.
내부 노드(internal node)에 대해서는 자식 노드의 verbalization 결과를 재귀적으로 합성합니다. 이때 논리 연산자(⊓, ⊔, ∃ 등)에 따라 적절한 자연어 표현을 사용합니다.
루트 노드에 도달할 때까지 위 과정을 반복하여 최종 verbalization 결과를 얻습니다.

Ontology Processing 논문 발췌 부분

Ontology: DeepOnto의 기본 클래스로, OWL API의 핵심 기능을 래핑합니다. 온톨로지 파일 로드/저장, 엔티티 검색, 상위/하위 개념 탐색, axiom 수정 등의 작업을 수행할 수 있습니다.
Ontology Reasoning: 온톨로지에 내재된 implicit한 지식을 추론하는 기능을 제공합니다. HermiT, ELK, Structural 등 다양한 추론 엔진을 지원하며, 개념 간 subsumption 관계, 불일치 검사 등을 수행할 수 있습니다.
Ontology Pruning: 온톨로지에서 불필요한 개념을 제거하여 크기를 최적화하는 기능입니다. Bio-ML에서 제안된 알고리즘을 구현하여, subsumption 계층 구조를 보존하면서 pruning을 수행합니다.
Ontology Verbalization: 개념, 속성, 제약 등 온톨로지의 주요 구성 요소를 자연어로 변환하는 기능입니다. 특히 OWL의 복잡한 논리식도 처리할 수 있는 재귀적 알고리즘을 제공합니다.
Ontology Normalization: Axiom을 정규화된 형태로 변환하는 기능입니다. 정규화된 axiom은 패턴이 단순하므로 기계학습 모델의 학습을 용이하게 합니다.
Ontology Taxonomy: 온톨로지의 개념 간 subsumption 관계를 추출하여 트리 또는 DAG 형태로 표현하는 기능입니다. 개념 계층 구조를 시각화하거나 분석하는 데 활용될 수 있습니다.
Ontology Projection: OWL 온톨로지를 RDF 그래프로 변환하는 기능입니다. 변환 과정에서 익명 노드(blank node) 사용을 최소화하여, 그래프 임베딩 등의 작업에 적합한 형태로 투영합니다.

이들 기능은 상호 보완적으로 활용될 수 있습니다. 예를 들어, Reasoning을 통해 implicit한 subsumption 관계를 도출한 후 Taxonomy로 시각화하고, Verbalization을 통해 자연어 설명을 생성할 수 있습니다. 또한 Normalization과 Projection을 조합하면 온톨로지 임베딩에 적합한 입력 형태를 얻을 수 있습니다.

종합하면 Ontology Processing 모듈은 온톨로지에 대한 다각적인 접근을 지원함으로써, 온톨로지 기반 지식 그래프 구축, 온톨로지 정렬/통합, 온톨로지 기반 추론 및 설명 등 다양한 엔지니어링 태스크의 토대가 됩니다. 뿐만 아니라 딥러닝 모델과의 접점을 제공함으로써 신경-상징 통합 연구에도 기여할 것으로 기대됩니다.

Tools and Resources

BERTMap: 두 온톨로지 간의 개념 정렬(alignment), 특히 동등 관계에 있는 개념 쌍을 찾는 도구입니다. BERT 언어 모델을 fine-tuning하여 개념 레이블 간 유사도를 계산하고, 이를 바탕으로 정렬 스코어를 산출합니다. 후보 개념 쌍 선정에는 서브워드 인덱싱을, 정렬 결과 확장에는 locality 원칙에 기반한 반복적 탐색을 활용합니다. BERTMap은 다양한 하이퍼파라미터 설정과 외부 리소스 활용을 지원하며, 경량화된 버전인 BERTMapLt도 제공합니다.
BERTSubs: 단일 온톨로지 내에서 누락된 subsumption 관계를 예측하는 온톨로지 완성 도구(BERTSubs Intra)와, 두 온톨로지 간의 subsumption 정렬을 수행하는 도구(BERTSubs Inter)로 구성됩니다. 역시 BERT 기반으로, 개념 레이블을 Isolated, Path, Breadth 등의 방식으로 임베딩한 후 subsumption 여부를 분류합니다.
Bio-ML: 의학 도메인 온톨로지들로부터 구축된 대규모 정렬 및 완성 벤치마크입니다. SNOMED-CT, FMA, NCIT, MONDO 등 7개 온톨로지 간의 조합으로 구성되며, 전문가 검증을 거친 Ground Truth 정렬을 제공합니다. 기존 벤치마크 대비 규모와 품질 면에서 개선되었을 뿐 아니라, subsumption 정렬을 포함하고 랭킹 기반 평가 지표를 도입했다는 점에서 기계학습 기반 온톨로지 정렬 연구에 기여할 것으로 기대됩니다.
OntoLAMA: 기존 LAMA 프로빙 프레임워크를 온톨로지 도메인으로 확장한 벤치마크입니다. 다양한 온톨로지로부터 원자/복합 개념 간 subsumption 쿼리를 자동 생성하고, 이를 활용해 사전학습된 언어 모델의 개념적 추론 능력을 평가합니다. 특히 개념 verbalization 기술과 프롬프트 최적화를 통해, 적은 수의 Few-Shot 샘플로도 성능 향상을 달성했다는 점에서 의의가 있습니다.

각 도구는 DeepOnto의 핵심 모듈을 활용하여 구현되었으며, 모듈화된 설계 덕분에 쉽게 확장 및 개선될 수 있습니다. 특히 Bio-ML과 OntoLAMA는 단순히 평가 벤치마크를 넘어, 관련 태스크의 문제 설정과 방법론에 대한 통찰을 제공한다는 점에서 가치가 있습니다.

4. 실험 및 결과

Dataset

본 논문에서는 DeepOnto의 성능을 평가하기 위해 다양한 도메인과 규모의 온톨로지 데이터셋을 활용했습니다. 주요 데이터셋은 다음과 같습니다:

Bio-ML: 의학 도메인의 SNOMED-CT, FMA, NCIT, MONDO 등 7개 온톨로지로 구성된 정렬 및 완성 벤치마크입니다. 전문가 검증을 거친 Ground Truth 정렬을 제공하며, 동등 관계와 subsumption 관계를 모두 포함합니다.
OntoLAMA: 일반 도메인 온톨로지들로부터 추출한 subsumption 쿼리 데이터셋입니다. 원자 개념뿐 아니라 복합 개념 간의 subsumption 관계도 포함하며, 언어 모델의 개념적 추론 능력을 평가하는 데 활용됩니다.
산업 도메인 데이터셋: 삼성 리서치 UK의 Digital Health Coaching 프로젝트에서 사용된 NHS 건강 정보 온톨로지와 DOID 질병 온톨로지 간의 정렬 태스크를 수행했습니다.

Baseline

DeepOnto의 성능을 평가하기 위해 다음과 같은 기준 모델들과 비교했습니다:

온톨로지 정렬: LogMap, AML 등 기존 온톨로지 정렬 시스템과 String Matching 등 단순 문자열 기반 방법을 baseline으로 사용했습니다.
온톨로지 완성: TransE, DistMult 등 지식 그래프 임베딩 모델과 논리 기반 Reasoner를 baseline으로 삼았습니다.
언어 모델 프로빙: LAMA 벤치마크의 일반 도메인 태스크와 생의학 특화 벤치마크인 BLURB를 baseline으로 활용했습니다.

Results

실험 결과, DeepOnto는 대부분의 태스크에서 baseline 대비 우수한 성능을 보였습니다. 특히 Bio-ML 벤치마크에서 BERTMap과 BERTSubs는 각각 동등 관계와 subsumption 관계 정렬에서 가장 높은 정확도와 재현율을 달성했습니다.

OntoLAMA에서도 DeepOnto의 프롬프트 기반 접근법이 기존 방법 대비 현저히 적은 Few-Shot 샘플로 높은 성능을 얻을 수 있음을 확인했습니다.

산업 도메인 데이터셋에 대해서도 DeepOnto는 활용 가능한 수준의 정렬 품질을 보였습니다. 다만 out-of-domain 개념에 대한 오정렬이 관찰되었는데, 이는 도메인 특화 어휘 자원의 통합 등으로 개선될 수 있을 것으로 보입니다.

Conclusion

종합하면 DeepOnto는 온톨로지 정렬, 완성, 언어 모델 프로빙 등 다양한 엔지니어링 태스크에서 우수한 성능을 입증했습니다. 특히 딥러닝, 그 중에서도 언어 모델과의 통합을 통해 기존 방법론의 한계를 극복하고 새로운 접근법을 제시했다는 점에서 의의가 있습니다.

또한 Bio-ML, OntoLAMA 등 DeepOnto가 구축한 벤치마크 데이터셋은 관련 연구 커뮤니티에 유용한 자원이 될 것입니다. 온톨로지 정렬, 완성 등의 태스크에 머신러닝을 적용하고자 하는 연구자들은 이들 데이터셋을 활용해 보다 객관적이고 체계적인 실험을 수행할 수 있을 것입니다.

물론 아직 개선의 여지도 있습니다. 도메인 지식의 보다 효과적인 통합, 대규모 온톨로지에 대한 효율성 및 확장성 향상, 온톨로지 변경 사항의 실시간 반영 등은 향후 DeepOnto가 지속적으로 연구해야 할 주제들입니다. 그러나 현재의 성과와 발전 가능성에 비추어 볼 때, DeepOnto는 온톨로지와 딥러닝의 융합을 선도하는 플랫폼으로서 자리매김할 수 있을 것으로 기대됩니다.