[Generative AI] 이것도 모르면서 생성 모델을 공부한다고 ?

요즘 Text to Image 모델을 보면 텍스트만 가지고 별걸 다 만듭니다.연구하는 분들은 이걸 수학적으로 어떻게 표현할까요?확률 변수 X는 $X$ ~ $p_\theta(x | c)$ 에서 샘플링 이런식으로 표현합니다.그런데 이 수식은 구체적으로 무슨 의미일까요 ? 수학 시간에 조건부 확률 이런 거 배우긴 했지만, 딥러닝에서는 이런 $\theta , x, c$ 녀석들이 뭐 어쨌다는 건지는 잘 모르겠습니다.이것들은 각각 모델 파라미터, 데이터를 표현하는 확률 변수 그리고 모델의 입력인데요, 각각이 어떤 의미인지 알아보겠습니다.$\theta$ = Model parameters$x$ = Random Variables$c$ = Model inputs먼저 이미지같은 데이터를 생성하는건요 확률 분포에서 샘플링하는..

• format_list_bulleted Data science
• · 2026. 6. 8.

TurboQuant, 이 녀석은 과연 스캠일까?

주식시장을 떠들썩하게 했던 이름도 스캠스러운 TurboQuant에 대해서 알아보겠습니다.퀀텀이라는 말을 개인적으로 싫어하지만 google에서 공개하고 핫한 주제라 알아보면 좋을거 같습니다. 구글의 공개 블로그를 보면서 어떤 기술인지 봅시다. 우선 turboquant를 시리즈로 한 번 알아보겠습니다.Turboquant라는 이름에서 알 수 있듯이 여기서 다루는 것은 Quantization이라는 개념입니다.Quantization을 먼저 이해해봅시다. 모든 실수 숫자를 0 이하면 0, 양수면 1이라고 Quantize할 수 있습니다. 이러면 모든 숫자를 둘로만 표현하는 셈이죠 ?이러면 0,1을 한 bit로만 나타낼 수 있는데요, 문제는 0과 1이라는 정보만으로는 사실상 양수, 음수 정보만 알 수 있기 때문에 정밀..

• format_list_bulleted Insight
• · 2026. 5. 26.

AI Distillation lineage? 리니지는 게임아니야? self distillation된 인공지능 모델의 문제점을 파악해보자

1. AI에도 족보가 있는가 AI 모델을 하나의 독립된 제품으로 보지 말자고 제안한다. 모델은 어느 날 갑자기 완성된 물건이 아니라, 이전 모델의 출력, 합성 데이터, 평가 기준, 후속 fine-tuning, distillation pipeline을 거쳐 만들어진다. 그래서 모델에는 일종의 “족보”가 생긴다. 이 비유는 조금 과장되어 보일 수 있다. 하지만 2026년 현재의 AI 개발 방식을 보면 꽤 정확하다. 대형 모델은 더 작은 모델을 만들기 위해 teacher 역할을 한다. 작은 모델은 큰 모델의 출력을 보고 학습한다. frontier lab은 자신의 이전 세대 모델로 새 모델의 synthetic data를 만든다. 스타트업은 특정 업무에 강한 teacher model의 결과를 수집해 domain..

• format_list_bulleted Insight
• · 2026. 5. 14.

[Nutrient] 피쉬오일(오메가3)은 정말 뇌에 좋기만 할까: EPA 연구가 던진 질문

피쉬오일은 정말 뇌에 좋기만 할까: EPA 연구가 던진 질문피쉬오일은 건강기능식품 진열대에서 가장 익숙한 이름 중 하나다. 심장 건강, 염증 조절, 눈 건강, 뇌 건강. 작은 캡슐 하나에 붙는 기대가 꽤 크다. 그래서 오메가-3라는 말은 어느새 “몸에 좋은 지방”이라는 짧은 이미지로 굳어졌다.그런데 최근 Cell Reports에 실린 한 연구가 이 익숙한 믿음에 제동을 걸었다. 질문은 단순하다.피쉬오일은 정말 언제나 뇌에 좋을까? Medical News Today가 소개한 이 연구의 초점은 일반적인 건강한 사람의 일상 섭취가 아니다. 연구진이 들여다본 상황은 더 좁다. 반복적인 경미한 외상성 뇌손상, 즉 repeated mild traumatic brain injury 이후의 회복 과정이다. 이 맥락에서..

• format_list_bulleted Medical
• · 2026. 5. 4.

[논문리뷰] - Vision은 메타지! Meta AI가 만든 DiNO 시리즈에 대해서 알아보자.

Vision 분야의 최신 연구트렌드는 Meta Ai의 리서치를 따라가면 됩니다.Meta는 최근 Llama의 네 번째 시리즈를 출시했지만, 평가가 그렇게 좋지 않았죠? 상대적으로 LLM 기술에 뒤쳐져 있는 Meta이지만, Vision 분야라면 이야기는 달라집니다. 메타의 연구들을 따라가보면 Vision 분야에서 새 돌파구를 찾고 있는 듯 보이고, 실마리를 찾은 것 같아 보입니다.사실 와닿지 않을 수 있습니다. ChatGPT 지브리나 구글의 nano banana에 비해서 Meta가 보여줬다는 느낌은 안 듭니다. SAM 정도가 생각나긴 하지만요 앞서 언급한 프로덕션에 비해서 임팩트가 떨어지는 것은 사실입니다. 하지만 메타의 비전 관련 연구들을 보면 분명한 목표가 느껴집니다. 메타의 연구들을 보면서 메타..

• format_list_bulleted Data science/딥러닝 논문 리뷰
• · 2026. 4. 23.

얀 르쿤은 말했다. LLM을 이기는건 JEPA (Joint Embedding Predictive Architecture)라고.

얀 르쿤의 역작 JEPA(Joint Embedding Predictive Architecture)단순한 파라미터 확장과 데이터 증가에 의존하는 기존의 딥러닝 스케일링(Scaling) 패러다임은 AI의 질적 추론 능력 향상에 한계를 보이고 있습니다. 얀 르쿤(Yann LeCun)은 이러한 구조적 단점을 극복하고, AI가 물리적 세계의 동역학을 이해하는 '월드 모델(World Model)'을 구축하기 위한 대안으로 JEPA를 제안합니다. 이러한 기존 패러다임의 한계는 모라벡의 역설 (Moravec’s Paradox) 과 맞닿아 있습니다. 현재의 컴퓨팅 시스템은 복잡한 수학적 연산과 대규모 데이터 처리에는 탁월한 성능을 보이지만, 인간이 직관적으로 수행하는 기초적인 지각 및 감각 처리에는 여전히 취약합니다. ..

• format_list_bulleted Insight
• · 2026. 4. 16.