[LangChain] MonaiGPT - Medical Imaging Chatbot을 만들어볼까? -2

코드리뷰 db_creator.py from langchain.document_loaders import DirectoryLoader from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma import os from api import api_key os.environ['OPENAI_API_KEY'] = api_key loader = DirectoryLoader('./data') pages = loader.load_and_split() embeddings = OpenAIEmbeddings() vectordb = Chroma.from_documents(pages, embe..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 9. 11.

[LangChain] MonaiGPT - Medical Imaging Chatbot 을 만들어볼까? - 1

Project Plan - Introduction Pytorch 기반 의료 영상 프레임워크인 MONAI의 공식 문서와 LLM 기술을 쉽게 다룰 수 있는 모듈인 LangChain을 결합한 MonaiGPT를 만들어 볼 것입니다. 이 프로젝트에서는 Langchain의 역할과 ChromaDB를 사용하는 방법에 대해서 배울 수 있습니다. 또한 Streamlit을 활용하여 web에서 MonaiGPT를 구동하고 배포합니다. Medical imaging에 관심이 많다면 MONAI의 프레임워크를 자주 사용할 것입니다. Monai뿐만 아니라 다른 웹사이트들의 문서들을 pdf로 변환하여 데이터베이스에 적재하고 chatbot으로 개발할 수 있습니다. What is Monai ? MONAI는 파이토치 기반 의료 영상 처리 오픈..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 9. 11.

[팀프로젝트] 이미지의 경로와 json 소분류 카테고리를 따로 저장해보자

라벨링 파일 JSON -> numpy array 지난번에 다운받은 데이터들 중에서 sketch 데이터만 사용하기로 했다. 데이터의 크기가 너무 크기 때문에 카테고리가 '동식물'인 스케치 데이터로 범위를 축소했다. training 이미지 데이터(.jpg), training 라벨링 데이터(.json), validation 이미지 데이터 , validation 라벨링 데이터 각 폴더에는 중분류 , 소분류로 나눠진 폴더가 세 겹으로 쌓여있다. 각 폴더들을 모두 탐색하여 json 파일의 소분류만 추출하여 데이터 프레임으로 만들었다. 이후에 모델링을 할 때 사용해야 하므로 데이터 프레임을 넘파이 배열로 저장했다. import os import json import pandas as pd # define the ro..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 25.

[팀프로젝트] - AI HUB 에서 스케치 데이터 다운받기 (1)

데이터 선정부터 데이터 전처리 , 모델링을 하고 Django로 모델 서빙 배포까지 해보는 프로젝트를 시작했다. 팀원들과 회의를 한 결과 AI HUB에 있는 '스케치, 아이콘 인식용 다양한 추상 이미지 데이터'라는 이미지 데이터를 활용하여 손으로 그린 글씨를 분류해주는 아이템을 만들어보기로 했다. 데이터의 크기는 36.93GB, 허브에 있는 수많은 데이터들에 비해서 데이터가 작은 편이지만 그래도 나의 맥북에서 원활하게 돌릴 수 있을까 걱정이 된다. 역시... 다운로드 받는데만 약 2시간이 넘게 걸렸고 압축도 한 세시간 걸린거 같다.. 당연히 로컬에서는 안돌아가서 코랩에서 하려고 시도했지만 런타임이 끊길때마다 unzip을 해줘야해서 너무 불편하다... 데이터의 구성은 이런식으로 되어있다. 일단 코랩에서 un..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 3. 16.

[Toy project] Deep Drowsiness Detection - 졸음 감지 part2

part1 에서 ultrastic yolo5 모델을 클로닝해서 학습된 모델이 잘 작동하는지 확인해봤습니다. 이번 포스팅에서는 Real Time Detection 코드를 통해서 실시간으로 피드에 액세스하는 코드를 짜볼 것입니다. 랩탑에 탑재되어 있는 웹캠에 실시간으로 접속하여 저의 모습을 캡쳐하는 부분인데요. 프레임당 캡쳐를 하여 제가 깨어있는 모습과 졸고있는 모습을 각각 따로 수집을 해서 직접 라벨링을 해볼 것입니다. Real Time Detections # 단지 실시간으로 피드에 액세스하는 코드 cap = cv2.VideoCapture(0) # 웹캠에 액세스 하는 방법 , 자신의 기기에서 비디오 캡쳐 장치가 몇 번인지 확인. if not cap.isOpened(): print("fail") while ..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 2. 1.

[Toy project] Deep Drowsiness Detection - 졸음 감지 part1

pytorch 를 사용하여 웹캠을 통해 사람이 졸고있는 모습을 탐지하는 프로그램을 만들어보기로 했다. Gameplan 1. Ultralytics YOLO 설치 2. 탐지를 하는 프로그램을 만들어 봅시다. 3. 졸음 감지 모델을 튜닝 4. 리얼 타임 퍼포먼스 Ultralytics YOLOv5 https://github.com/ultralytics/yolov5 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 development by creating an account on GitHub..

• format_list_bulleted Data science/Deep Learning Toy Project
• · 2023. 1. 21.