프로페서 H의 메디톡

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

🔥 최신 RAG 모델 비교! 어떤 방식이 가장 효율적일까?📌 RAG(Retrieval-Augmented Generation) 모델은 대규모 언어 모델(LLM)과 검색 시스템을 결합하여 더 정확하고 효율적인 정보를 제공하는 기술입니다. LightRAG과 비교되는 대표적인 최신 RAG 기법들을 정리해봤습니다!1️⃣ Naive RAG (기본형 RAG) [Gao et al., 2023]✅ 기본 원리:텍스트를 작은 조각(Chunk)으로 나누고 벡터 데이터베이스에 저장사용자가 질문하면 유사도가 가장 높은 텍스트 조각을 검색하여 답변 생성⚠️ 한계점:질문이 모호할 경우 정확한 정보 검색이 어려움단순 벡터 기반 매칭이라 문맥을 깊이 이해하는 능력이 부족2️⃣ RQ-RAG (질문 세분화 RAG) [Chan et al..

보호되어 있는 글입니다.

오늘은 RAG-LLM과 관련된 문헌이 있어 공유하고자 합니다.  Developing Retrieval Augmented Generation (RAG) Based LLM Systems from PDFs: An Experience Reporthttps://arxiv.org/html/2410.15944v1#S4 Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience ReportBest Practice: Ask the Model to adopt a Persona  Provide specialized context-Rich instructions that guide the assistant on how to..

1차 원고 작성: 2024-09-22오늘은 "Prediction model for drug response of acute myeloid leukemia patients"라는 논문을 소개하고자 합니다. 이 연구는 급성 골수성 백혈병(AML) 환자의 약물 반응을 예측하기 위한 새로운 앙상블 기반 AI 모델인 MDREAM을 개발하고 검증했습니다. 출처: npj Precision Oncology (2023). https://doi.org/10.1038/s41698-023-00373-0 이 연구는 급성 골수성 백혈병(AML) 환자의 약물 반응을 예측하기 위한 MDREAM이라는 새로운 모델을 개발하고 검증한 것입니다. 주요 방법론적 특징은 다음과 같습니다:데이터 통합:유전자 변이 데이터유전자 발현 데이터대규모 약..

1차 원고 작성: 2024-08-24 오늘은 "Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model"이라는 논문에 대해 내용을 정리하고자 합니다. 이 연구는 대규모 언어 모델(LLM)을 활용하여 생물의학 분야의 질문에 더 정확하게 답변할 수 있는 방법을 탐구한 중요한 논문입니다. 출처: PLOS Digital Health (2024) 3(8): e0000568. https://doi.org/10.1371/journal.pdig.0000568 대규모 언어 모델(LLM)은 일반적인 인공지능 분야에서 큰 영향을 미치고 있지만, 특정 주제 영역에 대해 때때로 오해의 소지가 있는 결과를 생..

왜 내가 업로드한 pdf 문서에서 원하는 답이 잘 추출되지 않을까? 정확하게 추출하려면 어떻게 해야할까? RAG-LLM (Retrieval-Augmented Generation for Language Models) 모델을 사용하여 데이터에서 원하는 답을 얻는 과정의 아키텍쳐에는 지식에 해당하는 문서를 사전에 vector database에 임베딩을 해두어야한다. 하지만 효율적인 retrieval을 위해서는 임베딩전 문서를 여러 조각 (chunk) 으로 나누는 텍스트 splitting을 시행하게된다. 정확한 지식기반 LLM을 위해서는 텍스트 splitting 전략 또한 매우 중요하다. 텍스트를 얼마만한 조각으로 나눌지 (chunk size), 조각끼리 얼마나 겹치게 할지 (chunk overlap), 문서의..

이번에는 좀더 기대되었던 'LocalGPT'에 대해 설치과정과 간단 사용경험을 공유하고자 합니다 지난번은 UI가 그래도 chatGPT처럼 친숙한 환경을 제공하였던 'Ollama' 라는 local LLM 구축경험을 공유였었죠 https://medtalk.tistory.com/entry/나만의-데이터로-GPT-활용-local-LLM-구축-도전기-2-Ollama-LLaMa 나만의 데이터로 GPT 활용-local LLM 구축 도전기 (2): Ollama-LLaMa지난 번 글에서는 LangChain기반 AI 모델 구축의 일반적인 내용을 담았고 이번에는 실제 구축한 LLM 모델에 대해 설명하고자 한다. 이로서 인터넷 서버를 통하지 않고 local computer인 내 노트북, 내 데medtalk.tistory.co..