프로페서 H의 메디톡

  • 홈
  • 책 그리고 단상
  • 태그
  • 방명록

2025/04/19 1

📘 RAG에서 문서 청크와 KV 캐시, 벡터 임베딩은 어떻게 다를까?

Retrieval-Augmented Generation 시스템을 좀 아는 분들을 위한 개념 정리 Q&A❓ Q1. 문서 청크별 Key-Value (KV) 캐시란 무엇인가요?RAG 시스템에서 "문서 청크별 KV 캐시"가 어떤 개념인지 비전문가가 이해할 수 있게 설명해 주세요.✅ A1.문서 청크별 Key-Value 캐시는, 문서를 미리 잘게 나눈 후 각 조각(청크)에 대해 **언어 모델이 내부적으로 처리할 정보(Attention 계산용 Key, Value 행렬)**를 미리 계산해 저장해 두는 방식입니다.기존 RAG 시스템은 사용자가 질문을 던질 때마다 관련 문서를 검색하고, 그때마다 문서를 LLM에 넣어 일일이 계산을 해야 해서 시간이 오래 걸립니다. 반면 KV 캐시는 미리 계산해둔 결과를 즉시 불러와 사용하..

앱개발 2025.04.19
이전
1
다음
더보기
프로필사진

"안녕하세요, 프로페서 H입니다. 암 연구 최신 성과를 직관적, 이해하기 쉽게 전달합니다. 의학의 세계, 함께 탐험해요!"

  • 분류 전체보기 (108) N
    • 라이프 (10)
    • 생물.컴퓨터.통계 (39) N
    • 앱개발 (16)
    • 의학 (19)
    • 논문리뷰 (3)

Tag

인공지능, 앱개발, 대규모언어모델, ChatGPT, 의학, pdf, 챗지피티, 다발성골수종, research, claude, Tcell, 클로드, 백혈병, ai, Rag, llm, 프롬프트, 급성골수성백혈병, 의료AI, Blood,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • blood 저널

티스토리툴바