프로페서 H의 메디톡

🧠 AI 언어 모델 ‘Claude’의 머릿속 들여다보기― 단어 하나가 아닌, 생각 전체를 계획하는 AI의 비밀 ―안녕하세요, 이번에는 최신 인공지능(AI) 기술 중에서도 사람처럼 말하고, 대답하고, 심지어 시(詩)까지 쓰는 언어 모델 ‘Claude’의 놀라운 작동 방식에 대해 알아보려 합니다. AI가 그저 데이터로 훈련된 기계일 거라 생각하셨다면, 오늘 소개해드릴 내용이 꽤 놀라울겁니다 요약 참고 자료: https://www.anthropic.com/news/tracing-thoughts-language-modelhttps://youtu.be/4xAiviw1X8M?si=qKR7ktAiCTJFeXIQ 1️⃣ 언어를 넘어선 ‘공통된 생각의 언어’Claude는 한국어, 영어, 프랑스어 등 여러 언어로 질문을..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

supervised fine tuning과 강화학습으로 모델을 향상시킬 수 있다고 합니다. Deepseek 팀은 이를 위해서 대략 800K SFT 샘플을 사용했다고 하는데 이것이 얼마만한 크기인지 궁금해서 클로드에게 질문했습니다.800K SFT(Supervised Fine-Tuning) 샘플의 크기를 Q&A 형식으로 설명하겠습니다: Q: 800K 샘플은 정확히 몇 개의 데이터를 의미하나요? A: 800K는 800,000개의 데이터 샘플을 의미합니다. 즉, 80만 개의 질문-답변 쌍이나 지시-응답 쌍으로 구성됩니다. Q: 텍스트 데이터로 환산하면 어느 정도의 크기인가요? A: 일반적인 Q&A 쌍을 기준으로 예상해보면:평균 질문 길이: 50단어평균 답변 길이: 100단어총 800,000개 Q&A 쌍대략 1...

🔥 최신 RAG 모델 비교! 어떤 방식이 가장 효율적일까?📌 RAG(Retrieval-Augmented Generation) 모델은 대규모 언어 모델(LLM)과 검색 시스템을 결합하여 더 정확하고 효율적인 정보를 제공하는 기술입니다. LightRAG과 비교되는 대표적인 최신 RAG 기법들을 정리해봤습니다!1️⃣ Naive RAG (기본형 RAG) [Gao et al., 2023]✅ 기본 원리:텍스트를 작은 조각(Chunk)으로 나누고 벡터 데이터베이스에 저장사용자가 질문하면 유사도가 가장 높은 텍스트 조각을 검색하여 답변 생성⚠️ 한계점:질문이 모호할 경우 정확한 정보 검색이 어려움단순 벡터 기반 매칭이라 문맥을 깊이 이해하는 능력이 부족2️⃣ RQ-RAG (질문 세분화 RAG) [Chan et al..

PDF에서 정보를 추출하려면 고려해야할 사항, 그리고 관련된 툴들이 너무 다양합니다.  여기에 관련된 내용을 정리를 틈틈히 하려고 합니다.  최종 완성되면 완성되었다라고 표기를 하겠습니다. 그동안은 '작업 중' 글로 이해해 주세요. 목차: 1. PDF 텍스트 추출을 위한 라이브러리2. 인공지능 기반의 PDF, 이미지 처리 툴3. Base64 - 왜? 언제? 어떻게 ?  ✅ 문서 정보 추출 기법 개요현재 문서 정보 추출 기법은 크게 네 가지 주요 접근 방식으로 나눌 수 있다.✅ 1. OCR 기반 텍스트 추출✔ OCR (Optical Character Recognition) 모델을 사용하여 문서에서 직접 텍스트를 추출한다.✔ 텍스트 위주의 문서에서는 효과적이지만, 이미지, 표, 수식 등이 포함된 문서에서는 ..

오늘은 RAG-LLM과 관련된 문헌이 있어 공유하고자 합니다.  Developing Retrieval Augmented Generation (RAG) Based LLM Systems from PDFs: An Experience Reporthttps://arxiv.org/html/2410.15944v1#S4 Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience ReportBest Practice: Ask the Model to adopt a Persona  Provide specialized context-Rich instructions that guide the assistant on how to..

LLM 기반 Synthetic Data 연구https://arxiv.org/html/2406.15126v1 On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A SurveyOn LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey Lin Long1, Rui Wang1, Ruixuan Xiao1 Junbo Zhao1, Xiao Ding2, Gang Chen1, Haobo Wang1 1Zhejiang University, China  2Harbin Institute of Technology, China Correspondence: wanghaobarxiv.or..

BabyAGI  : 인공지능 기반 작업관리 시스템 GitHub - yoheinakajima/babyagiContribute to yoheinakajima/babyagi development by creating an account on GitHub.github.com A simple framework for managing tasks using AI  BabyAGI는 인공지능을 활용한 작업 관리 시스템입니다. 이 프레임워크는 OpenAI의 언어 모델과 Pinecone의 벡터 데이터베이스를 결합하여 자동으로 작업을 생성, 우선순위 지정, 실행하는 능력을 갖추고 있습니다[1][2].## 주요 특징**자율적 문제 해결**: BabyAGI는 복잡한 목표를 작은 하위 작업으로 분해하여 효율적으로 문제를 해결합니다..

웹브라우저기반 시각화를 위한 준비브라우저 기반의 시각화 라이브러리를 사용하기 위한 3가지 핵심 기술인 HTML, CSS, JavaScript에 대한 간단한 요약은 다음과 같습니다.1. HTML (HyperText Markup Language)정의: 웹 페이지의 구조와 내용을 정의하는 마크업 언어역할: 웹 페이지의 뼈대를 구성주요 특징:태그를 사용하여 문서 구조 정의 (, ,  등)하이퍼링크를 통해 다른 페이지로 연결 가능텍스트, 이미지, 비디오 등 다양한 콘텐츠 포함 가능2. CSS (Cascading Style Sheets)정의: 웹 페이지의 디자인과 레이아웃을 담당하는 스타일 시트 언어역할: HTML 요소들의 시각적 표현을 정의주요 특징:색상, 크기, 여백, 배치 등 스타일 지정반응형 디자인 구현 가..