프로페서 H의 메디톡

1차 원고 작성: 2024-08-24 오늘은 "Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model"이라는 논문에 대해 내용을 정리하고자 합니다. 이 연구는 대규모 언어 모델(LLM)을 활용하여 생물의학 분야의 질문에 더 정확하게 답변할 수 있는 방법을 탐구한 중요한 논문입니다. 출처: PLOS Digital Health (2024) 3(8): e0000568. https://doi.org/10.1371/journal.pdig.0000568 대규모 언어 모델(LLM)은 일반적인 인공지능 분야에서 큰 영향을 미치고 있지만, 특정 주제 영역에 대해 때때로 오해의 소지가 있는 결과를 생..

오늘은 "STORM: Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking"에 대해 내용을 정리하고자 합니다. 이 연구는 대규모 언어 모델(LLM)을 활용하여 인터넷 검색을 기반으로 위키피디아 스타일의 기사를 자동으로 작성하는 혁신적인 시스템을 소개합니다. 출처: https://github.com/stanford-oval/storm.git GitHub - stanford-oval/storm: An LLM-powered knowledge curation system that researches a topic and generates a full-length reporAn LLM-powered knowledge ..

최근 업무 효율을 극대화할 수 있는 유용한 ai tool들이 있어 기억하고자 정리하였습니다.  다음은 다양한 AI 도구의 특징을 요약한 것입니다. 이 도구들은 각각의 고유한 기능을 제공하여 다양한 분야에서 유용하게 활용될 수 있습니다.1. 헤이젠 (Heygen) 헤이젠은 AI를 활용한 비디오 생성 플랫폼으로, 다음과 같은 주요 기능을 제공합니다:  • 사용자 정의 가능한 AI 아바타: 100가지 이상의 현실적인 AI 아바타를 제공하며, 사용자는 자신의 목소리를 녹음하고 업로드하여 아바타를 더욱 개인화할 수 있습니다. • 텍스트-비디오 변환: 사용자가 작성한 텍스트를 전문적인 비디오로 변환하는 기능을 제공합니다. • 다양한 언어 지원: 40개 이상의 언어로 비디오를 생성할 수 있습니다. • 다양한 템플릿:..

왜 내가 업로드한 pdf 문서에서 원하는 답이 잘 추출되지 않을까? 정확하게 추출하려면 어떻게 해야할까? RAG-LLM (Retrieval-Augmented Generation for Language Models) 모델을 사용하여 데이터에서 원하는 답을 얻는 과정의 아키텍쳐에는 지식에 해당하는 문서를 사전에 vector database에 임베딩을 해두어야한다. 하지만 효율적인 retrieval을 위해서는 임베딩전 문서를 여러 조각 (chunk) 으로 나누는 텍스트 splitting을 시행하게된다. 정확한 지식기반 LLM을 위해서는 텍스트 splitting 전략 또한 매우 중요하다. 텍스트를 얼마만한 조각으로 나눌지 (chunk size), 조각끼리 얼마나 겹치게 할지 (chunk overlap), 문서의..

이번에는 좀더 기대되었던 'LocalGPT'에 대해 설치과정과 간단 사용경험을 공유하고자 합니다 지난번은 UI가 그래도 chatGPT처럼 친숙한 환경을 제공하였던 'Ollama' 라는 local LLM 구축경험을 공유였었죠 https://medtalk.tistory.com/entry/나만의-데이터로-GPT-활용-local-LLM-구축-도전기-2-Ollama-LLaMa 나만의 데이터로 GPT 활용-local LLM 구축 도전기 (2): Ollama-LLaMa지난 번 글에서는 LangChain기반 AI 모델 구축의 일반적인 내용을 담았고 이번에는 실제 구축한 LLM 모델에 대해 설명하고자 한다. 이로서 인터넷 서버를 통하지 않고 local computer인 내 노트북, 내 데medtalk.tistory.co..

마크다운, RAG-LLM 기반 인공지능 시대에 현대 문서 작성의 새로운 지평을 열 수 있을까? 문서 작성은 오늘날 정보의 전달과 공유에 있어 필수적인 부분이다. 그런데 기존의 파일 형식들, 예를 들어 PDF, .txt, .doc 등은 복잡한 형식과 스타일을 내포하거나 가독성, 변환의 어려움 등의 문제가 있다. 이러한 배경에서 마크다운 (Markdown) 형식이 주목받고 있다. 마크다운은 간결성과 유연성을 바탕으로 현대 문서 작성에 새로운 패러다임을 제시할 수 있을 것으로 생각한다.다음은 오로지 장점만 바라본 편향된 의견으로 작성되었으니 적절히 알아서 판단하면 좋겠다.탄생배경과 간단한 문법은 다음 링크를 참고https://ko.wikipedia.org/wiki/마크다운 마크다운 - 위키백과, 우리 모두의 ..

지난 번 글에서는 LangChain기반 AI 모델 구축의 일반적인 내용을 담았고 이번에는 실제 구축한 LLM 모델에 대해 설명하고자 한다. 이로서 인터넷 서버를 통하지 않고 local computer인 내 노트북, 내 데스크톱 PC에서 LLM을 구축하고 내가 쌓은 의학지식을 이용한 Retrieval Augmented Generation-기반 LLM 모델을 가지게 되는 것이다. https://medtalk.tistory.com/entry/나만의-데이터로-GPT를-활용하자-LangChain기반-맞춤형-AI-모델-구축-도전기-1-AI-시대의-맞춤형-데이터-활용 나만의 데이터로 GPT 활용: LangChain기반 AI 모델 구축 도전기 (1) 나만의 데이터로 GPT 활용: LangChain기반 AI 모델 구축 ..

(업데이트 되었습니다)2차 업데이트: 클로드에서 한번에 처리하는 토큰 용량관련 내용 추가3차 업데이트: 2024.11.9 chatgpt의 프롬프트 윈도우 내 한번에 응답하는 토근량과 수만토큰에 달하는 파일에 대한 효율적 토근관리 chatGPT 4.0에서 knowledge 기능으로 file을 업로드 할 수 있게 되어 있다. 아래와 같이 7개까지 올려보면서 궁금증이 생겼다. 1. 최대 몇 개의 파일을 업로드 할 수 있을까? 2. 파일당 크기는 얼마까지 가능할까? 3. 업로드된 파일에서 제대로 parsing을 할 수 있을까?   한참을 구글 검색을 하다 허망하게도 OpneAI 홈페이지 FAQ에 잘 기술되어 있어서 번역과 링크를 달아두고자 한다(번역은 챗지피티에게 ^^). https://help.openai.c..

혁신적인 기술의 발전은 우리의 일상과 업무 방식을 변화시키고 있습니다. 그 중심에는 인공지능(AI)이 자리 잡고 있으며, 특히 개인화된 AI 경험을 제공하는 'my GPT'가 주목받고 있습니다. 이번 블로그 글에서는 'my GPT'의 독특한 장점과 기능들을 탐색하고 어떻게 생성하는지 알아보고자 합니다. 'my GPT'의 장점 개인 맞춤형 대화 경험 'my GPT'는 사용자의 선호도, 필요, 관심사에 맞춰 조정됩니다. 이를 통해 표준화된 AI 대화에서 벗어나 개인에게 최적화된 상호작용을 경험할 수 있습니다. 다양한 활용 가능성 'my GPT'는 교육, 엔터테인먼트, 비즈니스, 헬스케어 등 다양한 분야에 적용될 수 있습니다. 사용자의 목적에 맞게 AI를 구성하여 특화된 정보와 지원을 받을 수 있습니다. 지속..

안녕하세요, 여러분! 오늘은 지난글 (아래 링크)에 이어 ChatGPT Action을 이용해 PubMed 검색을 어떻게 혁신할 수 있는지에 대해 이야기해보려 합니다. chatGPT를 이용한 PubMed 데이터 검색에 관심이 있는 분이라면 이 글이 정말 흥미로울 거예요! https://medtalk.tistory.com/entry/당신만의-AI-친구-만들기-ChatGPT를-활용한-my-GPT-생성-가이드 당신만의 AI 친구 만들기: ChatGPT를 활용한 'my GPT' 생성 가이드 혁신적인 기술의 발전은 우리의 일상과 업무 방식을 변화시키고 있습니다. 그 중심에는 인공지능(AI)이 자리 잡고 있으며, 특히 개인화된 AI 경험을 제공하는 'my GPT'가 주목받고 있습니다. 이번 medtalk.tistor..