프로페서 H의 메디톡

안녕하세요, 인공지능의 성능이 급속히 향상되면서 연구 설계부터 논문 리뷰까지 전 영역에 활용되고 있습니다. 이에 따라 저널마다 인공지능의 활용범위나 정책을 발표하고 있어 요약을 해보려고 합니다.  다음은 네이처의 정책요약입니다.  https://www.nature.com/nature-portfolio/editorial-policies/ai  Springer Nature의 AI 정책 요약Springer Nature는 인공지능(AI)의 발전과 관련된 정책을 지속적으로 검토 및 업데이트하고 있으며, 현재 다음과 같은 가이드라인을 제공한다.1. AI 저작권 및 LLM 사용AI 저작권 제한: 현재 Large Language Models (LLMs, 예: ChatGPT)는 저자 자격을 충족하지 못한다.저작권 및 책..

안녕하세요,  이번 시리즈의 글들은 LLM의 동작들에 대해 궁금한 점들을 LLM들과 문답으로 풀어가는 과정을 기록하고자 합니다. 비록 완전히 정확하지는 않겠지만 일반인들이 이해하는 수준에서는 도움이 되지 않을까 생각합니다. 되도록 hallucination이 발생하지 않도록 주의를 기울여 작성해보겠습니다.  transformer가 무엇인지 궁금해서 알아보던 과정에 아래와 같은 궁금한 점이 생겼습니다. 최신 초대형 언어 모델인 Claude 3.5 Sonnet은 어떻게 200,000 토큰이라는 방대한 컨텍스트 윈도우를 효율적으로 처리할 수 있을까? 특히 기존 Transformer 아키텍처의 제한사항을 어떻게 극복하였나? 또한 추가적으로 이어서 생기는 저의 궁금함들은 다음과 같습니다.  계산 효율성"200K ×..

Attention 알고리즘을 단계별로 쉽게 개념적으로 알아보겠습니다:기본 개념Attention은 입력 시퀀스의 각 요소들 간의 관련성을 계산하는 메커니즘입니다"모든 입력을 고려하되, 중요한 것에 더 주목한다"는 개념입니다주요 구성 요소Query (Q): 현재 처리 중인 위치의 벡터Key (K): 다른 위치들의 벡터Value (V): 실제 정보를 담고 있는 벡터작동 과정 a. 각 입력 단어를 벡터로 변환 b. Query와 Key 사이의 유사도 점수 계산 c. Softmax 함수로 점수를 확률로 변환 d. 확률을 Value에 곱하여 가중치 적용 e. 가중치가 적용된 Value들을 합산수식으로 표현 Attention(Q, K, V) = softmax(QK^T/√d_k)Vd_k: 스케일링 팩터(Key의 차원)√..

1차 원고 작성: 2024.11.22참고문헌: https://onlinelibrary.wiley.com/doi/10.1111/bjh.19738 Exploring the role of Large Language Models in haematology: A focused review of applications, benefits and limitations. 대규모 언어 모델(LLMs)의 이점과 한계: 혈액학 분야에서의 활용일관성대규모 언어 모델의 일관성에 대한 평가는 연구마다 상이합니다.Kurstjens et al.은 ChatGPT가 동일한 답변을 80%의 확률로 선택해 일관성이 부족한 모델로 평가되었으나, GPT-4는 98.3%의 확률로 동일한 답변을 선택해 매우 일관성이 높은 모델로 평가되었습니다(27..

1차 원고 작성: 2024-10-17 오늘은 "Evaluation and mitigation of the limitations of large language models in clinical decision-making"이라는 논문에 대해 내용을 정리하고자 합니다. 이 연구는 대규모 언어 모델(LLM)을 임상 의사 결정에 활용할 때의 한계점을 평가하고 개선 방안을 모색한 중요한 논문입니다. 출처: Nature Medicine (2024) 30: 2613–2622. https://doi.org/10.1038/s41591-024-02780-7 대규모 언어 모델(LLM)은 의료 면허 시험에서 우수한 성과를 보이며 임상 의사 결정 분야에서 큰 잠재력을 보여주고 있습니다. 그러나 실제 임상 환경에서 필요한 많은..

1차 원고 작성: 2024-10-17 오늘은 "Health system-scale language models are all-purpose prediction engines"라는 논문에 대해 내용을 정리하고자 합니다. 이 연구는 대규모 언어 모델(LLM)을 활용하여 의료 시스템 전반에 걸친 예측 엔진으로서의 잠재력을 탐구한 중요한 논문입니다. 출처: Nature (2023) 619, 357–362. https://doi.org/10.1038/s41586-023-06160-y  의사들은 매일 시간에 쫓기는 중요한 결정을 내려야 합니다. 임상 예측 모델은 의사와 관리자들이 임상 및 운영 이벤트를 예측하여 결정을 내리는 데 도움을 줄 수 있습니다. 그러나 기존의 구조화된 데이터 기반 임상 예측 모델은 데이터 ..

1차 원고 작성: 2024-09-22 오늘은 "Personalized dose selection for the first Waldenström macroglobulinemia patient on the PRECISE CURATE.AI trial"이라는 논문을 정리하고자 합니다. 이 연구는 희귀질환인 발덴스트롬 대구단백혈증(WM) 환자에게 인공지능(AI) 기반 임상 의사결정 지원 시스템을 적용한 사례 연구입니다. 출처: npj Digital Medicine (2024). https://doi.org/10.1038/s41746-024-01373-9  이 연구는 CURATE.AI라는 AI 기반 플랫폼을 사용하여 WM 환자의 개인화된 약물 투여 용량을 결정하는 과정을 보여줍니다. 특히 희귀질환에서 제한된 데이터..

AI 아이디어 도구: Napkin.ai 소개Napkin.ai는 창의적인 아이디어를 효율적으로 발전시키고, 정리하고, 시각화할 수 있도록 도와주는 AI 기반 아이디어 관리 도구입니다. 이 플랫폼은 간단한 메모부터 복잡한 개념까지 모든 것을 기록하고, 이를 AI의 도움으로 체계적으로 관리할 수 있도록 설계되었습니다. 특히, 아이디어의 흐름을 시각적으로 정리하고 확장할 수 있는 기능을 제공하여 브레인스토밍을 할 때 유용합니다. https://www.napkin.ai/ Napkin AI - The visual AI for business storytellingJust type, copy-paste or generate your text and Napkin will instantly transform it int..

최근 업무 효율을 극대화할 수 있는 유용한 ai tool들이 있어 기억하고자 정리하였습니다.  다음은 다양한 AI 도구의 특징을 요약한 것입니다. 이 도구들은 각각의 고유한 기능을 제공하여 다양한 분야에서 유용하게 활용될 수 있습니다.1. 헤이젠 (Heygen) 헤이젠은 AI를 활용한 비디오 생성 플랫폼으로, 다음과 같은 주요 기능을 제공합니다:  • 사용자 정의 가능한 AI 아바타: 100가지 이상의 현실적인 AI 아바타를 제공하며, 사용자는 자신의 목소리를 녹음하고 업로드하여 아바타를 더욱 개인화할 수 있습니다. • 텍스트-비디오 변환: 사용자가 작성한 텍스트를 전문적인 비디오로 변환하는 기능을 제공합니다. • 다양한 언어 지원: 40개 이상의 언어로 비디오를 생성할 수 있습니다. • 다양한 템플릿:..

왜 내가 업로드한 pdf 문서에서 원하는 답이 잘 추출되지 않을까? 정확하게 추출하려면 어떻게 해야할까? RAG-LLM (Retrieval-Augmented Generation for Language Models) 모델을 사용하여 데이터에서 원하는 답을 얻는 과정의 아키텍쳐에는 지식에 해당하는 문서를 사전에 vector database에 임베딩을 해두어야한다. 하지만 효율적인 retrieval을 위해서는 임베딩전 문서를 여러 조각 (chunk) 으로 나누는 텍스트 splitting을 시행하게된다. 정확한 지식기반 LLM을 위해서는 텍스트 splitting 전략 또한 매우 중요하다. 텍스트를 얼마만한 조각으로 나눌지 (chunk size), 조각끼리 얼마나 겹치게 할지 (chunk overlap), 문서의..