llm 22

마크다운의 장점: RAG-LLM에서 텍스트 추출과 임베딩의 용이성

마크다운, RAG-LLM 기반 인공지능 시대에 현대 문서 작성의 새로운 지평을 열 수 있을까? 문서 작성은 오늘날 정보의 전달과 공유에 있어 필수적인 부분이다. 그런데 기존의 파일 형식들, 예를 들어 PDF, .txt, .doc 등은 복잡한 형식과 스타일을 내포하거나 가독성, 변환의 어려움 등의 문제가 있다. 이러한 배경에서 마크다운 (Markdown) 형식이 주목받고 있다. 마크다운은 간결성과 유연성을 바탕으로 현대 문서 작성에 새로운 패러다임을 제시할 수 있을 것으로 생각한다.다음은 오로지 장점만 바라본 편향된 의견으로 작성되었으니 적절히 알아서 판단하면 좋겠다.탄생배경과 간단한 문법은 다음 링크를 참고https://ko.wikipedia.org/wiki/마크다운 마크다운 - 위키백과, 우리 모두의 ..

나만의 데이터로 GPT 활용: LangChain기반 AI 모델 구축 도전기 (1)

나만의 데이터로 GPT 활용: LangChain기반 AI 모델 구축 도전기 (1) 1. 나의 컴퓨터가 말을 하기 시작하다! 만약 우리의 노트북, 컴퓨터가 단순한 학습 도구를 넘어서서 지식 파트너가 된다면 어떨까? 매일 지식를 정리하고, 리포트를 작성하고, 취미와 관심사, 전문학술지식을 탐색하는 동안 수집된 여러분의 데이터가 살아 움직이는 듯한 느낌을 준다고 상상해보자. 마치 아이언맨의 자비스가 나에게도 생긴 것처럼. 어떻게 그렇게 할 수 있을까? chatGPT가 좀더 내가 가진 전문지식이나 내 컴퓨터 어딘가에 저장되어 있는 고급 문서 정보들을 학습해서 알려줄 수 없을까? 이런 생각들이 자연히 가질 수 밖에 없다. 바로 LangChain과 GPT의 결합이 이를 가능하게 해줄 수 있다. 이 기술은 우리의 개..