ChatGPT 4.0 Knowledge 기능: 파일 업로드의 이해와 한계

(업데이트 되었습니다)

2차 업데이트: 클로드에서 한번에 처리하는 토큰 용량관련 내용 추가

3차 업데이트: 2024.11.9 chatgpt의 프롬프트 윈도우 내 한번에 응답하는 토근량과 수만토큰에 달하는 파일에 대한 효율적 토근관리

 

chatGPT 4.0에서 knowledge 기능으로 file을 업로드 할 수 있게 되어 있다. 아래와 같이 7개까지 올려보면서 궁금증이 생겼다. 

1. 최대 몇 개의 파일을 업로드 할 수 있을까? 

2. 파일당 크기는 얼마까지 가능할까? 

3. 업로드된 파일에서 제대로 parsing을 할 수 있을까? 

 

 

한참을 구글 검색을 하다 허망하게도 OpneAI 홈페이지 FAQ에 잘 기술되어 있어서 번역과 링크를 달아두고자 한다(번역은 챗지피티에게 ^^).

https://help.openai.com/en/articles/8555545-file-uploads-faq

 

All Collections> ChatGPT > File uploads FAQ

 

 

한 번에 GPT에 업로드할 수 있는 파일 수는 몇 개인가요?

• 한 GPT의 수명 동안 최대 20개의 파일을 업로드할 수 있습니다. 파일 크기 제한과 사용자 또는 조직별 사용 제한이 있다는 점을 명심하세요.

 

파일 업로드 크기 제한은 어떻게 되나요?

• GPT나 ChatGPT 대화에 업로드된 모든 파일은 파일 당 512MB의 제한이 있습니다.
• GPT나 ChatGPT 대화에 업로드된 모든 텍스트 및 문서 파일은 파일 당 2M 토큰으로 제한됩니다.
• 이 제한은 스프레드시트에는 적용되지 않습니다.
• 이미지의 경우, 이미지 당 20MB의 제한이 있습니다. 또한 사용 제한이 있습니다: 각 최종 사용자는 10GB로 제한됩니다.
• 각 조직은 100GB로 제한됩니다. 참고: 사용자 또는 조직의 제한에 도달하면 오류가 표시됩니다.

 

업로드한 파일을 어떻게 삭제하나요?

• 고급 데이터 분석에 업로드된 파일은 3시간 내에 삭제됩니다. 파일 사용량 제한에 도달한 경우, 최근 대화에서 파일을 삭제하거나 구축한 GPT에서 파일을 삭제할 수도 있습니다. 이들은 제한을 공유합니다.

 

(2024.10.09 업데이트)

최근 클로드를 개발한 Anthropic에서 contextual retrieval에 대한 내용을 소개하면서 하나의 prompt window에 입력해서 대화할 수 있는 용량에 대한 힌트를 기술하였습니다. 

원문은 다음과 같습니다: 

A note on simply using a longer prompt

Sometimes the simplest solution is the best. If your knowledge base is smaller than 200,000 tokens (about 500 pages of material), you can just include the entire knowledge base in the prompt that you give the model, with no need for RAG or similar methods.

A few weeks ago, we released prompt caching for Claude, which makes this approach significantly faster and more cost-effective. Developers can now cache frequently used prompts between API calls, reducing latency by > 2x and costs by up to 90% (you can see how it works by reading our prompt caching cookbook).

However, as your knowledge base grows, you'll need a more scalable solution. That’s where Contextual Retrieval comes in.

즉, 20만 토큰 (500페이지 분량)까지의 내용은 굳이 RAG 등의 기법을 사용하지 않고도 긴 prompt를 처리할 수 있다고 합니다. 

원문 링크는 다음을 참고하세요.

https://www.anthropic.com/news/contextual-retrieval

Introducing Contextual Retrieval

 

너무나 빨리 성능이 좋아지는 LLM들을 보면서 매번 놀라움을 금할 수 없네요.

 

2024.11.9 업데이트

chatGPT에서 한번에 처리하는 토근 용량이 궁금하여 챗지피티에 질문을 해보았습니다. 

인터넷에서 제공되는 ChatGPT 모델의 경우, 현재 OpenAI는 몇 가지 다른 버전의 GPT-4 및 GPT-3.5 모델을 서비스하고 있으며, 각 모델의 토큰 제한은 다음과 같습니다:

1. ChatGPT-4 (with Canvas):
   • GPT-4 (8K context version): 최대 8,192 토큰
   • 이 버전은 텍스트 작성을 도와주는 "캔버스" 기능을 추가로 제공하며, 주로 콘텐츠 제작, 문서 작성, 코드 편집 등에 활용됩니다.
2. ChatGPT-4:
   • GPT-4 (8K context version): 최대 8,192 토큰
   • GPT-4 (32K context version): 최대 32,768 토큰
   • 사용자의 요청에 따라 자동으로 적절한 버전이 선택되며, 대용량 입력 및 분석이 필요한 경우 32K 버전이 사용될 수 있습니다.

ChatGPT-3.5 (GPT-3.5 Turbo):

• GPT-3.5: 최대 4,097 토큰
• 이 모델은 더 빠르고 비용 효율적인 응답을 제공하기 위해 개발된 버전입니다. 보통 채팅 경험을 빠르게 제공하는데 적합하며, 주로 기본적인 대화 및 질문 응답을 처리합니다.

이 토큰 제한은 프롬프트와 응답의 합계로 계산됩니다. 예를 들어, GPT-4 (8K) 버전의 경우, 사용자가 제공하는 입력과 모델이 제공하는 출력의 총 합이 8,192 토큰을 넘을 수 없습니다.

현재 ChatGPT는 주로 GPT-4와 GPT-3.5 두 가지 모델 중 하나를 사용하여 서비스를 제공하며, 사용자가 요청하는 작업의 복잡성과 필요에 따라 적절한 모델을 자동으로 선택합니다.

 

프롬프트 윈도우에 파일 내용을 읽기 위해 함께 제공하는 경우에는 어떻게 처리할까?  

파일 업로드와 관련된 토큰 사용에 대해 설명드리겠습니다.

파일 업로드의 경우, 사용자가 업로드한 파일을 처리할 때 모든 내용을 한 번에 모델로 전달하는 방식이 아닙니다. 대신, 다음과 같은 접근 방식을 사용하여 토큰 제한을 관리하고 최적화합니다:

1. 파일 분할 및 점진적 처리:
   • 파일의 모든 텍스트를 한 번에 모델로 입력하지 않고, 파일을 적절한 크기로 나누어 부분적으로 처리합니다. 이렇게 나누어진 각 섹션이 토큰 제한 내에 들어갈 수 있도록 조정됩니다.
   • 예를 들어, 논문 파일이 8천 토큰을 넘는 경우, 이를 여러 부분으로 나누고 각 부분을 8,192 토큰 이하로 만들어 처리합니다. 따라서 각 요청이 모델의 토큰 제한을 초과하지 않도록 분할된 데이터만 전송됩니다.
2. 중요도에 따른 정보 요약:
   • 파일에서 핵심 정보나 중요한 내용을 추출한 후, 이를 요약하거나 필터링하여 처리합니다.
   • 사용자가 특정한 질문을 할 때, 파일의 전체 내용을 사용하지 않고 질문에 맞는 특정 섹션만을 모델에 전달하여 응답을 생성합니다.
3. 대화 상태 유지:
   • 이전에 처리한 정보나 요약된 내용을 대화의 맥락에 저장하여, 필요할 때 다시 사용할 수 있도록 설계되어 있습니다.
   • 예를 들어, 사용자가 논문 전체 내용에 대해 질문을 반복할 경우, 모델은 이미 추출된 요약 또는 중요한 부분을 사용하여 효율적으로 응답할 수 있습니다.
4. 서버 측 처리:
   • 일부 시스템에서는 서버 측에서 파일을 처리하고, 사용자가 원하는 정보를 미리 필터링한 후 결과를 모델로 보내는 경우도 있습니다. 이를 통해 모델에 불필요한 토큰 사용을 줄이고, 필요한 정보만 효율적으로 전달할 수 있습니다.

이와 같은 방식으로, 토큰 제한을 넘지 않으면서도 사용자가 업로드한 파일에 대한 충분한 정보를 제공할 수 있게 설계되어 있습니다. 결국, 파일의 전체 내용을 단순히 입력하는 것이 아니라, 문맥과 질문의 목적에 맞게 필요한 부분만을 효율적으로 사용하여 토큰 제한 문제를 해결하고 있는 것입니다.

따라서, 사용자가 업로드한 파일이 수만 개의 토큰에 해당하는 분량이라도, 모델은 이를 지능적으로 관리하여 필요한 정보만을 사용하여 질문에 응답합니다.