[실습] 랭체인(LangChain) Document transformers(Chunking) 예제

✅  실습 준비물: apikey

https://server-engineer.tistory.com/983

[실습] OpenAI apikey 발급 및 사용하기

---

https://medium.com/@glorat/context-aware-chunking-for-enhanced-retrieval-augmented-generation-oct23-9dcd435d9cf1

---

✅  용어설명

• Chunk
  • 데이터나 텍스트를 작은, 관리하기 쉬운 부분으로 나눈 하나의 덩어리
• Chunking
  • 분할 작업(Chunk)을 수행하는 과정으로, 데이터를 의미 있는 단위로 나누어 처리하는 기술.
  • NLP(자연어 처리)에서 chunking은 문장을 명사구, 동사구 같은 의미 있는 조각으로 분리해 정보 추출이나 문서 분석을 용이하게 한다.

---

✅  실습 자료

https://colab.research.google.com/github/i-am-shuan/learn-langchain/blob/main/langchain_document_transformers_example.ipynb

langchain_document_transformers_example.ipynb

 

✅  서비스 설명

LangChain은 사용자가 다양한 작업을 수행할 수 있도록 도와주는 오픈소스 도구 모음입니다.

LangChain은 사용자가 프롬프트를 작성하고 관련된 답변을 얻을 수 있는 대화형 프레임워크인 OpenAI의 GPT-3를 기반으로 합니다.

 

서비스 활용 방안: LangChain은 다음과 같은 다양한 작업에 사용할 수 있습니다.

• 질문에 답하기
• 요약 생성하기
• 번역하기
• 코드 생성하기
• 데이터 분석하기

사용자 질문에서 응답까지의 과정:

1. 사용자가 LangChain에 질문을 합니다.
2. LangChain은 사용자의 질문을 벡터화하여 벡터스토어에 저장합니다.
3. 벡터스토어는 사용자의 질문과 유사한 질문을 찾습니다.
4. LangChain은 유사한 질문에 대한 답변을 벡터스토어에서 가져옵니다.
5. LangChain은 GPT-3를 사용하여 사용자의 질문에 대한 답변을 생성합니다.
6. LangChain은 사용자에게 답변을 전달합니다.

사용된 라이브러리:

• OpenAI: GPT-3 API에 대한 액세스를 제공합니다.
• NumPy: 벡터화 및 기타 수학적 연산을 수행합니다.
• LangChain: 대화형 프레임워크를 제공합니다.
• VectorStore: 벡터를 저장하고 검색합니다.