본문
[실습] 랭체인(LangChain) Document transformers(Chunking) 예제
AI&ML 기초/실습 2024. 3. 15. 11:06
✅ 실습 준비물: apikey
https://server-engineer.tistory.com/983
[실습] OpenAI apikey 발급 및 사용하기
1. 회원가입하기 먼저 OpenAI 플랫폼에 접속합니다. (바로가기) 홈페이지에서 회원가입 절차를 완료해주세요. 2. API 키 발급 받기 로그인 후, 오른쪽 상단에 있는 'View API Keys'를 클릭합니다. 직접 링
server-engineer.tistory.com
✅ 용어설명
- Chunk
- 데이터나 텍스트를 작은, 관리하기 쉬운 부분으로 나눈 하나의 덩어리
- Chunking
- 분할 작업(Chunk)을 수행하는 과정으로, 데이터를 의미 있는 단위로 나누어 처리하는 기술.
- NLP(자연어 처리)에서 chunking은 문장을 명사구, 동사구 같은 의미 있는 조각으로 분리해 정보 추출이나 문서 분석을 용이하게 한다.
✅ 실습 자료
langchain_document_transformers_example.ipynb
Run, share, and edit Python notebooks
colab.research.google.com
✅ 서비스 설명
LangChain은 사용자가 다양한 작업을 수행할 수 있도록 도와주는 오픈소스 도구 모음입니다.
LangChain은 사용자가 프롬프트를 작성하고 관련된 답변을 얻을 수 있는 대화형 프레임워크인 OpenAI의 GPT-3를 기반으로 합니다.
서비스 활용 방안: LangChain은 다음과 같은 다양한 작업에 사용할 수 있습니다.
- 질문에 답하기
- 요약 생성하기
- 번역하기
- 코드 생성하기
- 데이터 분석하기
사용자 질문에서 응답까지의 과정:
- 사용자가 LangChain에 질문을 합니다.
- LangChain은 사용자의 질문을 벡터화하여 벡터스토어에 저장합니다.
- 벡터스토어는 사용자의 질문과 유사한 질문을 찾습니다.
- LangChain은 유사한 질문에 대한 답변을 벡터스토어에서 가져옵니다.
- LangChain은 GPT-3를 사용하여 사용자의 질문에 대한 답변을 생성합니다.
- LangChain은 사용자에게 답변을 전달합니다.
사용된 라이브러리:
- OpenAI: GPT-3 API에 대한 액세스를 제공합니다.
- NumPy: 벡터화 및 기타 수학적 연산을 수행합니다.
- LangChain: 대화형 프레임워크를 제공합니다.
- VectorStore: 벡터를 저장하고 검색합니다.
댓글