๋ณธ๋ฌธ

[์‹ค์Šต] ๋žญ์ฒด์ธ(LangChain) Retrieval-Augmented Generation (RAG) ์˜ˆ์ œ

๋ฐ˜์‘ํ˜•

โœ…  ์‹ค์Šต ์ค€๋น„๋ฌผ: apikey

https://server-engineer.tistory.com/983

 

[์‹ค์Šต] OpenAI apikey ๋ฐœ๊ธ‰ ๋ฐ ์‚ฌ์šฉํ•˜๊ธฐ

1. ํšŒ์›๊ฐ€์ž…ํ•˜๊ธฐ ๋จผ์ € OpenAI ํ”Œ๋žซํผ์— ์ ‘์†ํ•ฉ๋‹ˆ๋‹ค. (๋ฐ”๋กœ๊ฐ€๊ธฐ) ํ™ˆํŽ˜์ด์ง€์—์„œ ํšŒ์›๊ฐ€์ž… ์ ˆ์ฐจ๋ฅผ ์™„๋ฃŒํ•ด์ฃผ์„ธ์š”. 2. API ํ‚ค ๋ฐœ๊ธ‰ ๋ฐ›๊ธฐ ๋กœ๊ทธ์ธ ํ›„, ์˜ค๋ฅธ์ชฝ ์ƒ๋‹จ์— ์žˆ๋Š” 'View API Keys'๋ฅผ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค. ์ง์ ‘ ๋ง

server-engineer.tistory.com


https://www.researchgate.net/figure/Retrieval-augmented-generation_fig1_376182986

 

โœ…  ์‹ค์Šต ์ž๋ฃŒ

https://colab.research.google.com/github/i-am-shuan/learn-langchain/blob/main/langchain_RAG_example.ipynb#scrollTo=pJ6i2qcdZ0Ow

 

langchain_RAG_example.ipynb

Run, share, and edit Python notebooks

colab.research.google.com

 

 

โœ…  ์„œ๋น„์Šค ์„ค๋ช…

์ด ์†Œ์Šค๋Š” ์‚ฌ์šฉ์ž ์งˆ๋ฌธ์— ๋‹ต๋ณ€ํ•˜๋Š” ์„œ๋น„์Šค๋ฅผ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ์ด ์„œ๋น„์Šค๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‹จ๊ณ„๋ฅผ ๊ฑฐ์นฉ๋‹ˆ๋‹ค.

  1. ์‚ฌ์šฉ์ž๊ฐ€ ์งˆ๋ฌธ์„ ํ•ฉ๋‹ˆ๋‹ค.
  2. ์งˆ๋ฌธ์€ ๋ฐ์ดํ„ฐ ๋ฐฑํ„ฐํ™” ๋ชจ๋ธ์— ์˜ํ•ด ๋ฐฑํ„ฐ๋กœ ๋ณ€ํ™˜๋ฉ๋‹ˆ๋‹ค.
  3. ๋ฐฑํ„ฐ๋Š” ๋ฐฑํ„ฐ์Šคํ† ์–ด์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค.
  4. ์œ ์‚ฌํ•œ ๋‹ต๋ณ€์ด ๋ฐฑํ„ฐ์Šคํ† ์–ด์—์„œ ๊ฒ€์ƒ‰๋ฉ๋‹ˆ๋‹ค.
  5. LLM(Large Language Model)์ด ์‚ฌ์šฉ๋˜์–ด ๊ฒ€์ƒ‰๋œ ๋‹ต๋ณ€์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์ƒˆ๋กœ์šด ๋‹ต๋ณ€์ด ์ƒ์„ฑ๋ฉ๋‹ˆ๋‹ค.
  6. ์ƒ์„ฑ๋œ ๋‹ต๋ณ€์ด ์‚ฌ์šฉ์ž์—๊ฒŒ ์ „๋‹ฌ๋ฉ๋‹ˆ๋‹ค.

์„œ๋น„์Šค ํ™œ์šฉ ๋ฐฉ์•ˆ

์ด ์„œ๋น„์Šค๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์šฉ๋„๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๊ณ ๊ฐ ์„œ๋น„์Šค: ๊ณ ๊ฐ์ด ์ œํ’ˆ์ด๋‚˜ ์„œ๋น„์Šค์— ๋Œ€ํ•œ ์งˆ๋ฌธ์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋งˆ์ผ€ํŒ…: ์ž ์žฌ ๊ณ ๊ฐ์ด ์ œํ’ˆ์ด๋‚˜ ์„œ๋น„์Šค์— ๋Œ€ํ•œ ์งˆ๋ฌธ์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๊ต์œก: ํ•™์ƒ์ด ๊ณผ์ œ๋‚˜ ์‹œํ—˜์— ๋Œ€ํ•œ ์งˆ๋ฌธ์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์†Œ์Šค์—์„œ ์‚ฌ์šฉ๋œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

  • openai: OpenAI API๋ฅผ ์‚ฌ์šฉํ•˜๊ธฐ ์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค.
  • numpy: ๊ณผํ•™์  ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค.
  • langchain: ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ์ž‘์—…์„ ์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค.
  • vectorstore: ๋ฒกํ„ฐ๋ฅผ ์ €์žฅํ•˜๊ณ  ๊ฒ€์ƒ‰ํ•˜๊ธฐ ์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค.
๋ฐ˜์‘ํ˜•

๊ณต์œ 

๋Œ“๊ธ€