๋ณธ๋ฌธ
[AI ์ ๋ฌธ] ๊ธฐ์ด๋ถํฐ ์์ํ๋ ์ธ๊ณต์ง๋ฅ ์ฌ์
[AI ์ ๋ฌธ] ๊ธฐ์ด๋ถํฐ ์์ํ๋ ์ธ๊ณต์ง๋ฅ ์ฌ์ ์ AI์ ๊ธฐ๋ณธ ๊ฐ๋ ๋ถํฐ ์ฌํ ํ์ต ๋ฐฉ๋ฒ, ๊ทธ๋ฆฌ๊ณ ๊ฐ๋ฐ ๋๊ตฌ๊น์ง ํญ๋๊ฒ ๋ค๋ฃน๋๋ค.
์๋๋ ๊ฐ ์นดํ ๊ณ ๋ฆฌ๋ณ ์ฃผ์ ๋ด์ฉ์ ๋๋ค:
1. AI ๋ฐ ์ธ์ด ๋ชจ๋ธ์ ๊ธฐ๋ณธ ์ดํด:
- ์์ฐ์ด ์ฒ๋ฆฌ(NLP): ์ปดํจํฐ๊ฐ ์ฌ๋์ ์ธ์ด๋ฅผ ์ดํดํ๋ ์๋ฆฌ์ ๋ฐฉ๋ฒ์ ์๊ฐํฉ๋๋ค. ์ผ์ ๋ํ๋ถํฐ ๋ณต์กํ ๋ฌธ์๊น์ง, ์ธ์ด์ ๋ค์ํ ํํ๋ฅผ ์ปดํจํฐ๊ฐ ์ด๋ป๊ฒ ์ฒ๋ฆฌํ๋์ง ํ๊ตฌํฉ๋๋ค.
- LLM (Large Language Model): ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ธ GPT, Cohere, LLaMA ๋ฑ์ ๊ฐ๋ ๊ณผ ์๋ ์๋ฆฌ๋ฅผ ์ค๋ช ํฉ๋๋ค. ์ด๋ค์ด ์ด๋ป๊ฒ ๋๋์ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ์ฌ ์์ฐ์ค๋ฌ์ด ๋ํ, ๊ธ์ฐ๊ธฐ, ์ง๋ฌธ ์๋ต ๋ฑ์ ๊ฐ๋ฅํ๊ฒ ํ๋์ง ์์๋ด ๋๋ค.
2. AI ํ์ต ๋ฐฉ๋ฒ๊ณผ ๊ธฐ์ ์ ์ฌํ:
- ๋ชจ๋ธ ๊ฐ์ ๋ฐฉ๋ฒ: AI ๋ชจ๋ธ์ ๋ ํจ๊ณผ์ ์ผ๋ก ๋ง๋๋ ๋ค์ํ ๋ฐฉ๋ฒ๋ก ์ ๋ค๋ฃน๋๋ค. ๋ฏธ์ธ์กฐ์ (Fine-Tuning)๊ณผ ๊ฒ์ ๊ธฐ๋ฐ ์์ฑ(RAG) ๊ฐ์ ๊ธฐ์ ์ ํตํด, ๋ชจ๋ธ์ด ๋ ๋ง์ ์ ๋ณด๋ฅผ ํ์ตํ๊ณ ๋ ์ ํํ ๊ฒฐ๊ณผ๋ฅผ ๋์ถํ๋ ๋ฐฉ๋ฒ์ ๋ฐฐ์๋๋ค.
- ํ์ธํ๋๊ณผ ์ง๋ ํ์ต: ํน์ ์์ ์ด๋ ์ฃผ์ ์ AI ๋ชจ๋ธ์ ์ด๋ป๊ฒ ๋ ์ ๋ง์ถ๋๋ก ํ์ต์ํฌ ์ ์๋์ง์ ๋ํ ๊ณผ์ ์ ์๊ฐํฉ๋๋ค. ์ด๋ ๋ชจ๋ธ์ ๋ฒ์ฉ์ฑ์ ๋์ด ํน์ํ ๋ชฉ์ ์ ๋ง๊ฒ ์ต์ ํํ๋ ๋ฐฉ๋ฒ์ ๋ํ ์ดํด๋ฅผ ๋์ต๋๋ค.
3. AI ๊ฐ๋ฐ์ ์ฌ์ฉ๋๋ ๋๊ตฌ์ ํ๋ ์์ํฌ:
- ๊ธฐ์ ๋๊ตฌ: ํ ์คํธ๋ ๋ฐ์ดํฐ๋ฅผ AI ๋ชจ๋ธ์ด ์ดํดํ ์ ์๋ ํํ๋ก ๋ณํํ๋ ์๋ฒ ๋ฉ ๊ธฐ์ , ๊ทธ๋ฆฌ๊ณ ์ด๋ฌํ ๋ฐ์ดํฐ๋ฅผ ํจ์จ์ ์ผ๋ก ์ ์ฅํ๊ณ ๊ฒ์ํ ์ ์๋ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์์คํ ์ ๋ํด ์ค๋ช ํฉ๋๋ค.
- ํ๋ ์์ํฌ ๋ฐ ํ๋ซํผ: PyTorch, TensorFlow์ ๊ฐ์ AI ๊ฐ๋ฐ ํ๋ ์์ํฌ์ Hugging Face, LangChain๊ณผ ๊ฐ์ ํ๋ซํผ์ ํตํด, AI ๋ชจ๋ธ์ ์ด๋ป๊ฒ ๋ ์ฝ๊ฒ ๊ตฌ์ถํ๊ณ , ํ์ตํ๋ฉฐ, ํ๊ฐํ ์ ์๋์ง์ ๋ํ ์ง์์ ์ ๊ณตํฉ๋๋ค.
1. AI ๋ฐ ์ธ์ด ๋ชจ๋ธ์ ๊ธฐ๋ณธ ์ดํด:
- ์์ฐ์ด ์ฒ๋ฆฌ(NLP; Natural Language Processing)
- ์ปดํจํฐ๊ฐ ์ธ๊ฐ์ ์ธ์ด๋ฅผ ์ดํดํ๊ณ ์ฒ๋ฆฌํ๋ ๊ธฐ์
- LLM(Large Language Model)
- ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์์ ํ์ต๋ ์ธ๊ณต์ง๋ฅ ์ธ์ด ๋ชจ๋ธ์
๋๋ค.
- ์ด ๋ชจ๋ธ๋ค์ ํ
์คํธ๋ฅผ ์ดํดํ๊ณ ์์ฑํ ์ ์๋ ๋ฅ๋ ฅ์ ๊ฐ์ถ๊ณ ์์ด, ์ง๋ฌธ์ ๋ต๋ณํ๊ฑฐ๋, ๊ธ์ ์ฐ๋ ๋ฑ ๋ค์ํ ์ธ์ด ๊ธฐ๋ฐ ์์
์ ์ํํ ์ ์์ต๋๋ค.
- (24๋ 3์ ๊ธฐ์ค) LLM Model TOP5
- 1. GPT (OpenAI): ๋ค์ํ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฌ์ฉ๋๋ ๊ฐ์ฅ ์ ๋ช ํ ๋ชจ๋ธ ์ค ํ๋์ ๋๋ค.
- ๋ํํ ํ
์คํธ ์์ฑ์ ์ค์ ์ ๋๊ณ ์์ผ๋ฉฐ, ์ผ์์ ์ธ ๋ํ, ํ
์คํธ ์์ฑ, ๊ทธ๋ฆฌ๊ณ ๋ค์ํ ์ง๋ฌธ์ ๋ํ ๋ต๋ณ์ ์ ๊ณตํ๋ ๋ฐ ํ์ํฉ๋๋ค.
- 2. Cohere: ์ ํ๋์ ๊ฒฌ๊ณ ์ฑ์์ ๋์ ํ๊ฐ๋ฅผ ๋ฐ๋ ๋ชจ๋ธ๋ก, ์ฌ๋ฌ ํ์ฌ์์ AI ๊ฒฝํ ์ ๊ณต์ ์ฌ์ฉ๋ฉ๋๋ค.
- 3. LLaMA (Meta AI): ๋ค์ํ ํฌ๊ธฐ๋ก ์ ๊ณต๋๋ฉฐ, GPT-3 ๋ชจ๋ธ๋ณด๋ค ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ๋ ์ฐ๊ตฌ์ฉ ๋ชจ๋ธ์
๋๋ค.
- ์ฐ๊ตฌ ๋ฐ ํ์ ์ปค๋ฎค๋ํฐ์ ๋ ๋๋ฆฌ ์ ๊ทผํ ์ ์๋๋ก ์ค๊ณ๋ ์ธ์ด ๋ชจ๋ธ์
๋๋ค. ์ด๋ ๊ณ ์ฑ๋ฅ์ ์ธ์ด ์ดํด ๋ฐ ์์ฑ ์์
์ ์ฌ์ฉ๋ฉ๋๋ค.
- ๋ค์ํ ํฌ๊ธฐ์ ๋ชจ๋ธ์ ์ ๊ณตํ์ฌ, ๋ค์ํ ์ปดํจํ
ํ๊ฒฝ์ ์ ์ฉ ๊ฐ๋ฅํฉ๋๋ค. ์ด๋ ๊ณ ๊ธ NLP ์ฐ๊ตฌ ๋ฐ ์ธ์ด ์ดํด ์์
์ ์ฃผ๋ก ์ฌ์ฉ๋ฉ๋๋ค.
- 4. Falcon (TII): ์คํ ์์ค LLM ์ค ํ๋๋ก, ๋๋ถ๋ถ์ ์ฌ์ฉ ์ฌ๋ก์ ์ ํฉํ๊ฒ ๋ฏธ์ธ ์กฐ์ ๋ ๋ชจ๋ธ์
๋๋ค.
- 5. BLOOM: 70๊ฐ๊ตญ ์ด์์ ํ๋ ฅ์ ํตํด ์ถ์๋ ์คํ ์์ค ๋ชจ๋ธ๋ก, ๋ค์ํ ์ธ์ด ๋ฐ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์์ ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค.
2. AI ํ์ต ๋ฐฉ๋ฒ๊ณผ ๊ธฐ์ ์ ์ฌํ:
- LLM์ ์ธ๋ถ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฐ๋ํ๋ ๋ฒ
- LLM์ ํ์ต ๊ณผ์ ์ ํฌํจ๋์ง ์์ ์ง์์ ์ฃผ์ ํ๋ ๋ฐฉ๋ฒ์ ํฌ๊ฒ 2๊ฐ์ง ์ ๋๋ค. (Fine-tuning vs RAG)
- 1. Fine-Tuning: ์๋ก์ด ์ง์์ ๊ดํ ํ ์คํธ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ด์ฉํด์ LLM์ ํ๋ผ๋ฏธํฐ๋ฅผ Fine-Tuning ํฉ๋๋ค.
- 2. RAG(Retrieval-Augmented Generation): ์๋ก์ด ์ง์์ ๊ดํ ํ ์คํธ ๋ฐ์ดํฐ ์์ค๋ฅผ Embeddingํด์ Vector Storage์ ์ ์ฅํ๊ณ , ํ๋กฌํํธ ๊ตฌ์ฑ์ ์งํํ ๋ ์ธ๋ถ ๋ฐ์ดํฐ ์์ค๋ก๋ถํฐ ๊ฐ์ ธ์จ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ํจ๊ป ์ด์ฉํด์ ํ๋กฌํํธ๋ฅผ ๊ตฌ์ฑํ๋ค LLM์ผ๋ก๋ถํฐ ๋ต๋ณ์ ์ป์ด๋ ๋๋ค.
- ํ์ธํ๋(fine tuning)
- ํน์ ์์ ์ด๋ ๋๋ฉ์ธ์ ๋์ ์ ํฉ์ฑ์ ํ๋ณดํ๊ธฐ ์ํด, ์ด๋ฏธ ํ๋ จ๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํน์ ๋ฐ์ดํฐ์ ์ ์ฌ์ฉํ์ฌ ์ถ๊ฐ์ ์ธ ํ์ต์ ์ํํ๋ ์์
- Supervised fine-tuning
- ์ฌ์ ํ์ต๋ ๋ชจ๋ธ์ ํน์ ์์
์ด๋ ๋ฐ์ดํฐ ์ธํธ์ ์ถ๊ฐ์ ์ผ๋ก ํ์ต์ํค๋ ๊ณผ์ ์
๋๋ค. ์ด ๊ณผ์ ์ ์ง๋ ํ์ต ๋ฐฉ์์ ์ฌ์ฉํ๋ฉฐ, ๋ชจ๋ธ์ ํน์ ์์
์ ์ธ๋ถ์ ์ธ ํน์ฑ์ ํ์ตํ์ฌ ์ฑ๋ฅ์ ํฅ์์ํต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ํ์ต ์๊ฐ๊ณผ ๊ณ์ฐ ์์์ ์ ์ฝํ๋ฉด์ ๊ณ ํ์ง์ ๋ง์ถคํ ๋ชจ๋ธ์ ํจ์จ์ ์ผ๋ก ๊ฐ๋ฐํ ์ ์๋ ์ฅ์ ์ ๊ฐ์ง๋๋ค.
- Supervised fine-tuning์ ์ดํดํ๊ธฐ ์ฝ๊ฒ ์ค๋ช
ํ์๋ฉด, ์ด๋ฏธ ์ด๋ ์ ๋ ๊ธฐ์ด ๊ต์ก์ ๋ฐ์ ํ์์ด ํน์ ๊ณผ๋ชฉ์ ๋ ์ ๋ฌธ์ ์ธ ์ง์์ ์ป๊ธฐ ์ํด ์ถ๊ฐ ์์
์ ๋ฐ๋ ๊ฒ๊ณผ ๋น์ทํฉ๋๋ค.
- ์๋ฅผ ๋ค์ด, ์ฐ๋ฆฌ๊ฐ ์ฌ์ ํ์ต๋ ๋ชจ๋ธ์ ๊ณ ๋ฑํ๊ต ์กธ์
ํ ํ์์ด๋ผ๊ณ ์๊ฐํด๋ด
์๋ค. ์ด ํ์์ ๋ค์ํ ๊ธฐ๋ณธ ์ง์์ ๊ฐ๊ณ ์์ง๋ง, ์์ง ์ ๋ฌธ ๋ถ์ผ์ ๋ํ ๊น์ ์ง์์ ์์ต๋๋ค. ์ด์ ์ด ํ์์ด ์ํ์ ์ ๊ณตํ๊ณ ์ถ๋ค๊ณ ๊ฒฐ์ ํ๋ค๊ณ ๊ฐ์ ํด๋ณด๊ฒ ์ต๋๋ค. ์ํ๊ณผ ๊ด๋ จ๋ ์ถ๊ฐ ์์
๊ณผ ์ค์ต์ ํตํด, ์ด ํ์์ ์ํ ๋ถ์ผ์์ ํ์ํ ์ ๋ฌธ ์ง์๊ณผ ๊ธฐ์ ์ ์ต๋ํ๊ฒ ๋ฉ๋๋ค. ์ฌ๊ธฐ์ ๊ณ ๋ฑํ๊ต์์ ๋ฐฐ์ด ๊ธฐ๋ณธ ์ง์์ ๋ชจ๋ธ์ด ๋๊ท๋ชจ ๋ฐ์ดํฐ์์ ์ฌ์ ํ์ต์ ํตํด ์ป์ ์ผ๋ฐ์ ์ธ ์ธ์ด ์ดํด ๋ฅ๋ ฅ์ ํด๋นํ๊ณ , ์ํ๊ณผ ๊ด๋ จ๋ ์ถ๊ฐ ์์
์ ํน์ ์์
(์: ์ง๋ฌธ ์๋ต, ๋ฌธ์ ๋ถ๋ฅ)์ ๋ง๊ฒ ๋ชจ๋ธ์ ์ธ๋ถ ์กฐ์ ํ๋ ๊ณผ์ ์ ํด๋นํฉ๋๋ค.
- RAG(Retrieval-Augmented Generation)
- ๊ฒ์ ๊ธฐ๋ฐ ๋ต๋ณ ์์ฑ ๋ชจ๋ธ: ์ ๋ณด ๊ฒ์(IR)์ ํตํด ์ป์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ์คํธ ์์ฑ ๋ชจ๋ธ์ ๋ณด๊ฐํ๋ ๋ฐฉ๋ฒ์ ๋๋ค.
- ๊ธฐ์กด์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ๊ฒ์ ๊ธฐ๋ฅ์ ๊ฒฐํฉํ ๊ฒ์ ๋๋ค. ์ด ๋ฐฉ์์ ์ฃผ์ด์ง ์ง๋ฌธ์ ๋ํด ๊ด๋ จ ๋ฌธ์๋ฅผ ๊ฒ์ํ ๋ค์, ๊ทธ ๋ฌธ์๋ค์ ๊ธฐ๋ฐ์ผ๋ก ๋ต๋ณ์ ์์ฑํฉ๋๋ค. ์ด๋ ๋ชจ๋ธ์ด ๋จ์ํ ๊ธฐ์ต์ ์์กดํ๋ ๊ฒ์ด ์๋๋ผ, ์ค์๊ฐ์ผ๋ก ์ ๋ณด๋ฅผ ๊ฒ์ํ์ฌ ๋ ์ ํํ๊ณ ๊น์ด ์๋ ๋ต๋ณ์ ์ ๊ณตํ ์ ์๊ฒ ํด์ค๋๋ค.
- p.s. ์์ธ์ค๋ช https://python.langchain.com/docs/use_cases/question_answering/
3. AI ๊ฐ๋ฐ์ ์ฌ์ฉ๋๋ ๋๊ตฌ์ ํ๋ ์์ํฌ:
- ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค(Vector DB) == ๋ฒกํฐ ์คํ ์ด(Vector Store)
- ๊ณ ์ฐจ์ ๋ฒกํฐ ๊ณต๊ฐ์์์ ํจ์จ์ ์ธ ๊ฒ์์ ์ง์ํ์ฌ, ์์ฐ์ด ์ง๋ฌธ์ด๋ ์ด๋ฏธ์ง ๋ฑ์ ๋ฒกํฐ๋ก ๋ณํํ๊ณ , ์ด๋ฌํ ๋ฒกํฐ๋ค ์ฌ์ด์ ์ ์ฌ์ฑ์ ๊ธฐ๋ฐ์ผ๋ก ์ ๋ณด๋ฅผ ๊ฒ์
- ์ด๋ฏธ์ง ๊ฒ์ ์์คํ ์์ ๊ฐ ์ด๋ฏธ์ง๋ฅผ ๋ฒกํฐ๋ก ๋ณํํ์ฌ ์ ์ฅํ๊ณ , ์ฌ์ฉ์์ ์ฟผ๋ฆฌ์ ๊ฐ์ฅ ์ ์ฌํ ์ด๋ฏธ์ง๋ฅผ ๋น ๋ฅด๊ฒ ์ฐพ์๋ด๋ ๋ฐ ์ฌ์ฉํฉ๋๋ค.
- (2024๋ ๋ 3์ ๊ธฐ์ค) ๋ํ์ ์ธ ๋ฒกํฐ ์ ์ฅ์(vector store)
- Elasticsearch with the Vector Search plugin, Milvus, Faiss (Facebook AI Similarity Search), ChromaDB, Pinecone ๋ฑ
- ์๋ฒ ๋ฉ(Embedding)
- ์ฌ๋์ ๊ธ์ ์ฝ์๋ ํ ์คํธ๋ฅผ ๋ฐ๋ก ์ฝ์ด์ ์ดํดํ๋ค๋ฉด, ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ๋ค์ ํ ์คํธ๋ฅผ ์ง์ ์ ์ผ๋ก ์ ๋ ฅ์ผ๋ก ์ฒ๋ฆฌํ๋ ๊ฒ์ด ์๋๋ผ ๋ฒกํฐ๋ก ์์นํํ ๋ค์ ์ฒ๋ฆฌํ๋ค. (๋ฌธ์, ๋ฌธ์ฅ, ๋จ์ด ๋ฑ)
- ์ด๋ ํ ์คํธ๋ฅผ ์ปดํจํฐ๊ฐ ์ดํดํ ์ ์๋๋ก ๋ฒกํฐํํ๋ ๊ณผ์ ์ '์๋ฒ ๋ฉ'์ด๋ผ๊ณ ํ๋ค.
- ์๋ ์์์ ๊ฐ์ ์์ผ๋ก ์ค์๊ฐ ๋์ด๋ ๊ฐ์ธ ๋ฒกํฐ๋ก ๋ณํํด์ ์ ๋ ฅ์ ์ฌ์ฉํ๋ค.
- (2024.3 ๊ธฐ์ค) ๋ํ์ ์ธ ์๋ฒ ๋ฉ ๋ชจ๋ธ
- BERT(Bidirectional Encoder Representations from Transformers), GPT-3(Generative Pre-trained Transformer 3), Transformer-XL, Amazon Titan
- ์๋ฒ ๋ฉ ์์
- ์ฌ๊ณผ > (๋จ์ด ์๋ฒ ๋ฉ) > ๋ฒกํฐ: [0.12, 0.34, 0.75, -0.12]
- ์๋
ํ์ธ์ > (๋ฌธ์ฅ ์๋ฒ ๋ฉ) > ๋ฒกํฐ: [0.88, 0.13, 0.754, -0.42]
- '์์ธ ์ฒญ๋
์ ์ฑ
์ด...์ค๋ต' > (๋ฌธ์ ์๋ฒ ๋ฉ) > ๋ฒกํฐ: [0.66, 0.33, 0.22, -0.99]
- Chunk
- ๋ฐ์ดํฐ๋ ํ ์คํธ๋ฅผ ์์, ๊ด๋ฆฌํ๊ธฐ ์ฌ์ด ๋ถ๋ถ์ผ๋ก ๋๋ ํ๋์ ๋ฉ์ด๋ฆฌ
- Chunking
- ๋ถํ ์์ (Chunk)์ ์ํํ๋ ๊ณผ์ ์ผ๋ก, ๋ฐ์ดํฐ๋ฅผ ์๋ฏธ ์๋ ๋จ์๋ก ๋๋์ด ์ฒ๋ฆฌํ๋ ๊ธฐ์ .
- NLP(์์ฐ์ด ์ฒ๋ฆฌ)์์ chunking์ ๋ฌธ์ฅ์ ๋ช ์ฌ๊ตฌ, ๋์ฌ๊ตฌ ๊ฐ์ ์๋ฏธ ์๋ ์กฐ๊ฐ์ผ๋ก ๋ถ๋ฆฌํด ์ ๋ณด ์ถ์ถ์ด๋ ๋ฌธ์ ๋ถ์์ ์ฉ์ดํ๊ฒ ํ๋ค.
- ๋ฐ์ดํฐ ์
(dataset)
- ํน์ ์์
์ด๋ ์ฐ๊ตฌ๋ฅผ ์ํด ์์ง๋๊ณ ์ ๋ฆฌ๋ ๋ฐ์ดํฐ์ ์งํฉ์ผ๋ก, ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ํ๋ จ์ํค๊ฑฐ๋ ํต๊ณ์ ๋ถ์์ ์ํํ๋ ๋ฐ ํ์์ ์ธ ์์
- ๋ฐ์ดํฐ์
์ด๋ ๋จธ์ ๋ฌ๋, ํต๊ณ, ๋ฐ์ดํฐ ๋ถ์ ๋ฑ์์ ์ฌ์ฉ๋๋ ๊ด๋ จ ๋ฐ์ดํฐ์ ๋ชจ์์
๋๋ค. ์ด ๋ฐ์ดํฐ๋ ์ซ์, ๋จ์ด, ์ด๋ฏธ์ง ๋ฑ ๋ค์ํ ํํ๋ก ์กด์ฌํ ์ ์์ผ๋ฉฐ, ํน์ ์ฃผ์ ๋ ๋ชฉ์ ์ ๊ฐ์ง๊ณ ์ ๋ฆฌ๋ ์ ๋ณด์ ์งํฉ์
๋๋ค. ์๋ฅผ ๋ค์ด, ์ธ์ด ๋ชจ๋ธ์ ํ๋ จ์ํค๊ธฐ ์ํ ๋ฐ์ดํฐ์
์ ์๋ง์ ๋ฌธ์ฅ์ด๋ ๋จ๋ฝ์ผ๋ก ๊ตฌ์ฑ๋ ์ ์๊ณ , ์ด๋ฏธ์ง ์ธ์ ๋ชจ๋ธ์ ์ํ ๋ฐ์ดํฐ์
์ ๋ค์ํ ์ด๋ฏธ์ง ํ์ผ์ ํฌํจํ ์ ์์ต๋๋ค.
- ๋ฐ์ดํฐ์
์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ํ๋ จ์ํฌ ๋ 'ํ์ต'์ ์ฌ์ฉ๋๋ ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํ๋ฉฐ, ์ด๋ฅผ ํตํด ๋ชจ๋ธ์ ์ฃผ์ด์ง ์
๋ ฅ์ ๋ํด ์ฌ๋ฐ๋ฅธ ์ถ๋ ฅ์ ์์ธกํ๋ ๋ฐฉ๋ฒ์ ํ์ตํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์ด๋ฏธ์ง ๋ถ๋ฅ ์์
์ ์ํ ๋ฐ์ดํฐ์
์ ๊ฐ ์ด๋ฏธ์ง๊ฐ ์ด๋ค ์นดํ
๊ณ ๋ฆฌ์ ์ํ๋์ง์ ์ ๋ณด(๋ ์ด๋ธ)์ ํจ๊ป ์ ๊ณต๋์ด, ๋ชจ๋ธ์ด ์ด๋ฏธ์ง๋ฅผ ๋ณด๊ณ ์ด๋ค ์นดํ
๊ณ ๋ฆฌ์ธ์ง ๋ถ๋ฅํ ์ ์๋๋ก ํ์ต๋ฉ๋๋ค.
- ๋ฐ์ดํฐ ํ๋ ์
- Python์ Pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ก ์ฌ์ฉํ ์ ์๋ ํ ์ด๋ธ ํํ์ ๋ฐ์ดํฐ (Python์ ์์ ๊ณผ ๊ฐ์๊ฒ-)
- ์ฝ์ฌ์ธ ์ ์ฌ๋(cosine similarity)
- (24๋
2์ ๊ธฐ์ค) ๋ฒกํฐ ๊ฐ์ ์ ์ฌ๋๋ฅผ ๊ตฌํ ์ ์๋ ๊ฐ์ฅ ๋ํ์ ์ธ ๋ฐฉ๋ฒ
- ๋ ๋ฒกํฐ ๊ฐ์ ์ฝ์ฌ์ธ ๊ฐ๋๋ผ๋ ๊ฐ๋
์ ์ด์ฉํด์ ๋ฒกํฐ๊ฐ ์ ์ฌ๋๋ฅผ ์ธก์ ํ๋ ๋ฐฉ๋ฒ
- ์๋ฒ ๋ฉ์ ํตํด ์ปดํจํฐ๊ฐ ์์๋ณผ ์ ์๋ ๋ฒกํฐ๋ก ๋ณํ
- ๋ณํ๋ ๋ฒกํฐ๋ค๋ผ๋ฆฌ ๊ฐ์ฅ ์ ์ฌํ ๋ฒกํฐ๋ฅผ ์ฐพ์ผ๋ฉด, ๋ ๋ฌธ์ฅ์ ๊ฐ์ฅ ์ ์ฌํ ์๋ฏธ๋ฅผ ๊ฐ์ง ๋ฌธ์ฅ
- ๋ญ์ฒด์ธ(LangChain)
- ๋๊ท๋ชจ ์ธ์ด๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ดํ๋ฆฌ์ผ์ด์
์์ฑ์ ๊ฐ์ํํ๋๋ก ์ค๊ณ๋ SW ๊ฐ๋ฐ ํ๋ ์์ํฌ์
๋๋ค.
- LangChain์ API๋ฅผ ํตํด์ ์ธ์ด๋ชจ๋ธ์ ํธ์ถํ๋ ๊ฒ๋ฟ๋ง ์๋๋ผ ์ธ๋ถ ๋ฐ์ดํฐ๋ฅผ ์ธ์ํ๊ฑฐ๋ ํ ์์คํ
์ ์ํธ์์ฉํ๋ ์ดํ๋ฆฌ์ผ์ด์
๊ฐ๋ฐ์ ๋์์ค๋๋ค.
- ๋ญ์ฒด์ธ์ ์ฅ์
- 1. ์์ฌ์ด ๊ตฌํ
- ๋ณต์กํ LLM์ ๊ฐ๋จํ ๋ช์ค์ ์ฝ๋๋ก ์์ฝ๊ฒ ๊ตฌํํ ์ ์์ต๋๋ค.
- ๋ค์ํ LLM ๋ชจ๋ธ์ ์์ฃผ ์ฝ๊ฒ ๊ฐ์ ๋ผ์ธ ์ ์์
- ๋ค์ํ ํด๊ณผ์ ํธ๋ฆฌํ ์ฐ๋ ๋ ๊ฐ๋ฅํ๊ณ , Vector Stores๋ฅผ ํ์ฉํ๋ฉด ์์ฐ์ด๋ฅผ ๋ฒกํฐ ํํ๋ก ์ ์ฅ, ๊ด๋ฆฌํ ์ ์๋๋ก ์ง์ํ๋ ๋ถ๋ถ๋ ์์ต๋๋ค.
- 2. ๊ธด ์ปจํ ์คํธ์ ์ง์ ์ฃผ์ ๊ฐ๋ฅ
- Document Loaders๋ฅผ ํ์ฉํด์ PDF๋ ํ ์คํธ ํ์ผ๊ณผ ๊ฐ์ ๋ฌธ์๋ ๊ฐ๋จํ๊ฒ ์ถ์ถํ ์ ์์ต๋๋ค.
- GPT-3.5์ 4096 ํ ํฐ ์ ํ์ผ๋ก ์ธํด ๊ธด ์ปจํ
์คํธ์ ๋ด์ฉ์ ์ฒ๋ฆฌํ๊ธฐ ํ๋ค๋ค๋ ๋ฌธ์ ์ ์ด ์๋๋ฐ ๋ญ์ฒด์ธ์ ์ด์ฉํ๋ฉด ๋๊ธด ์ปจํ
์คํธ์ ์ ๋ณด๋ก LLM๊ณผ ์ํธ์์ฉํ ์ ์์ต๋๋ค.
- 3. ์ถ์ฒ ํ์ธ ๊ฐ๋ฅ
- LLM์ ๋ง์ ๋ถ๋ถ์ด ๋ธ๋๋ฐ์ค์ ํ๋ฅ ์ ์ผ๋ก ๋์ํ๊ธฐ ๋๋ฌธ์ LLM์ด ๋ง๋ค์ด๋ธ ํ ์คํธ๊ฐ ์๊ทธ๋ ๊ฒ ์์ฑ๋๋์ง ํ์ธํ๊ธฐ ์ด๋ ต๊ณ ํ ๋ฃจ์๋ค์ด์ (Hallucination) ๋ฌธ์ ๊ฐ ๋ฐ์ํ ์ํ์ฑ์ด ์์ง๋ง, ๋ญ์ฒด์ธ์ ์ด์ฉํ๋ฉด ๋ช ํํ ์ถ์ฒ์ ํจ๊ป LLM์ด ํ ์คํธ๋ฅผ ์์ฑํ ์ ์์ต๋๋ค.
- langchain ์ค์ต: https://python.langchain.com/docs/get_started/quickstart
- ์์ํ(Quantization)
- LLM(๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ)์์ ์ธ๊ธ๋๋ "์์ํ"๋ ๋ชจ๋ธ์ ํฌ๊ธฐ๋ฅผ ์ค์ด๊ณ , ์คํ ์๋๋ฅผ ํฅ์์ํค๋ฉฐ, ๋ฐฐํฌ๋ฅผ ์ฉ์ดํ๊ฒ ํ๋ ๊ธฐ์ ์
๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก, ์์ํ๋ ๋ชจ๋ธ์ ๋งค๊ฐ๋ณ์(๊ฐ์ค์น)๋ฅผ ๋ ์ ์ ๋นํธ๋ก ํํํ๋ ๊ณผ์ ์ ๋งํฉ๋๋ค.
- ์ผ๋ฐ์ ์ผ๋ก, ์ ๊ฒฝ๋ง ๋ชจ๋ธ์ ๋งค๊ฐ๋ณ์๋ 32๋นํธ ๋ถ๋์์์ ํ์์ผ๋ก ์ ์ฅ๋ฉ๋๋ค. ํ์ง๋ง ์์ํ๋ฅผ ํตํด ์ด ๋งค๊ฐ๋ณ์๋ฅผ 16๋นํธ, 8๋นํธ, ์ฌ์ง์ด๋ ๋ ๋ฎ์ ๋นํธ ์์ ์ ์๋ก ๋ณํํ ์ ์์ต๋๋ค. ์ด๋ ๊ฒ ํ๋ฉด ๋ชจ๋ธ์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ์ค์ด๋ค๊ณ , ์ฐ์ฐ ์๋๊ฐ ๋นจ๋ผ์ง๋ฉฐ, ๋ชจ๋ฐ์ผ ๊ธฐ๊ธฐ๋ ์ฃ์ง ๋๋ฐ์ด์ค ๊ฐ์ ์์ ์ ํ์ ์ธ ํ๊ฒฝ์์๋ ๋ชจ๋ธ์ ์คํํ ์ ์๊ฒ ๋ฉ๋๋ค.
- ์์ํ๋ ํนํ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ๊ฐ์ ๋ณต์กํ ๋ชจ๋ธ์ ์ค์ ์ ํ๋ฆฌ์ผ์ด์
์ ํจ์จ์ ์ผ๋ก ๋ฐฐํฌํ๊ณ ์ ํ ๋ ์ค์ํ ๊ธฐ์ ์
๋๋ค. ๋ชจ๋ธ์ ์ฑ๋ฅ์ ํฌ๊ฒ ํผ์ํ์ง ์์ผ๋ฉด์๋ ์คํ ํจ์จ์ฑ์ ํฌ๊ฒ ํฅ์์ํฌ ์ ์๊ธฐ ๋๋ฌธ์
๋๋ค. ์์ํ๋ ๋ชจ๋ธ์ ์ค์ ํ๊ฒฝ์ ์ ์ฉํ๋ ๊ณผ์ ์์ ์ค์ํ ์ญํ ์ ํฉ๋๋ค.
- SOTA(State-of-the-art)
- 'ํ์ฌ ์ต๊ณ ์์ค์ ๊ฒฐ๊ณผ'๋ฅผ ๊ฐ์ง ๋ชจ๋ธ๋ก, ํ์ฌ ์์ค์์ ๊ฐ์ฅ ์ ํ๋๊ฐ ๋์ ๋ชจ๋ธ์ ์๋ฏธ
- LLM SOTA: (24๋ 2์ ๊ธฐ์ค) OpenAI, AOAI(Azure OpenAI), PaLM(Google), Claude(Anthropic)
- Data lake
- ๋๊ท๋ชจ ๋ฐ์ดํฐ๋ฅผ ์๋ณธ ํํ๋ก ์ ์ฅํ ์ ์๋ ์ ์ฐํ ์ ์ฅ์๋ก, ๋น ๋ฐ์ดํฐ ๋ถ์ ๋ฐ ๋จธ์ ๋ฌ๋์ ํ์ฉ
- ๋ค์ํ ํํ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ ์ฅ: ์กฐํ๋์ง ์์ ๋ฐ์ดํฐ, ๋ฐ๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ, ๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ
- AWS S3, Google Cloud Storage, Azure Data Lake Storage ๋ฑ
- Amazon Redshift
- AWS๊ฐ ์ ๊ณตํ๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์๋น์ค๋ก, ํํ๋ฐ์ดํธ ๊ท๋ชจ์ ๋ฐ์ดํฐ ์ ์ฅ ๋ฐ ๋ถ์์ ์ง์ํฉ๋๋ค. SQL ๊ธฐ๋ฐ ์ฟผ๋ฆฌ ์ฌ์ฉ, ์ปฌ๋ผ ๊ธฐ๋ฐ ์ ์ฅ ๋ฐฉ์, ๋ฐ์ดํฐ ์์ถ ๊ธฐ์ ๋ก ๋น ๋ฅธ ๋ถ์ ์ฑ๋ฅ์ ์ ๊ณตํ๋ฉฐ, ์ฌ์ฉ์๋ ํ์์ ๋ฐ๋ผ ๋ฆฌ์์ค๋ฅผ ํ์ฅํ ์ ์์ต๋๋ค. ๋ณด์, ๋น์ฉ ํจ์จ์ฑ, AWS ๋ฐ ๋ค์ํ ๋ฐ์ดํฐ ๋ถ์ ๋๊ตฌ์์ ํธํ์ฑ์ด ํน์ง์ ๋๋ค.
- https://aws.amazon.com/ko/solutions/guidance/devops-on-amazon-redshift/?did=sl_card&trk=sl_card
- FastAPI
- Python ๊ธฐ๋ฐ์ ์น์๋ฒ๋ฅผ ๋น ๋ฅด๊ฒ ์์ฑํ๊ธฐ ์ํ ์คํ์์ค: ๋น๋๊ธฐ ์ง์ ๊ณ ์ฑ๋ฅ ํ์ด์ฌ ์น ํ๋ ์์ํฌ
- FastAPI๋ฅผ ์์ฑํ๋ฉด ๋น ๋ฅด๊ฒ ์น์๋ฒ๋ฅผ ์์ฑํ ์ ์์
- ์์
- ใ
ใ
ใ
์ํํธ == (๋ก์ปฌ)์๋ฒ
- ใ
ใ
๋ ใ
ใ
ํธ == FastAPI
- ์ค์ต: https://github.com/i-am-shuan/LLM-telegram-chatbot/blob/main/README.md
- Python REPL
- Python REPL์ "Read-Eval-Print Loop"์ ์ฝ์๋ก, ์ฌ์ฉ์๋ก๋ถํฐ ๋ช
๋ น์ ๋ฐ์ ์ฝ๊ณ (Read), ํด๋น ๋ช
๋ น์ ์คํ(Eval), ๊ฒฐ๊ณผ๋ฅผ ์ถ๋ ฅ(Print)ํ๋ ๋ฐ๋ณต(Loop) ๊ณผ์ ์ ๋งํฉ๋๋ค. REPL์ ๊ฐ๋ฐ์๊ฐ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด๋ฅผ ๋ํ์์ผ๋ก ํ์ํ๊ณ ์คํํ ์ ์๋ ๊ฐ๋จํ๊ณ ํจ์จ์ ์ธ ๋ฐฉ๋ฒ์ ์ ๊ณตํฉ๋๋ค.
- Python์์ REPL์ ๋ณดํต Python ์ธํฐํ๋ฆฌํฐ๋ฅผ ์คํํจ์ผ๋ก์จ ์ ๊ทผํ ์ ์์ต๋๋ค. ํฐ๋ฏธ๋์ด๋ ๋ช
๋ น ํ๋กฌํํธ์์ `python` ๋๋ `python3` ๋ช
๋ น์ด๋ฅผ ์
๋ ฅํ๋ฉด Python์ REPL ํ๊ฒฝ์ด ์์๋ฉ๋๋ค. ์ด ํ๊ฒฝ์์๋ Python ์ฝ๋๋ฅผ ํ ์ค์ฉ ์
๋ ฅํ๊ณ ๋ฐ๋ก ๊ฒฐ๊ณผ๋ฅผ ๋ณผ ์ ์์ผ๋ฉฐ, ์ด๋ ํ์ต, ๋น ๋ฅธ ํ
์คํธ ์คํ, ๋ผ์ด๋ธ๋ฌ๋ฆฌ ํ์, ๋จํธ ์ฝ๋ ์คํ ๋ฑ์ ์ ์ฉํฉ๋๋ค.
- REPL ํ๊ฒฝ์ ํ๋ก๊ทธ๋๋ฐ์ ์ฆ๊ฐ์ ์ธ ํผ๋๋ฐฑ์ ์ ๊ณตํ์ฌ ๊ฐ๋ฐ ๊ณผ์ ์ ๋ ๋น ๋ฅด๊ณ ์ง๊ด์ ์ผ๋ก ๋ง๋ค์ด ์ค๋๋ค.
- pytorch
- ๋ฅ๋ฌ๋ ๋ฐ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ค๊ณํ๊ณ ํ๋ จํ๊ธฐ ์ํ ์คํ์์ค ๋ผ์ด๋ธ๋ฌ๋ฆฌ (FAIR; Facebook AI Research)
- tensorflow
- ๊ตฌ๊ธ์ด ๊ฐ๋ฐํ ์คํ์์ค ๋จธ์ ๋ฌ๋ ๋ฐ ๋ฅ๋ฌ๋ ํ๋ ์์ํฌ
- ํ๊น
ํ์ด์ค(Hugging Face)
- ํ๊น
ํ์ด์ค๋ ๊นํ(GitHub)๊ณผ ๊ฐ์ด ์ฝ๋๋ฅผ ํธ์คํ
ํ๋ ํ๋ซํผ์ ๊ธฐ๋ฅ์ ์ผ๋ถ ์ ๊ณตํ์ง๋ง, ์ฃผ๋ก ์ธ๊ณต์ง๋ฅ, ํนํ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ถ์ผ์์ ์ฌ์ฉ๋๋ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์
์ ๊ณต์ ํ๊ณ ํ์
ํ๋ ๋ฐ ์ค์ ์ ๋ ์๋น์ค์
๋๋ค. ํ๊น
ํ์ด์ค๋ ์คํ์์ค ๊ธฐ์ฌ, ๋ชจ๋ธ ๋ฐ ๋ฐ์ดํฐ์
๊ณต์ , ๊ทธ๋ฆฌ๊ณ ๋จธ์ ๋ฌ๋ ์ปค๋ฎค๋ํฐ ๊ฐ์ ํ๋ ฅ์ ์ด์งํ๋ ๊ฒ์ ๋ชฉ์ ์ผ๋ก ํ๋ฉฐ, ํนํ Transformers ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ก ์ ์๋ ค์ ธ ์์ต๋๋ค. ์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ๋ค์ํ ์์ฐ์ด ์ฒ๋ฆฌ ์์
์ ์ํ ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์ ์ ๊ณตํฉ๋๋ค. ๋ฐ๋ผ์ ํ๊น
ํ์ด์ค๋ ๊นํ์ฒ๋ผ ์ฝ๋ ๊ณต์ ํ๋ซํผ์ ์ญํ ์ ํ๊ธฐ๋ ํ์ง๋ง, ์ฃผ๋ก AI ๋ฐ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์
์ ํนํ๋ ํ๋ซํผ์ผ๋ก ์ดํดํ๋ ๊ฒ์ด ๋ ์ ํํฉ๋๋ค.
- Multimodal
- LLM(Large Language Models) ๋ถ์ผ์์ Multimodal ์ด๋ ์ฉ์ด๋ ์ฌ๋ฌ ์ข
๋ฅ์ ์
๋ ฅ ๋ฐ์ดํฐ(์: ํ
์คํธ, ์ด๋ฏธ์ง, ์ค๋์ค, ๋น๋์ค ๋ฑ)๋ฅผ ๋์์ ์ฒ๋ฆฌํ ์ ์๋ ๋ชจ๋ธ์ด๋ ์์คํ
์ ์๋ฏธํฉ๋๋ค. ๊ฐ๋จํ ๋งํด, Multimodal์ ๋ค์ํ ํํ์ ์ ๋ณด๋ฅผ ์ดํดํ๊ณ ํตํฉํ ์ ์๋ ๊ธฐ์ ์ ๋ฒ์๋ฅผ ์ง์นญํฉ๋๋ค.
- ์ด๋ฅผ ์ดํดํ๊ธฐ ์ฝ๊ฒ ์๋ก ์ค๋ช
ํ์๋ฉด, ์ธ๊ฐ์ด ์ธ์์ ๊ฒฝํํ๋ ๋ฐฉ์์ ์๊ฐํด ๋ณผ ์ ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ๋ณด๊ณ , ๋ฃ๊ณ , ๋งํ๊ณ , ์ฝ๊ณ , ์ฐ๋ ๋ฑ ์ฌ๋ฌ ๊ฐ์ง ๋ฐฉ์์ผ๋ก ์ ๋ณด๋ฅผ ๋ฐ์๋ค์ด๊ณ ์ํตํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์น๊ตฌ์ ๋ํํ ๋, ์ฐ๋ฆฌ๋ ๊ทธ๋ค์ด ํ๋ ๋ง๋ฟ๋ง ์๋๋ผ ํ์ , ๋ชธ์ง, ๊ทธ๋ฆฌ๊ณ ์ฃผ๋ณ ํ๊ฒฝ์ ์๊ฐ์ ์์๋ค๋ ํจ๊ป ํด์ํฉ๋๋ค. ์ด ๋ชจ๋ ๋ค์ํ ์ ๋ณด ํํ๋ฅผ ํตํฉํ์ฌ ์ฐ๋ฆฌ๋ ์ํฉ์ ๋ ์ ์ดํดํ๊ณ , ๋ณด๋ค ์ ์ ํ๊ฒ ๋ฐ์ํ ์ ์์ต๋๋ค.
- Multimodal ๋ชจ๋ธ์์๋ ๋น์ทํ ์๋ฆฌ๊ฐ ์ ์ฉ๋ฉ๋๋ค. ์ด ๋ชจ๋ธ๋ค์ ๋จ์ํ ํ
์คํธ ์ ๋ณด๋ง์ ์ฒ๋ฆฌํ๋ ๋์ , ์ด๋ฏธ์ง, ์ค๋์ค, ๋น๋์ค ๋ฑ๊ณผ ๊ฐ์ ๋ค๋ฅธ ํํ์ ๋ฐ์ดํฐ๋ฅผ ํจ๊ป ์ฒ๋ฆฌํ์ฌ ๋ ํ๋ถํ๊ณ ์ ํํ ์ ๋ณด ์ดํด ๋ฐ ์์ฑ์ ๋ชฉํ๋ก ํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์ด๋ฏธ์ง์ ๋ํ ์ค๋ช
์ ์์ฑํ๊ฑฐ๋, ๋น๋์ค ๋ด์ฉ์ ๊ธฐ๋ฐํ ์ง๋ฌธ์ ๋ต๋ณํ๋ ๋ฑ์ ์์
์ ์ํํ ์ ์์ต๋๋ค.
- ๊ฒฐ๋ก ์ ์ผ๋ก, Multimodal์ ๋ค์ํ ๋ฐ์ดํฐ ์ ํ์ ์ข
ํฉ์ ์ผ๋ก ์ดํดํ๊ณ ์ฒ๋ฆฌํ ์ ์๋ ๊ธฐ์ ์ ๋งํ๋ฉฐ, ์ด๋ LLM ๋ถ์ผ์์ ๋ณด๋ค ๋ณต์กํ๊ณ ๋ค์ํ ํํ์ ์ธ๊ฐ๊ณผ ์ปดํจํฐ ๊ฐ ์ํธ์์ฉ์ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค.
- T5(Text-to-Text Transfer Transformer)
- Google Research์ ํ์ ์ํด ๊ฐ๋ฐ๋ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ชจ๋ธ์
๋๋ค. T5๋ ๋ค์ํ NLP ์์
์ ํ
์คํธ-ํฌ-ํ
์คํธ์ ํํ๋ก ๋ณํํ์ฌ ์ฒ๋ฆฌํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. ์ด๋ ๊ธฐ๊ณ ๋ฒ์ญ, ์์ฝ, ์ง๋ฌธ ์๋ต(QA), ํ
์คํธ ๋ถ๋ฅ ๋ฑ๊ณผ ๊ฐ์ ๋ค์ํ ์์
์ ๋์ผํ ๋ชจ๋ธ ๊ตฌ์กฐ์ ํ์ต ์ ๊ทผ ๋ฐฉ์์ผ๋ก ์ฒ๋ฆฌํ ์ ์์์ ์๋ฏธํฉ๋๋ค.
- NLP(Natural Language Processing): ์ปดํจํฐ๊ฐ ์ธ๊ฐ์ ์ธ์ด๋ฅผ ์ดํดํ๊ณ ํด์ํ์ฌ ์ฒ๋ฆฌํ ์ ์๋๋ก ํ๋ ๊ธฐ์ ๋ถ์ผ
- T5 ๋ชจ๋ธ์ ํน์ง
- ํตํฉ๋ ์ ๊ทผ ๋ฐฉ์: T5๋ ๋ชจ๋ NLP ์์
์ ์
๋ ฅ ํ
์คํธ์์ ์ถ๋ ฅ ํ
์คํธ๋ก์ ๋ณํ ๊ณผ์ ์ผ๋ก ์ทจ๊ธํฉ๋๋ค. ์ด ์ ๊ทผ ๋ฐฉ์์ ๋ชจ๋ธ์ด ๋ค์ํ ์ข
๋ฅ์ ์์
์ ์ ์ฐํ๊ฒ ์ฒ๋ฆฌํ ์ ์๋๋ก ํฉ๋๋ค.
- ์ฌ์ ํ์ต๊ณผ ๋ฏธ์ธ ์กฐ์ : T5๋ ๋๊ท๋ชจ ํ
์คํธ ์ฝํผ์ค์์ ์ฌ์ ํ์ต์ ๊ฑฐ์น ํ, ํน์ ์์
์ ๋ํด ๋ฏธ์ธ ์กฐ์ ๋ฉ๋๋ค. ์ด ๊ณผ์ ์ ๋ชจ๋ธ์ด ์ผ๋ฐ์ ์ธ ์ธ์ด ์ดํด๋ฅผ ์ต๋ํ๊ณ , ํน์ ์์
์ ๋ํด ์ต์ ํ๋๋๋ก ํฉ๋๋ค.
- ์คํ์ ๋ฐฉ๋ฒ๋ก : T5 ๊ฐ๋ฐ ํ์ ๋ชจ๋ธ ์ฌ์ด์ฆ, ํ์ต๋ฅ , ๋ฐ์ดํฐ ์ธํธ ๋ฑ ๋ค์ํ ๋ณ์๋ค์ด ์ฑ๋ฅ์ ๋ฏธ์น๋ ์ํฅ์ ํญ๋๊ฒ ์คํํ์ต๋๋ค. ์ด๋ ๋ชจ๋ธ ์ค๊ณ์ ํ์ต ์ ๋ต์ ๋ํ ๊น์ ํต์ฐฐ์ ์ ๊ณตํฉ๋๋ค.
- ๊ด๋ จ๋ ์๋น์ค๋ค
- T5 ๋ชจ๋ธ์ ๋ค์ํ NLP ๊ธฐ๋ฐ ์๋น์ค์ ์ ํ์ ํ์ฉ๋ฉ๋๋ค. ์ฌ๊ธฐ์๋ ๊ธฐ๊ณ ๋ฒ์ญ ์๋น์ค, ์๋ ์์ฝ ๋๊ตฌ, ์ฑ๋ด, ๊ฐ์ ๋น์, ๊ฒ์ ์์ง ์ต์ ํ ๋๊ตฌ, ๊ฐ์ ๋ถ์ ์๋น์ค ๋ฑ์ด ํฌํจ๋ฉ๋๋ค. ๊ตฌ์ฒด์ ์ผ๋ก Google Cloud์ Natural Language API, Google ๋ฒ์ญ๊ธฐ, ๋ค์ํ ์จ๋ ํํฐ ๊ฐ๋ฐ์ ๋๊ตฌ์ ์๋น์ค๊ฐ T5 ๋๋ ์ ์ฌํ ์ํคํ
์ฒ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ตฌ์ถ๋์ด ์์ต๋๋ค.
- Tenant
- ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ์์์ ๊ณต์ ํ๋ ๋
๋ฆฝ์ ์ธ ์ฌ์ฉ์ ๋๋ ์กฐ์ง ๋จ์
์๋ฅผ ๋ค์ด, ํด๋ผ์ฐ๋ ์๋น์ค๋ฅผ ์ด์ฉํ๋ ์ฌ๋ฌ ํ์ฌ๊ฐ ์์ ๋, ๊ฐ ํ์ฌ๋ 'ํ
๋ํธ'๋ก ๊ฐ์ฃผ๋ฉ๋๋ค. ์ด๋ค์ ๊ฐ์ ์ธํ๋ผ(์๋ฒ, ์คํ ๋ฆฌ์ง ๋ฑ)๋ฅผ ๊ณต์ ํ์ง๋ง, ๊ฐ์์ ๋ฐ์ดํฐ, ์ค์ , ์ฌ์ฉ์ ๊ด๋ฆฌ ๋ฑ์ ์์ ํ ๋
๋ฆฝ์ ์
๋๋ค. ์ด๋ฐ ๋ฐฉ์์ผ๋ก, ์ฌ๋ฌ ํ
๋ํธ๊ฐ ๊ฐ์ ํ๊ฒฝ์ ์ฌ์ฉํ๋ฉด์๋ ์๋ก ์ํฅ์ ์ฃผ์ง ์๊ณ , ์์์ ํจ์จ์ ์ผ๋ก ํ์ฉํ ์ ์์ต๋๋ค. ์์ฝํ์๋ฉด, 'ํ
๋ํธ'๋ ๋ฉํฐํ
๋์ ํ๊ฒฝ์์ ์์์ ๊ณต์ ํ๋ฉด์๋ ์๋ก ๋
๋ฆฝ์ ์ผ๋ก ์ด์๋ ์ ์๋ ๊ฐ๋ณ ์ฌ์ฉ์๋ ์กฐ์ง์ ์ง์นญํ๋ ์ฉ์ด์
๋๋ค.
- ๋ฉํฐํ ๋์(Multi-Tenancy)
- ๋จ์ผ ์ธ์คํด์ค์ ์ํํธ์จ์ด ์์ฉ ํ๋ก๊ทธ๋จ์ด ์ฌ๋ฌ ์ฌ์ฉ์(ํ ๋ํธ)์ ์ํด ๊ณต์ ๋์ด ์ฌ์ฉ๋ ์ ์๊ฒ ํ๋ ์ํคํ ์ฒ๋ฅผ ๋งํฉ๋๋ค. ์ด ๊ตฌ์กฐ์์ ๊ฐ ํ ๋ํธ๋ ๋ง์น ์์ ๋ง์ ๋ ๋ฆฝ๋ ์ํํธ์จ์ด ์ธ์คํด์ค๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ฒ๋ผ ๋๋ผ์ง๋ง, ์ค์ ๋ก๋ ๋ค๋ฅธ ํ ๋ํธ์ ๋ฌผ๋ฆฌ์ ์ธํ๋ผ(์๋ฒ, ์คํ ๋ฆฌ์ง ๋ฑ)์ ์ ํ๋ฆฌ์ผ์ด์ ์ธ์คํด์ค๋ฅผ ๊ณต์ ํฉ๋๋ค.
- ๋ฉํฐํ ๋์์ ์ฃผ์ ์ด์ ์ ์์์ ํจ์จ์ ์ฌ์ฉ์ ๋๋ค. ํ๋์ ์ ํ๋ฆฌ์ผ์ด์ ์ธ์คํด์ค์ ์ธํ๋ผ๋ฅผ ์ฌ๋ฌ ํ ๋ํธ๊ฐ ๊ณต์ ํจ์ผ๋ก์จ, ๊ฐ ํ ๋ํธ๋ ๋น์ฉ์ ์ ๊ฐํ๋ฉด์ ํ์ํ ์๋น์ค๋ฅผ ๋ฐ์ ์ ์์ต๋๋ค. ๋ํ, ์๋น์ค ์ ๊ณต์๋ ์ ์ง๋ณด์์ ์ ๊ทธ๋ ์ด๋๋ฅผ ํ ๋ฒ๋ง ์ํํ๋ฉด ๋ชจ๋ ํ ๋ํธ์ ์ ์ฉ๋๋ฏ๋ก ์ด์์ ํจ์จ์ฑ์ด ๋์์ง๋๋ค.
- ๋ฉํฐํ ๋์๋ ํด๋ผ์ฐ๋ ์๋น์ค, SaaS(์ํํธ์จ์ด as a ์๋น์ค) ์ ํ๋ฆฌ์ผ์ด์ ๋ฑ ๋ค์ํ IT ์๋น์ค์์ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค. ๊ฐ ํ ๋ํธ๋ ๊ฐ๋ณ์ ์ธ ๋ฐ์ดํฐ, ์ค์ , ์ฌ์ฉ์ ๊ด๋ฆฌ ๊ถํ์ ๊ฐ์ง๋ง, ๊ธฐ๋ณธ์ ์ธ ์ ํ๋ฆฌ์ผ์ด์ ์ฝ๋์ ํ๋์จ์ด ์์์ ๋ค๋ฅธ ํ ๋ํธ์ ๊ณต์ ํ๋ ๊ตฌ์กฐ์ ๋๋ค.
- ๋๋ฉ์กด(Landing Zone)
- ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ์์ ํ๊ณ ํจ์จ์ ์ผ๋ก ์์์ ๋ฐฐํฌํ๊ณ ๊ด๋ฆฌํ๊ธฐ ์ํ ๊ธฐ๋ณธ ๊ตฌ์ฑ ์์์ ๊ฐ์ด๋๋ผ์ธ์ ์ ๊ณตํ๋ ์ํคํ
์ฒ์
๋๋ค. AWS, Azure, Google Cloud Platform ๊ฐ์ ํด๋ผ์ฐ๋ ์๋น์ค ์ ๊ณต์
์ฒด๋ค์ ๊ฐ๊ฐ์ ๋๋ฉ์กด ์๋ฃจ์
์ ์ ๊ณตํ๋ฉฐ, ์ด๋ ์กฐ์ง์ด ํด๋ผ์ฐ๋๋ฅผ ์ฌ์ฉํ์ฌ ์ ํ๋ฆฌ์ผ์ด์
๊ณผ ์๋น์ค๋ฅผ ๋น ๋ฅด๊ฒ ๋ฐฐํฌํ๊ณ ์ด์ํ ์ ์๋๋ก ์ง์ํฉ๋๋ค.
- ๋๋ฉ์กด์ ๋ณด์, ๋คํธ์ํน, ์ธ์ฆ ๋ฐ ๊ถํ ๋ถ์ฌ, ๋ก๊น
๋ฐ ๋ชจ๋ํฐ๋ง๊ณผ ๊ฐ์ ํต์ฌ ์์๋ฅผ ํฌํจํ๋ฉฐ, ์ด๋ฅผ ํตํด ๊ธฐ์
์ ํด๋ผ์ฐ๋ ํ๊ฒฝ์ ๋ณด๋ค ํจ๊ณผ์ ์ผ๋ก ๊ด๋ฆฌํ๊ณ ๊ท๋ชจ์ ๋ง๊ฒ ํ์ฅํ ์ ์์ต๋๋ค. ๋ํ, ๋๋ฉ์กด์ ๋ฉํฐ ๊ณ์ ์ ๋ต, ์กฐ์ง์ ์ ์ฑ
๊ณผ ๊ท์ ์ค์ ์๊ตฌ์ฌํญ์ ์ง์ํ๋ ๊ตฌ์กฐ๋ฅผ ์ ๊ณตํจ์ผ๋ก์จ, ๋ณด์๊ณผ ๊ฑฐ๋ฒ๋์ค๋ฅผ ๊ฐํํ๋ ๋ฐ ์ค์ํ ์ญํ ์ ํฉ๋๋ค.
- provisioning
- ๋ฆฌ์์ค๋ฅผ ์ฌ์ฉ์ ์๊ตฌ์ ๋ง๊ฒ ์ค์ ํ๊ณ ๋ฐฐํฌํ๋ ๊ณผ์ (sw, hw, network ์ค์ , ์์คํ ๊ตฌ์ฑ, ์๋ฒ ํ ๋น, ์ฌ์ฉ์ ๊ณ์ ์์ฑ ๋ฑ)
- ๋ชจ๋๋ ์ด์ ํํฐ(Moderation Filter)
- ์จ๋ผ์ธ์์ ๋ถ์ ์ ํ ์ฝํ ์ธ ๋ฅผ ์๋ ๋๋ ์๋์ผ๋ก ๊ฒํ ํ์ฌ ํํฐ๋งํ๋ ๊ธฐ์
๋๊ธ