🧠 LangChain + FAISS + Gradio로 만드는 RAG 기반 지식 챗봇문서를 검색해 대화형으로 응답해 주는 RAG 기반 지식 챗봇을 만들어보는 프로젝트입니다.OpenAI의 LLM을 기반으로 벡터 검색, 대화 메모리, 웹 인터페이스까지 연결하며 실습하였습니다.🔍 FAISS란 무엇인가요?FAISS는 Facebook AI Similarity Search의 약자로, Facebook AI Research에서 개발한 벡터 유사도 검색 라이브러리입니다.대규모 벡터 데이터에서 유사한 항목을 빠르게 검색할 수 있어, 문서 검색 기반 생성(RAG) 시스템에 매우 적합합니다.1. 📦 필수 라이브러리 임포트🔹 주요 라이브러리 설명import os, globfrom dotenv import load_dote..
🧠 LangChain + Chroma + t-SNE로 문서 임베딩 시각화하기문서를 벡터로 변환하고 시각화하여 RAG 검색의 기반을 시각적으로 이해해 보는 실습입니다.🔌 9. 벡터 임베딩 모델 설정이 코드는 각 문서 청크를 의미 기반 벡터로 변환해서 벡터 저장소에 넣기 위한 사전 준비 단계입니다.# 🧠 문서 청크들을 벡터 임베딩으로 변환하여 벡터 저장소(Vector Store)에 넣기 위한 준비embeddings = OpenAIEmbeddings()# 🔹 OpenAI의 임베딩 모델 사용 설정# - 각 텍스트 청크를 의미 기반 벡터로 변환# - 이 벡터는 RAG 검색에서 유사도 비교 기준으로 사용됨# - OpenAI API 키가 필요하며, 비용이 발생할 수 있음# 💡 참고: HuggingFace의 ..
🧠 LangChain + Chroma + t-SNE로 문서 임베딩 시각화하기문서를 벡터로 변환하고 시각화하여 RAG 검색의 기반을 시각적으로 이해해 보는 실습입니다.📦 1. 필수 라이브러리 임포트import os # 🧭 파일 경로 탐색 및 환경 변수 관리용 표준 라이브러리import glob # 📂 폴더 내 특정 패턴의 파일을 한 번에 가져올 때 사용 (예: *.txt)from dotenv import load_dotenv # 🔐 .env 파일에 저장된 환경변수(예: API 키) 불러오는 함수import gradio as gr # 🧑💻 Gradio 라이브러리 - 웹 UI를 손쉽게 만들 수 있음 (LLM 챗봇 인터페이스 구축 시 사용)?..
LLM에 넣기 좋은 문서를 만들기 위한 LangChain 문서 청크 분할 가이드 (chunk_size & overlap 이해하기)# ✂️ 문서를 LLM 입력에 맞게 청크(chunk) 단위로 분할하는 단계# - 긴 문서는 한 번에 LLM에 넣기 어렵기 때문에, 적절한 길이로 잘라야 함# - LangChain의 CharacterTextSplitter를 사용해 '문자 기준'으로 분할함text_splitter = CharacterTextSplitter( chunk_size=1000, # 📏 한 청크당 최대 1,000자까지 포함 chunk_overlap=200 # 🔁 청크 간에 200자씩 겹치도록 설정 (문맥 끊김 방지용))# 🧩 실제 분할 실행: documents 리스트 ..
