🧠 LangChain + Chroma + t-SNE로 문서 임베딩 시각화하기문서를 벡터로 변환하고 시각화하여 RAG 검색의 기반을 시각적으로 이해해 보는 실습입니다.📦 1. 필수 라이브러리 임포트import os # 🧭 파일 경로 탐색 및 환경 변수 관리용 표준 라이브러리import glob # 📂 폴더 내 특정 패턴의 파일을 한 번에 가져올 때 사용 (예: *.txt)from dotenv import load_dotenv # 🔐 .env 파일에 저장된 환경변수(예: API 키) 불러오는 함수import gradio as gr # 🧑💻 Gradio 라이브러리 - 웹 UI를 손쉽게 만들 수 있음 (LLM 챗봇 인터페이스 구축 시 사용)?..
LLM에 넣기 좋은 문서를 만들기 위한 LangChain 문서 청크 분할 가이드 (chunk_size & overlap 이해하기)# ✂️ 문서를 LLM 입력에 맞게 청크(chunk) 단위로 분할하는 단계# - 긴 문서는 한 번에 LLM에 넣기 어렵기 때문에, 적절한 길이로 잘라야 함# - LangChain의 CharacterTextSplitter를 사용해 '문자 기준'으로 분할함text_splitter = CharacterTextSplitter( chunk_size=1000, # 📏 한 청크당 최대 1,000자까지 포함 chunk_overlap=200 # 🔁 청크 간에 200자씩 겹치도록 설정 (문맥 끊김 방지용))# 🧩 실제 분할 실행: documents 리스트 ..
💼 전문가 지식 기반 응답 에이전트회사 내부 구성원들이 사용할 수 있는전문적인 지식 기반 질문응답(Q&A) 에이전트를 구축합니다.이 에이전트는 높은 정확도를 유지해야 하며, 구현 비용은 낮게 유지하는 것이 중요합니다. 이 프로젝트에서는 질문에 대한 높은 정확도를 보장하기 위해RAG (Retrieval Augmented Generation) 방식을 활용합니다.Gradio 챗봇 만들기 전에 알아야 할 파이썬 필수 라이브러리 정리 (os, glob, dotenv, gradio)# 📦 필수 라이브러리 임포트 (환경 설정 + UI 구성 등)import os # 🧭 파일 경로 및 환경 변수 관리를 위한 표준 라이브러리import glob # 📂 폴더 내 특정 패..
🤖 LangChain으로 시작하는 RAG 파이프라인 구축 여정이 글은 RAG(Retrieval-Augmented Generation) 개념을 바탕으로, LangChain을 활용해 실제 지식 검색 + 응답 파이프라인을 구축하는 흐름을 정리한 내용입니다.🔁 RAG 복습RAG란?사용자의 질문과 의미적으로 유사한 정보를 벡터 기반 검색을 통해 찾아내고,해당 정보를 프롬프트에 포함해 LLM이 더 정확한 응답을 생성하는 방식입니다.핵심 구성요소질문 → 벡터화벡터 DB에서 관련 문서 검색검색된 문서 + 질문 → LLM 입력LLM이 응답 생성🧱 오늘의 핵심: LangChain으로 RAG 구현하기🧩 LangChain이란?LangChain은 다양한 LLM 기능(문서 검색, 질의응답, 요약, 생성 등)을블록처럼 연결..
