LLM을 위한 제품 설명 데이터 세부 조정 기술📌 실습 목표Hugging Face의 Amazon 리뷰 데이터셋을 활용하여 제품 설명 기반 가격 예측 모델을 만들기RAG/LLM 기반 모델 훈련을 위한 데이터 전처리 및 프롬프트 구성 실습🧱 1. 실습 환경 설정🧪 필요한 라이브러리 임포트# 📦 기본 라이브러리 임포트import os # 🧭 환경 변수(.env) 경로 및 파일 관리를 위한 표준 라이브러리from dotenv import load_dotenv # 🔐 .env 파일에 저장된 API 키 등의 환경 변수 로딩용from huggingface_hub import login # 🤝 Hugging Face Hub에 로그인하여 인증 토큰 사용 가능하게 함from datasets import ..
🤖 LangChain으로 시작하는 RAG 파이프라인 구축 여정이 글은 RAG(Retrieval-Augmented Generation) 개념을 바탕으로, LangChain을 활용해 실제 지식 검색 + 응답 파이프라인을 구축하는 흐름을 정리한 내용입니다.🔁 RAG 복습RAG란?사용자의 질문과 의미적으로 유사한 정보를 벡터 기반 검색을 통해 찾아내고,해당 정보를 프롬프트에 포함해 LLM이 더 정확한 응답을 생성하는 방식입니다.핵심 구성요소질문 → 벡터화벡터 DB에서 관련 문서 검색검색된 문서 + 질문 → LLM 입력LLM이 응답 생성🧱 오늘의 핵심: LangChain으로 RAG 구현하기🧩 LangChain이란?LangChain은 다양한 LLM 기능(문서 검색, 질의응답, 요약, 생성 등)을블록처럼 연결..
🤖 벡터와 RAG 완전 이해하기 – LLM이 똑똑해지는 원리이 글은 RAG(Retrieval-Augmented Generation) 와 벡터 임베딩 개념, 그리고 그것이 LLM과 어떻게 연결되는지를 시각적으로 정리한 내용입니다.🔹 1. LM vs. LLM: 뭐가 다른 걸까?구분LM (Language Model)LLM (Large Language Model)의미언어 모델매우 크고 복잡한 언어 모델예시BERT, GPT-2 등GPT-4, Claude, Gemini 등기능문장 생성, 다음 단어 예측문맥 이해, 질의응답, 요약, 생성 등특징상대적으로 작음수십억~수천억 파라미터🧠 요약: LLM은 크기와 기능 면에서 LM을 확장한 고성능 버전입니다.🔹 2. 벡터 임베딩이란?텍스트를 수치화된 의미의 점(Vect..
💼 전문가 수준의 지식 기반 질문응답 챗봇 만들기이번 글에서는 전자상거래 회사 Shopwise를 위한지식 기반 질문-응답(Q&A) 에이전트를 만드는 과정을 정리합니다.정확도와 신뢰성이 중요한 영역이기 때문에,RAG(Retrieval Augmented Generation) 방식을 활용하며,이를 통해 단순 LLM보다 훨씬 정확한 답변을 기대할 수 있습니다.📂 1. 프로젝트 준비 - 코드 및 환경 설정# 📁 운영체제 관련 기능을 다루는 기본 모듈# - 환경 변수 설정, 파일 경로 조작 등에 사용됨import os# 📂 특정 경로에서 파일을 패턴(예: *.txt)으로 한꺼번에 가져올 때 사용# - 예: 문서 디렉토리에서 모든 PDF 파일을 한 번에 불러오기import glob# 🔐 .env 파일에 저장..
