자연어처리

📘 제품 가격 예측 AI 만들기: Amazon 리뷰 데이터로 LLM 학습하기 01

2025.04.30

LLM을 위한 제품 설명 데이터 세부 조정 기술📌 실습 목표Hugging Face의 Amazon 리뷰 데이터셋을 활용하여 제품 설명 기반 가격 예측 모델을 만들기RAG/LLM 기반 모델 훈련을 위한 데이터 전처리 및 프롬프트 구성 실습🧱 1. 실습 환경 설정🧪 필요한 라이브러리 임포트# 📦 기본 라이브러리 임포트import os # 🧭 환경 변수(.env) 경로 및 파일 관리를 위한 표준 라이브러리from dotenv import load_dotenv # 🔐 .env 파일에 저장된 API 키 등의 환경 변수 로딩용from huggingface_hub import login # 🤝 Hugging Face Hub에 로그인하여 인증 토큰 사용 가능하게 함from datasets import ..

🧠 LLM 엔지니어링

RAG와 벡터 임베딩 이해하기

2025.04.22

🤖 벡터와 RAG 완전 이해하기 – LLM이 똑똑해지는 원리이 글은 RAG(Retrieval-Augmented Generation) 와 벡터 임베딩 개념, 그리고 그것이 LLM과 어떻게 연결되는지를 시각적으로 정리한 내용입니다.🔹 1. LM vs. LLM: 뭐가 다른 걸까?구분LM (Language Model)LLM (Large Language Model)의미언어 모델매우 크고 복잡한 언어 모델예시BERT, GPT-2 등GPT-4, Claude, Gemini 등기능문장 생성, 다음 단어 예측문맥 이해, 질의응답, 요약, 생성 등특징상대적으로 작음수십억~수천억 파라미터🧠 요약: LLM은 크기와 기능 면에서 LM을 확장한 고성능 버전입니다.🔹 2. 벡터 임베딩이란?텍스트를 수치화된 의미의 점(Vect..

📘 제품 가격 예측 AI 만들기: Amazon 리뷰 데이터로 LLM 학습하기 01

RAG와 벡터 임베딩 이해하기

티스토리툴바