📝 개요이 글에서는 제품 설명 텍스트만을 입력받아가격을 예측하는 Fine-tuned GPT-4o-mini 모델을 구축하는 과정을 다룹니다.데이터 준비부터 모델 파인튜닝,완성된 모델 테스트까지 전 과정을 코드와 함께 실습하며,Weights & Biases를 이용한 학습 모니터링과 모델 성능 평가 방법도 소개합니다.주요 목표:제품 설명을 기반으로 가격을 추론하는 맞춤형 GPT 모델 만들기OpenAI Fine-tuning API 실습학습 진행 상황을 Weights & Biases로 실시간 추적Fine-tuned 모델을 활용해 테스트 및 성능 평가하기💵 문자열에서 가격 숫자만 추출하는 유틸리티 함수 (Utility Function to Extract Price)모델이 응답한 문자열에서 가격 숫자만 뽑아내는 ..
📝 개요이 글에서는 제품 설명 텍스트만을 입력받아가격을 예측하는 Fine-tuned GPT-4o-mini 모델을 구축하는 과정을 다룹니다.데이터 준비부터 모델 파인튜닝,완성된 모델 테스트까지 전 과정을 코드와 함께 실습하며,Weights & Biases를 이용한 학습 모니터링과 모델 성능 평가 방법도 소개합니다.주요 목표:제품 설명을 기반으로 가격을 추론하는 맞춤형 GPT 모델 만들기OpenAI Fine-tuning API 실습학습 진행 상황을 Weights & Biases로 실시간 추적Fine-tuned 모델을 활용해 테스트 및 성능 평가하기🎨 Weights & Biases(W&B) 연동 준비Weights and Biases(W&B)는 학습 과정을 모니터링할 수 있는 무료인 플랫폼입니다.OpenAI..
📝 개요이 글에서는 제품 설명 텍스트만을 입력받아가격을 예측하는 Fine-tuned GPT-4o-mini 모델을 구축하는 과정을 다룹니다.데이터 준비부터 모델 파인튜닝,완성된 모델 테스트까지 전 과정을 코드와 함께 실습하며,Weights & Biases를 이용한 학습 모니터링과 모델 성능 평가 방법도 소개합니다.주요 목표:제품 설명을 기반으로 가격을 추론하는 맞춤형 GPT 모델 만들기OpenAI Fine-tuning API 실습학습 진행 상황을 Weights & Biases로 실시간 추적Fine-tuned 모델을 활용해 테스트 및 성능 평가하기🚀 라이브러리 및 환경 설정모델 파인튜닝과 데이터 처리에 필요한 주요 라이브러리들을 불러옵니다.이제부터 본격적으로 작업을 시작할 준비를 합니다.📦 필수 라이브..
✨ 개요이 문서는 제품 설명 텍스트만을 기반으로 가격을 예측하는 프로젝트의 일환으로, 최신 Frontier 모델들의 성능을 평가하는 과정을 정리한 것입니다. 먼저, 기존에 전처리된 테스트 데이터를 활용해 사람이 직접 예측한 결과를 기준 삼아 비교하고,그 다음으로 다양한 Frontier 모델 (예: gpt-4o-mini, gpt-4o-2024-08-06, Claude 3.5 Sonnet)을 이용해모델별 가격 예측 성능을 테스트합니다. 특히, Frontier 모델들은 별도의 추가 학습 없이 바로 테스트 데이터에 적용하며,정확성, 응답 포맷 처리(get_price), 비용 이슈(호출 비용 1~2센트 발생) 등에 주의하여 진행합니다. 이 문서는 다음을 목표로 합니다:Frontier 모델이 제품 가격 예측 문제에..
🔰 개요제품 설명 텍스트만을 가지고 가격을 예측하는 머신러닝 모델을 실험해 봅니다.Baseline 모델부터 시작해서 BOW, Word2Vec, SVR, 랜덤 포레스트까지 점진적으로 성능을 개선해 나가는 과정을 코드와 함께 단계별로 정리합니다.7. 📈 수치형 특성을 활용한 선형 회귀 실험📈 선형 회귀(Linear Regression)를 이용한 가격 예측아래는 전통적인 선형 회귀 모델을 학습하고 평가하는 전체 코드이며,feature들을 실제 회귀 모델에 넣어 가격 예측 실험을 해보는 단계입니다.# 📈 전통적인 선형 회귀 모델 실험np.random.seed(42)# 🔒 무작위성 제어 (결과 재현 가능하도록 시드 고정)# 🧩 입력 특성과 타깃 변수 분리feature_columns = ['weight'..
🔰 개요제품 설명 텍스트만을 가지고 가격을 예측하는 머신러닝 모델을 실험해 봅니다.Baseline 모델부터 시작해서 BOW, Word2Vec, SVR, 랜덤 포레스트까지 점진적으로 성능을 개선해 나가는 과정을 코드와 함께 단계별로 정리합니다.📦 1. 라이브러리 임포트 및 환경 설정🛠️ 코드 임포트 및 환경 설정# 📁 파일 및 환경 설정 관련 라이브러리import os # 📂 파일 경로, 환경 변수 등 시스템 관련 작업을 할 때 사용import math # ➗ 수학 계산 (루트, 로그 등)에 필요한 함수들 제공import json # 📄 JSON 형식 파일 읽기/쓰기 작업에 사용# 🎲 랜덤 처리 관련imp..
LLM을 위한 제품 설명 데이터 세부 조정 기술📌 실습 목표Hugging Face의 Amazon 리뷰 데이터셋을 활용하여 제품 설명 기반 가격 예측 모델을 만들기RAG/LLM 기반 모델 훈련을 위한 데이터 전처리 및 프롬프트 구성 실습🧱 1. 실습 환경 설정🧪 필요한 라이브러리 임포트# 📦 기본 라이브러리 임포트import os # 🧭 환경 변수(.env) 경로 및 파일 관리를 위한 표준 라이브러리from dotenv import load_dotenv # 🔐 .env 파일에 저장된 API 키 등의 환경 변수 로딩용from huggingface_hub import login # 🤝 Hugging Face Hub에 로그인하여 인증 토큰 사용 가능하게 함from datasets import ..
🧠 LangChain + FAISS + Gradio로 만드는 RAG 기반 지식 챗봇문서를 검색해 대화형으로 응답해 주는 RAG 기반 지식 챗봇을 만들어보는 프로젝트입니다.OpenAI의 LLM을 기반으로 벡터 검색, 대화 메모리, 웹 인터페이스까지 연결하며 실습하였습니다.5. 🎯 FAISS 벡터 추출 및 시각화 준비이 코드는 FAISS 벡터 저장소에서 벡터와 메타데이터를 꺼내어 시각화를 준비하는 부분입니다.# 🎯 시각화를 위한 사전 준비 단계 (FAISS 저장소에서 벡터 및 메타데이터 추출)vectors = [] # 벡터들을 담을 리스트documents = [] # 문서 원문을 담을 리스트doc_types = [] # 문서 유형(폴더 이름 등)을 담을 리스트colors = [] ..
🧠 LangChain + FAISS + Gradio로 만드는 RAG 기반 지식 챗봇문서를 검색해 대화형으로 응답해 주는 RAG 기반 지식 챗봇을 만들어보는 프로젝트입니다.OpenAI의 LLM을 기반으로 벡터 검색, 대화 메모리, 웹 인터페이스까지 연결하며 실습하였습니다.🔍 FAISS란 무엇인가요?FAISS는 Facebook AI Similarity Search의 약자로, Facebook AI Research에서 개발한 벡터 유사도 검색 라이브러리입니다.대규모 벡터 데이터에서 유사한 항목을 빠르게 검색할 수 있어, 문서 검색 기반 생성(RAG) 시스템에 매우 적합합니다.1. 📦 필수 라이브러리 임포트🔹 주요 라이브러리 설명import os, globfrom dotenv import load_dote..
