본문 바로가기
LLM

[LLM][RAG][AutoRAG]AutoRAG tutorial

by Chandler.j 2024. 7. 9.
반응형

AutoRAG-tutorial-ko

Ref, Github

https://github.com/Marker-Inc-Korea/AutoRAG-tutorial-ko

  • clone repository
  • package 설치
pip install -r requirements.txt

1. Trial

  • AutoRAG 구동하여 결과물을 얻는 과정
  • 준비물: 1) corpus.parquet 2) qa.parquet
  • benchmark 폴더 생성

  • Python Script (main.py)
    • OPENAI_API_KEY 설정: .env.template 파일 복제 → key 입력 → .env 로 이름 변경하여 저장
    • RUN script
python3 main.py --config ./config/tutorial_ko.yaml 

python main.py --config ./config/tutorial_ko.yaml

  • CLI (autorag evaluate)
    • OPENAI_API_KEY 환경변수로 설정
      • linux, unix: export OPENAI_API_KEY=sk-xxxx
      • window: set OPENAI_API_KEY=sk-xxxx
    • command
autorag evaluate --qa_data_path ./data/qa.parquet --corpus_data_path ./data/corpus.parquet --config ./config/tutorial_ko.yaml --project_dir ./benchmark

2. Dashboard

  • 결과를 해석하여 피드백하는 과정
autorag dashboard --trial_dir ./benchmark/0

3. Prototype, Deployment

  • streamlit으로 프로토타입 보는 과정
autorag run_web --trial_path ./benchmark/0

TOP

Designed by 티스토리