반응형 LLM17 [LLM][RAG][AutoRAG]AutoRAG Part1: QA set AutoRAG Part1: QA setAutoRAG 준비물 중 하나인 QA data set을 만드는 것은 중요한 첫 단추Single Question and AnswerCorpus의 context를 보고 LLM이 Question 과 Answer를 생성한다https://docs.auto-rag.com/data_creation/tutorial.html#make-qa-data-from-corpus-data Start creating your own evaluation data - AutoRAG documentationPrevious Configure LLM & Embedding modelsdocs.auto-rag.com RawData 1)→ corpus 2)→ QA set 1. corpusDocs(Raw Da.. 2024. 7. 12. [LLM][RAG][AutoRAG]AutoRAG tutorial AutoRAG-tutorial-koRef, Githubhttps://github.com/Marker-Inc-Korea/AutoRAG-tutorial-koclone repositorypackage 설치pip install -r requirements.txt1. TrialAutoRAG 구동하여 결과물을 얻는 과정준비물: 1) corpus.parquet 2) qa.parquetbenchmark 폴더 생성Python Script (main.py)OPENAI_API_KEY 설정: .env.template 파일 복제 → key 입력 → .env 로 이름 변경하여 저장RUN scriptpython3 main.py --config ./config/tutorial_ko.yaml python main.py --config.. 2024. 7. 9. [LLM][RAG][AutoRAG]AutoRAG AutoRAG1. 개념AutoRAG(Automatic Retrieval-Augmented Generation)은 문서 검색과 질문 응답(QA) 시스템을 구축하는 데 도움을 주는 프레임워크임. 기본적으로 대량의 문서나 데이터를 기반으로 필요한 정보를 검색하고, 이를 기반으로 응답을 생성하는 시스템을 구축할 수 있음. 특히, 대규모 언어 모델을 활용하여 정확하고 효율적인 QA 시스템을 만들 수 있음.AutoRAG docs documentation2. 준비물AutoRAG를 사용하기 위해서는 다음과 같은 준비물이 필요함:Python 환경: Python 3.6 이상필수 라이브러리: transformers, torch, pandas 등데이터셋: QA 데이터셋과 검색할 문서 데이터셋3. 코드!pip install t.. 2024. 7. 5. [LLM][RAG]RAG study 1. Langchain- RAG from scratch- Youtube:https://www.youtube.com/watch?v=wd7TZ4w1mSw&list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&pp=iAQBhttps://www.youtube.com/watch?v=sVcwVQRHIc8- GutHub: https://github.com/langchain-ai/rag-from-scratch GitHub - langchain-ai/rag-from-scratchContribute to langchain-ai/rag-from-scratch development by creating an account on GitHub.github.com 아주 깔끔함 최신 트랜드 반영되어 있음. 한번 쭉.. 2024. 6. 28. [LLM][Evaluation]DeepEval, ragas 1. LLM evlauation - LLM 평가는 어려운 문제 중 하나임- 대중적으로 많이 사용되고 있는 무료 프레임워크 두개 소개- 보통 4가지 구성요소 있으면 됨 1) question 2) answer 3) context(RAG) 4) ground_truth2. DeepEval.- Metrics and Features- Githttps://github.com/confident-ai/deepeval GitHub - confident-ai/deepeval: The LLM Evaluation FrameworkThe LLM Evaluation Framework. Contribute to confident-ai/deepeval development by creating an account on GitHub.g.. 2024. 4. 29. [LLM][RAG]Retrieval-Augmented Generation 1. RAG ?1) ChatGPTQuestion: RAG에 대해 블로그 할 내용 요약하고 참고 자료 주소 포함해서 10줄 내외로 작성해줘Answer: 검색 증강 생성(RAG)은 정보 검색의 힘을 언어 생성과 통합하는 인공 지능 분야의 새로운 접근 방식입니다. 이 기술은 생성 프로세스 중에 외부 문서에서 관련 데이터를 동적으로 가져와 AI가 생성한 텍스트의 품질과 정확성을 크게 향상시킵니다. Meta AI가 개발한 RAG는 변환기 아키텍처, 특히 검색용 BERT, 생성용 GPT와 같은 모델을 활용하여 보다 상황에 맞는 시스템을 생성합니다.RAG는 먼저 검색기 모델을 사용하여 입력 쿼리를 기반으로 관련 문서 구절을 선택하는 방식으로 작동합니다. 그런 다음 이러한 문서는 최종 텍스트 출력을 합성하는 생성기.. 2024. 4. 26. 이전 1 2 3 다음
