가짜연구소 8기 빌더 후기 역할 - 아카데미 프로젝트 빌더 참여 프로젝트명 - PH; LLM-Prompt engineering in Healthcare 활동기간 - 2024.03.06~2024.06.26 스터디 멤버 - 빌더1, 수료러너4, 이탈러너1 활동내용 - 1-3 주차: LLM 이해- 4-7 주차: Prompt engineering 이해 및 실습- 8 주차: 중간 리뷰- 9-10 주차: 의료 관련 Public data 소개 및 연구 주제 찾기- 11-15 주차: 연구 진행- 16 주차: 창업경진대회 참가 매주(수) 오프라인(강남) 모임으로 활동 진행성과- 2024년 국민행복 서비스 발굴·창업 경진대회, 입선총평다양한 구성원들을 통해 서로의 영향력을 나누며 성장할 수 있는 좋은 기회입니다. 자기만..
0. 개요- RAGAS는 1. Generation 부분과 2. Retireval 부분을 평가하는 지표가 각 2개씩 대표적으로 있음1. 신뢰성(Faithfulness)정의: 생성된 응답의 사실적 정확성을 평가.구성 요소:질문: 사용자로부터 받은 원래 질문.문맥: 질문에 대한 배경 정보 또는 참조 문서.생성된 응답: 모델이 생성한 답변.주장 집합: 생성된 응답에서 식별된 주장들.평가 방법:Answer 로 부터 Claim 들을 생성 → 생성된 Claim 들이 context로 추론 가능한가?생성된 응답에서 주장들을 식별.각 주장을 문맥과 비교하여 추론 가능한지 판단.신뢰성 점수 계산: 신뢰성 점수=총 주장 수문맥에서 추론 가능한 주장 수$$ \text{신뢰성 점수} = \frac{\text{문맥에서 추론 가능한..
1. 프로테오믹스란?정의: 단백질체(Proteome)와 이를 연구하는 학문적 방법론(Proteomics)의 결합어.목적: 세포 내 단백질의 발현, 변형, 상호작용 등을 대규모로 분석하여 생리적 변화와 질병의 진행 과정을 이해.2. 연구 방법총 단백질 분리: 2D 전기영동법을 이용하여 단백질을 분리.펩타이드 질량 지문법 (Peptide Mass Fingerprinting): MALDI-TOF MS를 통해 단백질을 특성화.단백질 동정: 데이터베이스를 통해 분석된 펩타이드를 비교하여 단백질을 식별.3. 최신 연구 동향샘플 준비: 단백질 용해를 돕는 다양한 버퍼 및 조제 방법이 개발 중.2차 전기영동 기술: IPG-DALT 시스템 등 다양한 pH 범위별 isoelectric focusing strip 사용.질량..
1. SAS OnDemand for Academicshttps://www.sas.com/ko_kr/software/on-demand-for-academics.html SAS OnDemand for AcademicsSAS OnDemand for Academics provides a no-cost online delivery model to professors for teaching and to students for learning data management and analytics.www.sas.com2. Sign in / log in3. SAS studio Launch
AutoRAG Part2: QA set-RAGASusing RAGAS framework1. default# 1. default methodimport pandas as pdfrom autorag.data.qacreation.ragas import generate_qa_ragascorpus_df = pd.read_parquet(corpus_path)qa_df_ragas = generate_qa_ragas(corpus_df, test_size=50)2. distribution# 2. distributions methodfrom ragas.testset.evolutions import simple, reasoning, multi_context, conditionalfrom autorag.data.qacreat..
AutoRAG Part1: QA setAutoRAG 준비물 중 하나인 QA data set을 만드는 것은 중요한 첫 단추Single Question and AnswerCorpus의 context를 보고 LLM이 Question 과 Answer를 생성한다https://docs.auto-rag.com/data_creation/tutorial.html#make-qa-data-from-corpus-data Start creating your own evaluation data - AutoRAG documentationPrevious Configure LLM & Embedding modelsdocs.auto-rag.com RawData 1)→ corpus 2)→ QA set 1. corpusDocs(Raw Da..
AutoRAG-tutorial-koRef, Githubhttps://github.com/Marker-Inc-Korea/AutoRAG-tutorial-koclone repositorypackage 설치pip install -r requirements.txt1. TrialAutoRAG 구동하여 결과물을 얻는 과정준비물: 1) corpus.parquet 2) qa.parquetbenchmark 폴더 생성Python Script (main.py)OPENAI_API_KEY 설정: .env.template 파일 복제 → key 입력 → .env 로 이름 변경하여 저장RUN scriptpython3 main.py --config ./config/tutorial_ko.yaml python main.py --config..
AutoRAG1. 개념AutoRAG(Automatic Retrieval-Augmented Generation)은 문서 검색과 질문 응답(QA) 시스템을 구축하는 데 도움을 주는 프레임워크임. 기본적으로 대량의 문서나 데이터를 기반으로 필요한 정보를 검색하고, 이를 기반으로 응답을 생성하는 시스템을 구축할 수 있음. 특히, 대규모 언어 모델을 활용하여 정확하고 효율적인 QA 시스템을 만들 수 있음.AutoRAG docs documentation2. 준비물AutoRAG를 사용하기 위해서는 다음과 같은 준비물이 필요함:Python 환경: Python 3.6 이상필수 라이브러리: transformers, torch, pandas 등데이터셋: QA 데이터셋과 검색할 문서 데이터셋3. 코드!pip install t..
