반응형
Medical LLM benchmark
MedQA
MedQA 소개:
- MedQA는 미국 의사 면허 시험(USMLE) 문제를 기반으로 한 질문 답변(Q&A) 데이터셋.
- 주로 의학 교육 및 연구, AI 시스템 개발에 사용.
- 3가지 언어번전: English, simplified Chinese, and traditional Chinese
데이터셋 구성:
- 질문: 여러 선택지가 있는 객관식 문제 형태.
- 선택지: 일반적으로 4~5개의 선택지 제공, 하나의 정답 존재.
- 정답: 각 문제의 올바른 답이 명시.
- 설명: 일부 문제는 정답에 대한 설명 포함.
활용 분야:
- 의료 AI 연구: 의료 분야 AI의 성능 평가에 활용.
- 의학 교육: 학생과 의료 전문가의 학습 도구로 활용.
- 자연어 처리(NLP) 연구: 복잡한 의학 텍스트를 이해하고 분석하는 모델 개발에 활용.
의의:
- 의학적 질문 답변을 위한 AI 시스템 개발에 중요한 자원.
- 의료 AI와 NLP 연구를 위한 강력한 도구로 활용 가능.
MedQA 관련 논문
- https://paperswithcode.com/paper/can-generalist-foundation-models-outcompete
- https://paperswithcode.com/paper/hippocrates-an-open-source-framework-for
- https://paperswithcode.com/paper/med42-v2-a-suite-of-clinical-llms
