분당서울대학교병원 M.A.R.S. 2025 의무기록지 생성 데이터톤 후기

1. 대회 공고

2025 SNUBH DATATHON 요약

• 대회명: 2025 SNUBH DATATHON (M.A.R.S. Datathon)
• 주제: 의료 현장의 핵심 과제를 해결하는 생성형 AI 데이터톤
• 데이터: 분당서울대학교병원의 실제 임상 데이터 기반
• 개발 목표:
  • 의료 현장용 임상 노트 생성 AI 모델 개발
  • 생성형 AI를 통한 의무기록 작성 부담 문제 해결
  • 환자 케어 품질 향상 및 의료진 업무 효율성 증대

https://datathon2025.imweb.me/

MARS2025datathon

 

- 참가신청서

팀 소개  팀명: 크리스MARS 소속: 서울대학교, 분당서울대학교병원, 에비드넷 구성: 데이터 과학자, 임상의, 엔지니어 등 4인 전문팀 핵심 역량 학(學): 서울대 헬스케어융합학과 최신 AI 알고리즘·연구 동향 기반의 학술적 접근 데이터 분석 방향 제시 및 모델 고도화 주도 병(病): 분당서울대병원 임상의 의료 현장 문제 정의 및 임상적 해석 제공 실제 진료 환경에서 유용한 AI 모델 방향 제시 산(産): 에비드넷 엔지니어 대규모 의료데이터 표준화 및 AI 상용화 경험 데이터 파이프라인 및 모델 배포 책임 참가 동기 및 목표 의료 데이터의 잠재력 극대화 실제 임상 문제 해결 및 환자 중심 서비스 개선 의료 AI 특허·논문·기술 사업화 추진 AI 모델 개발 계획 요약  1. 예선: 임상의 피드백 기반 Prompting 최적화 임상 중심 데이터 분석 MIMIC-IV 데이터셋 임상적 분석 한국 의료환경 맞춤 전처리 방향 설정 임상 노트 품질 기준 및 평가 지표 정의 프롬프트 엔지니어링 Human-in-the-loop 반복 개선 구조 전문과별 맞춤형 프롬프트 설계 (내과·외과·소아과 등) 실제 의료진 피드백 반영 성능 평가 실시간 피드백 루프 구축 BLEU/ROUGE + 임상의 만족도 지표 동시 활용 LLM(GPT, Claude, Gemini) 성능 비교 및 효율성 분석 2. 본선: RAG vs Fine-tuning 비교 및 하이브리드 솔루션 Track 1: RAG 시스템 SNUBH 임상지식 DB 구축 가이드라인·우수기록·프로토콜 데이터베이스화 동적 지식 검색 및 프롬프트 결합 Track 2: Fine-tuning 시스템 실제 입원→퇴원기록 매핑 데이터 생성 비식별화·윤리 준수 LoRA·QLoRA 적용, 효율적 튜닝 Track 3: 하이브리드 최적화 동일 테스트셋 기반 다차원 성능 비교 RAG·Fine-tuning 장점 결합 응급상황/일반상황 별 모델 선택 메커니즘 개발 일정 요약 (개조체) 1주차: 시스템 구축 RAG용 벡터DB 및 검색 최적화 Fine-tuning용 데이터 파이프라인 및 GPU 환경 설정 2주차: 성능 고도화 RAG: Query Expansion, Reranking 적용 Fine-tuning: 학습률, Early Stopping 최적화 두 시스템 벤치마킹 및 효율 분석 3주차: 통합 및 검증 하이브리드 시스템 완성 실임상 사례 테스트 및 만족도 조사 병원 연동 API, 확장성 확보, 지속적 모니터링 구축

---

2. 예선

데이터 명세서

- 예선 결과: Test set에서 10등안에 들지 못함

---

3. 본선

- 주최측에서 본선 경험해볼 수 있게 배려해줌.

4. 결과

핵심 전략: 1️⃣ 모델 선택: EXAONE-3.5-7.8B-Instruct 한국어 특화 모델 (LG AI Research) 의료 용어 이해 우수 Instruction-tuned (프롬프트 엔지니어링 효과적) 7.8B 파라미터 (실행 가능한 크기) 2️⃣ Few-shot Learning 적용 미세조정(Fine-tuning) 없이 즉시 사용 가능 샘플 2-4개를 참고 예시로 제공 출력 형식 일관성 향상 의학 용어 표기법 학습 3️⃣ 구조화된 프롬프트 엔지니어링 9-섹션 필수 포맷 명시 5가지 핵심 지침 제공 날짜/수치/의학 용어 정확성 강조 4️⃣ 안정성 우선 전략 Greedy decoding (temperature=0.0) RuntimeError 방지 재현 가능한 결과

 

---

5. Lesson&Learn

- EXAONE 모델을 활용하여 LLM 에이전트를 만들어 보는 경험.

- fewshot learning을 적용하는 경험.

- high computation GPU 사용 경험.

- 실제 LLM 에이전트를 활용하여 생산성을 높이는 솔루션 개발 경험.