티스토리

Data Insider
검색하기

블로그 홈

Data Insider

datainsider.tistory.com/m

Data Scientist in Healthcare.

구독자
6
방명록 방문하기
반응형

주요 글 목록

  • [python][flask] 시간 관리 앱 BC-lock (Blocks of Clock) 만들기 1. 개요- 시간을 블록화 해서 엄격히 관리해 주는 앱을 만들고 싶었음- flask를 활용해서 진행함2. 코드- python script + html 1) app.pyfrom flask import Flask, render_template, request, redirect, url_forimport datetimefrom jinja2 import Environmentapp = Flask(__name__)# Define the attention grade categoriesattention_grades = ['LOW', 'MEDIUM', 'HIGH']# Define the default time blocks (1 hour or 30 minutes)time_blocks_1h = [f"{str(hour).zf.. 공감수 0 댓글수 0 2024. 11. 21.
  • Python Tkinter: GUI 프로그래밍 기초부터 실전까지 1. Tkinter란?Python의 기본 내장 GUI(Graphical User Interface) 라이브러리간단한 데스크톱 애플리케이션 제작 가능크로스 플랫폼 지원 (Windows, Mac, Linux)2. 주요 위젯(Widgets) 소개Label: 텍스트/이미지 표시Button: 클릭 이벤트 처리Entry: 한 줄 텍스트 입력Text: 여러 줄 텍스트 입력Frame: 위젯 그룹화Canvas: 그래픽 그리기Checkbutton: 체크박스Radiobutton: 라디오 버튼Listbox: 목록 표시3. 기본 레이아웃 관리자pack(): 순차적 배치grid(): 격자형 배치place(): 절대 위치 배치4. 실전 예제: 간단한 계산기 만들기import tkinter as tkfrom tkinter impor.. 공감수 1 댓글수 0 2024. 11. 1.
  • [autoML][python][mljar] automated machine learning Part3 : interpretation reportUsing Visual Studio Code 이전글 참고- Part1 [python][mljar] automated machine learning - Part2 : mljar순서 1. mljar : automated machine learning 2. install - pip 3. run code 4. report 1. mljar : automated machine learning - 머신러닝 자동화 프레임 워크 그림참고 참고 : https://mljar.com/automated-machine-learning/ What is Automated Machindatainsider.tistory.com- Part2 [autoML][python][mljar] automated machine learning - Part2 : mljar.version21. p.. 공감수 0 댓글수 0 2024. 9. 11.
  • [python][binary classification][Probability][threshold][performance]Best threshold Method 1. 요약이진 분류 모델을 사용하여 결과를 예측할 때, 모델은 주로 확률값을 출력합니다. 이 확률값을 바탕으로 예측을 양성(Positive) 또는 음성(Negative)으로 변환할 때, 임계값(threshold)을 선택해야 합니다. 기본적으로 0.5를 많이 사용하지만, 데이터의 불균형이나 문제의 특성에 따라 0.5는 최적의 임계값이 아닐 수 있습니다. 따라서 임계값을 올바르게 선택하면 모델의 성능을 크게 향상시킬 수 있습니다.2. 방법론최적의 임계값을 선택하는 방법은 다양하며, 각각의 방법은 모델이 달성하려는 목표에 따라 다르게 적용됩니다.1) ROC Curve와 Youden's J StatisticROC (Receiver Operating Characteristic) 곡선은 TPR(진양성률, True .. 공감수 2 댓글수 1 2024. 9. 6.
  • [Python][Tableau][PDF][xlsx to pdf][csv to pdf] 테이블 형식 데이터를 한글 PDF 문서로 변환하기 1. 개요- RAG system을 구축하려고 할 때 PDF 문서의 형태가 아닐 수 있다.- 예를 들어 csv, xlsx 형태일 수 있는데 이를 PDF docements로 만드는 방법.2. 필수패키지!pip install reportlab fpdf23. 코드- 한글이기 때문에 encoding에 주의해야함import pandas as pdfrom langchain.schema import Documentfrom reportlab.lib.pagesizes import A4from reportlab.pdfgen import canvasfrom reportlab.pdfbase.ttfonts import TTFontfrom reportlab.pdfbase import pdfmetricsfrom reportlab.l.. 공감수 0 댓글수 1 2024. 8. 27.
  • [Python] "RuntimeError: This event loop is already running" 오류 해결 방법 Python을 사용하다 보면 비동기 작업을 처리하기 위해 asyncio 라이브러리를 자주 사용하게 됩니다. 특히 Jupyter Notebook과 같은 인터랙티브 환경에서는 asyncio 이벤트 루프가 이미 실행 중인 경우가 많아 RuntimeError: This event loop is already running 오류가 발생할 수 있습니다.이 문제를 해결하기 위한 방법을 살펴보겠습니다.1. 오류 메시지의 원인asyncio 라이브러리를 사용할 때, 이미 실행 중인 이벤트 루프에서 다시 이벤트 루프를 실행하려고 하면 이 오류가 발생합니다. 2. 해결 방법방법 1: nest_asyncio 사용nest_asyncio 패키지를 사용하면 현재 실행 중인 이벤트 루프를 중첩하여 사용할 수 있습니다. 이를 통해 Ju.. 공감수 0 댓글수 0 2024. 7. 2.
  • [Python] SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape 1. 원인- 이 에러는 주로 파일 경로를 문자열로 처리할 때 발생하는 문제- Windows 경로에서는 백슬래시(\)가 이스케이프 문자로 사용되기 때문에, 경로 문자열에서 이를 처리해야 함 2. 해결방법1) Raw 문자열 사용- 백슬래시를 이스케이프 문자로 사용하지 않도록 하려면 문자열 앞에 r을 붙여 raw 문자열로 만듭니다.corpus_df = pd.read_parquet(r'./eval_data/split_corpus.parquet')2) 백슬래시 두 번 사용- 백슬래시를 이스케이프 문자로 인식하지 않도록 두 번 씁니다.corpus_df = pd.read_parquet('.\\eval_data\\split_corpus.parquet')3) 슬래시 사용- 슬래시(/)를 사용하면 이스케이프 문자가 아니므.. 공감수 0 댓글수 1 2024. 7. 2.
  • [python]UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data 1. error 2. solution 1. error df = pd.read_csv("data_test.csv") - error message 더보기 { "name": "UnicodeDecodeError", "message": "'utf-8' codec can't decode bytes in position 0-1: unexpected end of data", "stack": "--------------------------------------------------------------------------- UnicodeDecodeError Traceback (most recent call last) Cell In[4], line 1 ----> 1 df = pd.read_csv(\"./procedur.. 공감수 0 댓글수 0 2024. 3. 13.
  • [colab][python] 구글 코랩으로 파이썬 사용해보기 1. colab 2. tutorial 1. colab - google에서 만든 python 전용 노트 - 현존 가장 간편하게 python 코딩이 가능한듯 - google ID만 있으면 간단한 무료버전 사용 가능 https://colab.research.google.com/?hl=ko Google Colaboratory colab.research.google.com 2. tutorial - google drive 페이지에서 시작 - 신규 > 더보기 > google colab click - New script - 간단한 테스트 - pip로 패키지 설치 - file upload: 1 > 2 click - file download 공감수 0 댓글수 0 2024. 1. 23.
  • [TensorFlow][Keras][ResNet50] ResNet50, Transfer Learning, Tutorial 1. Transfer Learning 2. ResNet50 (Keras) 3. Dataset 4. Tutorial Code 1. Transfer Learning 전이 학습은 기존에 핟습된 모델을 다른 작업에 재사용하는 기법이며 기존 모델이 학습한 특징을 활용하여 새로운 작업에 대한 학습을 빠르고 효율적으로 수행할 수 있음 장점 학습 시간 단축: 기존 모델의 특징을 활용하여 학습을 시작할 수 있으므로, 새로운 작업에 대한 학습 시간을 단축할 수 있다 데이터 효율성 향상: 기존 모델이 학습한 데이터를 활용하여 학습을 수행할 수 있으므로, 새로운 작업에 대한 데이터 수집 및 전처리 비용을 절감할 수 있다. 성능 향상: 기존 모델의 특징을 활용하여 새로운 작업에 대한 성능을 향상시킬 수 있다. 단점 데이터의 유.. 공감수 0 댓글수 0 2024. 1. 15.
  • [python][Flask]Flask tutorial 1. Previous posting 2. Flask tutorial 3. Git-hub 1. Previous posting 2022.08.16 - [Python] - [web framework][python] FLASK vs DJANGO, Flask 튜토리얼 [web framework][python] FLASK vs DJANGO, Flask 튜토리얼 flask vs django(vs fastAPI) flask 튜토리얼 flask vs django https://ddi-dev.com/blog/programming/django-vs-flask-which-better-your-web-app/ https://morioh.com/p/a91d4f7a5eb2 https://www.youtube.com/watch?v=.. 공감수 0 댓글수 0 2023. 8. 16.
  • [python][deepchem]Deep learning for the Life Sciences, python library, tutorial 1. 생명과학을 위한 딥러닝 2. install 3. tutorial 1. 생명과학을 위한 딥러닝 - from ChatGPT 『생명과학을 위한 딥러닝』은 딥러닝과 생명과학 분야의 교차점을 탐구하는 책이다. Bharath Ramsundar, Peter Eastman, Patrick Walters 및 Vijay Pande가 작성했으며 2019년에 출판되었습니다. 이 책은 딥 러닝에 대한 포괄적인 소개와 약물 발견, 유전체학, 단백질 구조 예측과 같은 생명 과학의 다양한 문제에 대한 적용을 제공합니다. 기계 학습 및 프로그래밍에 대한 기본적인 이해가 있는 독자를 위해 설계되었으며 실습 예제 및 코드 스니펫을 통해 딥 러닝에 대한 실용적인 접근 방식을 제공합니다. 책은 세 부분으로 나뉩니다. 첫 번째 부분에서는.. 공감수 0 댓글수 0 2023. 5. 8.
  • [Python][Federated learning] 연합학습, federated learning, tutorial 1. Federated learning2. Framework3. Tutorial1. Federated learning1) from ChatGPT- 요약Federated learning은 딥러닝 모델을 개발하기 위해 중앙 집중식 데이터 저장소 없이 여러 개인의 디바이스에서 데이터를 수집하고 모델 학습을 수행하는 분산 학습 방법입니다. 이를 통해 개인 데이터의 프라이버시 보호와 중앙 서버에 대한 의존도를 줄일 수 있습니다.- 장점:1. 개인 데이터 보호: 중앙 집중식 데이터 저장소 없이 학습이 가능하기 때문에 개인의 데이터는 해당 디바이스에서만 사용되며, 중앙 서버에 전송되지 않아 프라이버시가 보호됩니다.2. 대규모 데이터 처리: 대규모 데이터 세트의 처리가 필요한 경우에도 분산된 디바이스에서 학습이 가능하.. 공감수 0 댓글수 0 2023. 4. 17.
  • [ANACONDA][VENV] 파이썬 가상환경 관리,Conda, venv 0. ANACONDA 1. VirtualENV(venv) 0. ANACONDA - 환경생성 conda create -n ENV_NAME python=3.x # from file conda env create -n ENV_NAME -f requirements.txt - 환경실행 conda activate ENV_NAME - 환경종료 deactivate - 패키지관리 # txt conda env export > requirements.txt # yml conda env export > requirements.yml ref: https://www.anaconda.com/ 1. VirtualENV(venv) - 환경생성 python3 -m venv ENV_NAME - 환경실행 source ENV_NAME/bin.. 공감수 0 댓글수 0 2022. 10. 12.
  • [Python] .py 파일을 .exe 파일로 변환하기 convert .py to .exe 0. install auto-py-to-exe 1. 파이썬 파일 변환 2. 실행 0. install auto-py-to-exe - install pip install auto-py-to-exe - run auto-py-to-exe 1. 파이썬 파일 변환 (Convert .py to .exe) - Script Location, 파일선택 - One Directory or One File One Directory One File - Console Window Console Based(콘솔창 실행) vs Window Based(콘솔창 X) - etc 아이콘 설정, 추가 파일 선택, 고급 등 설정 - 변환(CONVERT) 2. 실행 - output 폴더에서 .exe 파일 더블클릭 - CMD창에서 파일 실행 ref.. 공감수 0 댓글수 0 2022. 10. 5.
  • [Google][Cloud Run][Flask] Google Cloud Run으로 간단한 Flask App 배포하기 0. VS Code에서 Cloud Run extension 설치 1. 스크립트 준비 2. 배포 3. 확인 0. VS Code에서 Cloud Run extension 설치 - VS Code extension에서 Cloud Code 검색하여 설치 1. 스크립트 준비 - 배포할 코드 준비 - 예시 디렉토리 - index.html AJAX 목차 이름 내용 {% for row in rows %} {{ loop.index }} {{ row['name'] }} {{ row['context'] }} {% endfor %} - main.py from flask import Flask, render_template, jsonify, request app = Flask(__name__) board = [{"id": 1, ".. 공감수 0 댓글수 0 2022. 9. 8.
  • [web framework][python] FLASK vs DJANGO, Flask 튜토리얼 flask vs django(vs fastAPI) flask 튜토리얼 flask vs django https://ddi-dev.com/blog/programming/django-vs-flask-which-better-your-web-app/ https://morioh.com/p/a91d4f7a5eb2 https://www.youtube.com/watch?v=gvzEcCF_yv8&ab_channel=GKTechFlex https://wendys.tistory.com/172 단순 REST API 서버 구축 flask가 효율적 flask 튜토리얼 https://www.tutorialspoint.com/flask/index.htm 0. Home - flask: web application framework(Py.. 공감수 0 댓글수 0 2022. 8. 16.
  • [python] [OpenCV] image thresholding, 이미지 임계값 처리 0. image thresholding 1. simple 2. adaptive 3. otsu's 0. image thresholding 이미지 이진화 : threshold(임계값)에 따라 흑백을 정함. pixel's value> threshold : 백 pixel's value threshold --> value, or 0 cv2.THRESH_BINARY_INV : 위의 반대 cv2.THRESH_TRUNC : pixel's value > threshold --> value, or pixel's .. 공감수 0 댓글수 0 2022. 5. 23.
  • [autoML][python][mljar] automated machine learning - Part2 : mljar.version2 1. previous posting (install) 2. mode (manual, custom) 3. model save, load 4. features importance 1. previous posting (install) 설치 및 간단한 소개에 대해서는 이전글 참고 2021.05.26 - [Data Insider] - [python][mljar] automated machine learning - Part2 : mljar [python][mljar] automated machine learning - Part2 : mljar 순서 1. mljar : automated machine learning 2. install - pip 3. run code 4. report 1. mljar : automa.. 공감수 0 댓글수 0 2022. 4. 5.
  • [Imputation][python] Missing value Imputation, simple and multivariate 아마 거의 모든 데이터 셋에는 missing value가 존재 missing value 처리 방법은 간단히 두가지 지운다. : deletion 채운다. : imputation imputation 방법은 크게 두가지 simple multivariate simple imputation If “mean”, then replace missing values using the mean along each column. Can only be used with numeric data. If “median”, then replace missing values using the median along each column. Can only be used with numeric data. If “most_frequent”.. 공감수 0 댓글수 0 2022. 3. 15.
  • [matplotlib] matplotlib.pyplot color list,Python pyplot 색 종류 및 색 선택 reference: https://matplotlib.org/3.1.0/gallery/color/named_colors.html List of named colors — Matplotlib 3.1.0 documentation Note Click here to download the full example code List of named colors This plots a list of the named colors supported in matplotlib. Note that xkcd colors are supported as well, but are not listed here for brevity. For more information on colors in matplo matplotlib.org 공감수 0 댓글수 0 2021. 12. 21.
  • [Streamlit] streamlit을 이용해서 간단한 머신러닝 web-app 만들고 배포 및 공유하기 #0. streamlit을 사용해서 간단한 machine learning app 구현 #1. streamlit 회원가입 #2. streamlit, github repository 연결 #3. streamlit cloud에 new app 추가 ##3-1. 초기설정 ##3-2. cloud python 환경설정, requirements.txt #4. app 실행 확인 #0. streamlit을 사용해서 간단한 machine learning app 구현 이전글 참고, 2021.09.17 - [Data Insider] - [linux] [Streamlit] streamlit을 이용해서간단한 머신러닝 사용 앱 구현하기 [linux] [Streamlit] streamlit을 이용해서간단한 머신러닝 사용 앱 구현하기 .. 공감수 2 댓글수 0 2021. 12. 7.
  • [python] SHAP summary plot,Gray scale, 흑백으로 그리기 1. shap version check and building a explainer 2. matplotlib colormap, make color dictionary 3. shap.summary_plot 1. shap version check and building a explainer 사용한 shap version : 0.37.0 import shap shap.initjs() print(shap.__version__) building a explainer # changing names of features names = pd.read_csv('~/name_dictionary.csv', index_col='var') background = shap.maskers.Independent(X_train_fea.. 공감수 1 댓글수 0 2021. 11. 10.
  • [python] density plot에서 Peak 값(max or min value) 구하고 표시하기 #1. kdeplot #2. get x, y #3. get max or min #4. marking import seaborn as sns import numpy as np #1. ax = sns.kdeplot(th_box_sub2, label='sub2') #2. x = ax.lines[0].get_xdata() # Get the x data of the distribution y = ax.lines[0].get_ydata() # Get the y data of the distribution #3. maxid1 = np.argmax(y) # get max in all maxid2 = np.argmax(y[x0.56) & (x0.56) & (x0.56) & (x0.56) & (x 공감수 0 댓글수 0 2021. 10. 27.
  • [python] NumPy where,Multiple conditions output = array[np.where((array condition2))] output = array[np.where((array > condition1) & (array < condition2))] ref:https://www.kite.com/python/answers/how-to-use-numpy-where-with-multiple-conditions-in-python Kite - Free AI Coding Assistant and Code Auto-Complete Plugin Code faster with Kite’s AI-powered autocomplete plugin for over 16 programming languages and 16 ID.. 공감수 0 댓글수 0 2021. 10. 19.
  • [linux] [Streamlit] streamlit을 이용해서간단한 머신러닝 사용 앱 구현하기 index 1. data scientist life cycle 2. install streamlit 3. edit config file 4. run .py file 1. data scientist life cycle 데이터 사이언스를 한다면 프로젝트 단위로 위 사이클에서 크게 벗어나지 않을 것임. 그 중에서 Model Deployment 부분에 대한 글임 2. install streamlit - streamlit은 머신러닝 및 데이터 사이언스를 위한 맞춤 웹 앱을 쉽게 만들고 공유할 수 있는 오픈소스 python 라이브러리임. - pip install 가능 pip install streamlit 3. edit config file 예제 참고 예제 1. https://www.geeksforgeeks.org.. 공감수 0 댓글수 0 2021. 9. 17.
  • [python] XGBoost : Dimension Reduction,Feature selection using Feature importance or BorutaShap XGBoost : Dimension Reduction (feature selection) 1. Feature importance 2. BorutaShap XGBoost 알고리즘으로 모델을 만들고 최대한 input variables을 줄여 경제적인 모델을 만들기 위해 두 가지 방법을 사용해 봄. 1. Feature importance - XGBoost의 기본 내장된 feature_importance를 이용하는 방법. - importance가 가장 작은 변수를 차례대로 제거 해주고 train에서 성능을 비교 - 본인의 기준에 맞게 제거할 변수를 선택 - 논리적이긴 하나 특별한 이론이 개입된 방법은 아니기 떄문에 신뢰성에 대한 이슈는 있음. #1.1 XGBoost의 내장되어 있는 기능으로 importance를.. 공감수 0 댓글수 0 2021. 8. 6.
  • [python] StandardScaler와 machine learning 모델 공유 standardscaler, machine learning 모델 공유 0. background 1. scaler (standardscaler) 2. machine learning model (XGBoost) 0. background - machine learning 모델을 재현가능하게 공유할 때 모델을 저장하고 불러와야함. - 그전에 standardization을 진행한 scaler도 포함되어야 완벽한 재현이 가능함. - fit된 scaler와 machine learning 모델을 저장하고 불러와야 기존 결과를 완벽히 재현할 수 있음. - 핵심은 reproducible ! 참고: https://machinelearningmastery.com/reproducible-machine-learning-resul.. 공감수 0 댓글수 0 2021. 6. 24.
  • [python][mljar] automated machine learning - Part2 : mljar 순서 1. mljar : automated machine learning 2. install - pip 3. run code 4. report 1. mljar : automated machine learning - 머신러닝 자동화 프레임 워크 그림참고 참고 : https://mljar.com/automated-machine-learning/ What is Automated Machine Learning? The MLJAR Automated Machine Learning (AutoML) Framework mljar.com 2. install - pip, conda 설치는 pip로만 가능 아직 conda 불가능 pip install mljar-supervised 참고 : https://pypi.org/pro.. 공감수 0 댓글수 0 2021. 5. 26.
  • [python][TPOT] automated machine learning - Part1 : TPOT(GPU) - XGBoost 환경 셋팅 #0. tpot and xgboost #1. cpu : conda install #2. single gpu : cuml #3. multi gpu : rapids, conda install tpot and dask_ml #0 TPOT and XGBoost #0.0 TPOT for Automated Machine Learning Automated Machine Learning (AutoML) 사용자 개입이 거의없이 예측 모델링 작업을 위해 성능이 우수한 모델을 자동으로 검색하는 기술 TPOT - Python에서 AutoML을 수행하기위한 오픈 소스 라이브러리 - 데이터 변환 및 기계 학습 알고리즘에 인기있는 Scikit-Learn 기계 학습 라이브러리를 사용 - 유전 프로그래밍 .. 공감수 0 댓글수 1 2021. 4. 26.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.