Data Science

Python

[python]UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data

1. error 2. solution 1. error df = pd.read_csv("data_test.csv") - error message 더보기 { "name": "UnicodeDecodeError", "message": "'utf-8' codec can't decode bytes in position 0-1: unexpected end of data", "stack": "--------------------------------------------------------------------------- UnicodeDecodeError Traceback (most recent call last) Cell In[4], line 1 ----> 1 df = pd.read_csv(\"./procedur..

R

[R][stringdist]Approximate matching and string distance

1. stringdist 2. Tutorial 1. stringdist - stringdist 라이브러리는 문자열 간의 거리를 계산하는 다양한 함수를 제공합니다. - Levenshtein, Jaro-Winkler, Damerau-Levenshtein 등의 거리 측정 방법을 지원하며, 이를 통해 문자열 유사도를 측정할 수 있습니다. - 텍스트 마이닝, 자연어 처리 등의 분야에서 활용되며, 데이터 분석 및 시각화에도 유용하게 사용됩니다. - Github - RDocumentation - Docs: PDF 2. Tutorial - library library(data.table) library(stringdist) - sample data cat("================================st..

Data Insider/스터디 및 프로젝트

[가짜연구소][러너모집]8기 스터디 팀원 모집

1. 가짜연구소 소개 2. 8기 러너 모집 일정 3. 세부내용 1. 가짜연구소 소개 - 힙한 스터디/프로젝트를 하고 싶은데 참여할만한 게 없으신가요? - 홀로 성장하던 것을 넘어 좋은 사람들과 팀을 이뤄 협업하며 성장하고 싶지 않으신가요? - 되돌아 보았을 때, 성장을 느낄 수 있는 활동을 해보고 싶지 않으신가요? 가짜연구소는 개인의 성장이 모여 앙상블할 기회를 만들고, 큰 성장을 이루도록 돕고 있습니다. 큰 성장이 큰 울림을 만들어내고, 더 많은 사람들이 가짜연구소로 모여들어 성장의 기회를 만들어냅니다. 이러한 성장의 선순환이 이루어지는 공동체입니다. 지난 3년간 개인과 커뮤니티 모두 믿을 수 없는 큰 성장을 이루었고, 비영리적으로 한국의 머신러닝 생태계에 선한 영향력을 미치고 있으며, 특이한 너드의 ..

Data Insider/공모전 및 경진대회

[DACON]Data Challenge, Data ContestIn Korea

1. DACON 이란 2. DACON 참여해보기 3. 총평 1. DACON 이란 - https://dacon.io/ 데이터사이언티스트 AI 컴피티션 8만 AI 팀이 협업하는 데이터 사이언스 플랫폼. AI 경진대회와 대상 맞춤 온/오프라인 교육, 문제 기반 학습 서비스를 제공합니다. dacon.io - AI 해커톤 플랫폼 Kaggle의 한국버전 - 다양한 분야의 해커톤이 올라옴 - 순위안에 들면 Certification 나옴 - 커뮤니티 뿐만 아니라 대회, 학습 등의 컨텐츠 존재 2. DACON 참여해보기 - 가입하기 - 대회 목록: https://dacon.io/competitions - 진행중인 대회 목록 보기 - 대회마다 Reward가 다름, 상금 또는 인증서 - Submission형식에 맞게 CSV..

기타

[CDM][OMOP-CDM][OHDSI][ATALS] Common Data Model andAnalysis tool: ATLAS

1. Common Data Model (CDM) 2. OHDSI, OMOP-CDM 3. ATLAS 4. Synthetic Data from OHDSI 1. Common Data Model (CDM) - 각 의료기관들의 다양한 데이터를 1) ETL 도구와 2) 매핑 도구를 활용하여 동일한 형태의 데이터로 변환 - 변환된 데이터를 이용한 연구를 다 기관에 적용할 수 있음 - OMOP-CDM, Sentinel-CDM 등이 유명함 - 특히 OHDSI의 OMOP-CDM이 선두주자임 2. OHDSI, OMOP-CDM - https://www.ohdsi.org/ OHDSI – Observational Health Data Sciences and Informatics Welcome to OHDSI! The Observ..

기타

[SQL][DataBase][PosgreSQL] PostgreSQL Create DB,Import csv file

1. PostgreSQL 2. Create DataBase 3. Import CSV file 4. SQL Query 1. PostgreSQL - https://www.postgresql.org/about/ PostgreSQL: About About What is PostgreSQL? PostgreSQL is a powerful, open source object-relational database system that uses and extends the SQL language combined with many features that safely store and scale the most complicated data workloads. The origins of PostgreSQL www.postg..

Python

[colab][python] 구글 코랩으로 파이썬 사용해보기

1. colab 2. tutorial 1. colab - google에서 만든 python 전용 노트 - 현존 가장 간편하게 python 코딩이 가능한듯 - google ID만 있으면 간단한 무료버전 사용 가능 https://colab.research.google.com/?hl=ko Google Colaboratory colab.research.google.com 2. tutorial - google drive 페이지에서 시작 - 신규 > 더보기 > google colab click - New script - 간단한 테스트 - pip로 패키지 설치 - file upload: 1 > 2 click - file download

LLM

[LLM][Chatbot] Utilizing Chat serviceChatGPT, Bard, ClaudeAnd OpenAI platform

1. Chatbot based on LLM 2. Products 3. Playground (openAI) 1. Chatbot based on LLM Top 8 LLM-powered AI chatbots LLMs have significantly enhanced conversational AI systems, allowing chatbots and virtual assistants to engage in more natural, context-aware conversations. byby.dev - LLM 기반의 챗봇 서비스 대기업에서 많이 나오고 있음 - 크게 세개가 유명함, 현재 모두 사용중(무료 버전) - 세가지 모델로 부터 만들어진 콘텐츠를 감별하는 연구 결과도 흥미로움 https://www.sea..

Chandler.j
'분류 전체보기' 카테고리의 글 목록 (2 Page)