🌟 Awesome Data Science
4 min read
awesomedata-sciencemachine-learninganalyticsstatisticsbig-data
데이터 과학자를 위한 최고의 도구, 라이브러리, 리소스 모음
🌟 Awesome Data Science
데이터 과학자를 위한 최고의 도구, 라이브러리, 리소스 모음
2025년 최신 트렌드와 검증된 도구들을 한곳에 모았습니다.
🧩 핵심 라이브러리
데이터 처리
- Pandas ⭐ 44k – 데이터 분석 및 조작
- NumPy ⭐ 28k – 수치 계산 라이브러리
- Polars ⭐ 30k – 빠른 DataFrame 라이브러리
- Dask ⭐ 13k – 병렬 컴퓨팅
시각화
- Matplotlib ⭐ 20k – 기본 플로팅 라이브러리
- Seaborn ⭐ 13k – 통계 데이터 시각화
- Plotly ⭐ 16k – 인터랙티브 시각화
- Altair ⭐ 9k – 선언적 시각화
머신러닝
- Scikit-learn ⭐ 60k – 머신러닝 라이브러리
- XGBoost ⭐ 26k – 그래디언트 부스팅
- LightGBM ⭐ 17k – 빠른 그래디언트 부스팅
- CatBoost ⭐ 8k – 범주형 데이터 부스팅
🚀 딥러닝 프레임워크
주요 프레임워크
- TensorFlow ⭐ 186k – Google의 딥러닝 프레임워크
- PyTorch ⭐ 83k – Facebook의 딥러닝 프레임워크
- JAX ⭐ 31k – 고성능 ML 연구
- Keras ⭐ 62k – 고수준 신경망 API
특화 라이브러리
- Transformers ⭐ 135k – NLP 모델
- Detectron2 ⭐ 30k – 객체 탐지
- PyTorch Lightning ⭐ 28k – PyTorch 래퍼
- FastAI ⭐ 26k – 실용적 딥러닝
📊 빅데이터 & 분산처리
처리 엔진
- Apache Spark ⭐ 40k – 대규모 데이터 처리
- Apache Flink ⭐ 24k – 스트림 처리
- Apache Beam ⭐ 8k – 통합 프로그래밍 모델
- Ray ⭐ 34k – 분산 AI 프레임워크
데이터 저장
- Apache Hadoop ⭐ 15k – 분산 저장 및 처리
- Apache Cassandra ⭐ 9k – 분산 NoSQL DB
- Apache HBase ⭐ 5k – 분산 빅데이터 저장소
- ClickHouse ⭐ 37k – 컬럼 지향 DBMS
데이터 파이프라인
- Apache Airflow ⭐ 37k – 워크플로우 관리
- Prefect ⭐ 16k – 현대적 워크플로우
- Dagster ⭐ 11k – 데이터 오케스트레이션
- Luigi ⭐ 18k – 파이프라인 구축
🔬 통계 & 분석
통계 라이브러리
- SciPy ⭐ 13k – 과학 계산
- Statsmodels ⭐ 10k – 통계 모델링
- Pingouin ⭐ 2k – 통계 패키지
- PyMC ⭐ 9k – 베이지안 모델링
시계열 분석
- Prophet ⭐ 18k – 시계열 예측
- statsforecast ⭐ 4k – 통계적 예측
- tslearn ⭐ 3k – 시계열 머신러닝
- sktime ⭐ 8k – 시계열 ML 툴킷
🛠️ 개발 도구
노트북 & IDE
- Jupyter ⭐ 15k – 인터랙티브 컴퓨팅
- JupyterLab ⭐ 14k – 차세대 노트북
- Google Colab – 클라우드 노트북
- VS Code – 통합 개발 환경
실험 추적
- MLflow ⭐ 19k – ML 라이프사이클
- Weights & Biases ⭐ 9k – 실험 추적
- Neptune.ai ⭐ 600 – ML 메타데이터 저장
- DVC ⭐ 14k – 데이터 버전 관리
AutoML
- AutoGluon ⭐ 8k – AutoML 툴킷
- H2O AutoML ⭐ 7k – 자동 머신러닝
- TPOT ⭐ 10k – 자동 ML 파이프라인
- Auto-sklearn ⭐ 8k – 자동화된 ML
🌐 데이터 소스 & API
공개 데이터셋
- Kaggle Datasets – 데이터 과학 대회
- UCI ML Repository – ML 데이터셋
- Google Dataset Search – 데이터셋 검색
- Awesome Public Datasets ⭐ 61k – 공개 데이터셋 목록
데이터 수집
- Beautiful Soup ⭐ 1k – 웹 스크래핑
- Scrapy ⭐ 53k – 웹 크롤링
- Selenium ⭐ 31k – 브라우저 자동화
- Requests ⭐ 52k – HTTP 라이브러리
🏭 MLOps & 배포
모델 서빙
- TensorFlow Serving ⭐ 6k – TF 모델 서빙
- TorchServe ⭐ 4k – PyTorch 모델 서빙
- BentoML ⭐ 7k – ML 모델 서빙
- Seldon Core ⭐ 4k – ML 배포
컨테이너화
🏆 경쟁 플랫폼
데이터 과학 대회
- Kaggle – 최대 DS 경쟁 플랫폼
- DrivenData – 사회적 영향 대회
- Zindi – 아프리카 DS 대회
- SIGNATE – 일본 DS 플랫폼
학습 플랫폼
📚 학습 자료
도서
- The Elements of Statistical Learning – 통계 학습
- Pattern Recognition and Machine Learning – Bishop
- Deep Learning – Ian Goodfellow
- Hands-On Machine Learning ⭐ 38k – 실습 중심
온라인 코스
- Andrew Ng's ML Course – ML 입문
- Deep Learning Specialization – DL 전문화
- CS231n – 컴퓨터 비전
- CS224n – NLP with DL
커뮤니티
- r/datascience – Reddit DS
- KDnuggets – DS 뉴스
- Towards Data Science – Medium 블로그
- 한국 데이터 사이언스 커뮤니티 – 한국 커뮤니티
🆕 2025 Highlights
주요 트렌드
- 생성형 AI 통합: LLM을 활용한 데이터 분석
- 엣지 AI: 디바이스에서의 ML 실행
- 설명 가능한 AI: 모델 해석성 향상
- 연합 학습: 프라이버시 보호 ML
새로운 기술
- Vector Databases: 임베딩 저장 및 검색
- Streaming ML: 실시간 모델 업데이트
- Quantum ML: 양자 컴퓨팅 활용
- Automated Feature Engineering: 자동 특성 생성
혁신 도구
- **Mojo](https://github.com/modularml/mojo) – AI를 위한 새로운 언어
- **DuckDB](https://github.com/duckdb/duckdb) ⭐ 24k – 인메모리 분석 DB
- **Ibis](https://github.com/ibis-project/ibis) ⭐ 5k – 휴대용 Python 분석
- **Modal](https://modal.com/) – 서버리스 데이터 컴퓨팅
한국 데이터 사이언스
- 네이버: CLOVA AI 연구
- 카카오: 카카오브레인 AI 연구소
- 삼성: 삼성리서치 AI 센터
- LG: LG AI 연구원
실무 팁
- 데이터 품질: 전처리에 충분한 시간 투자
- 실험 관리: 재현 가능한 파이프라인 구축
- 모델 모니터링: 프로덕션 성능 추적
- 비즈니스 이해: 기술보다 문제 정의 우선
콘텐츠 업데이트 요청은 요청 게시판에 써주세요