🌟 Awesome Data Science

데이터 과학자를 위한 최고의 도구, 라이브러리, 리소스 모음
2025년 최신 트렌드와 검증된 도구들을 한곳에 모았습니다.

🧩 핵심 라이브러리

데이터 처리

• Pandas ⭐ 44k – 데이터 분석 및 조작
• NumPy ⭐ 28k – 수치 계산 라이브러리
• Polars ⭐ 30k – 빠른 DataFrame 라이브러리
• Dask ⭐ 13k – 병렬 컴퓨팅

시각화

• Matplotlib ⭐ 20k – 기본 플로팅 라이브러리
• Seaborn ⭐ 13k – 통계 데이터 시각화
• Plotly ⭐ 16k – 인터랙티브 시각화
• Altair ⭐ 9k – 선언적 시각화

머신러닝

• Scikit-learn ⭐ 60k – 머신러닝 라이브러리
• XGBoost ⭐ 26k – 그래디언트 부스팅
• LightGBM ⭐ 17k – 빠른 그래디언트 부스팅
• CatBoost ⭐ 8k – 범주형 데이터 부스팅

🚀 딥러닝 프레임워크

주요 프레임워크

• TensorFlow ⭐ 186k – Google의 딥러닝 프레임워크
• PyTorch ⭐ 83k – Facebook의 딥러닝 프레임워크
• JAX ⭐ 31k – 고성능 ML 연구
• Keras ⭐ 62k – 고수준 신경망 API

특화 라이브러리

• Transformers ⭐ 135k – NLP 모델
• Detectron2 ⭐ 30k – 객체 탐지
• PyTorch Lightning ⭐ 28k – PyTorch 래퍼
• FastAI ⭐ 26k – 실용적 딥러닝

📊 빅데이터 & 분산처리

처리 엔진

• Apache Spark ⭐ 40k – 대규모 데이터 처리
• Apache Flink ⭐ 24k – 스트림 처리
• Apache Beam ⭐ 8k – 통합 프로그래밍 모델
• Ray ⭐ 34k – 분산 AI 프레임워크

데이터 저장

• Apache Hadoop ⭐ 15k – 분산 저장 및 처리
• Apache Cassandra ⭐ 9k – 분산 NoSQL DB
• Apache HBase ⭐ 5k – 분산 빅데이터 저장소
• ClickHouse ⭐ 37k – 컬럼 지향 DBMS

데이터 파이프라인

• Apache Airflow ⭐ 37k – 워크플로우 관리
• Prefect ⭐ 16k – 현대적 워크플로우
• Dagster ⭐ 11k – 데이터 오케스트레이션
• Luigi ⭐ 18k – 파이프라인 구축

🔬 통계 & 분석

통계 라이브러리

• SciPy ⭐ 13k – 과학 계산
• Statsmodels ⭐ 10k – 통계 모델링
• Pingouin ⭐ 2k – 통계 패키지
• PyMC ⭐ 9k – 베이지안 모델링

시계열 분석

• Prophet ⭐ 18k – 시계열 예측
• statsforecast ⭐ 4k – 통계적 예측
• tslearn ⭐ 3k – 시계열 머신러닝
• sktime ⭐ 8k – 시계열 ML 툴킷

🛠️ 개발 도구

노트북 & IDE

• Jupyter ⭐ 15k – 인터랙티브 컴퓨팅
• JupyterLab ⭐ 14k – 차세대 노트북
• Google Colab – 클라우드 노트북
• VS Code – 통합 개발 환경

실험 추적

• MLflow ⭐ 19k – ML 라이프사이클
• Weights & Biases ⭐ 9k – 실험 추적
• Neptune.ai ⭐ 600 – ML 메타데이터 저장
• DVC ⭐ 14k – 데이터 버전 관리

AutoML

• AutoGluon ⭐ 8k – AutoML 툴킷
• H2O AutoML ⭐ 7k – 자동 머신러닝
• TPOT ⭐ 10k – 자동 ML 파이프라인
• Auto-sklearn ⭐ 8k – 자동화된 ML

🌐 데이터 소스 & API

공개 데이터셋

• Kaggle Datasets – 데이터 과학 대회
• UCI ML Repository – ML 데이터셋
• Google Dataset Search – 데이터셋 검색
• Awesome Public Datasets ⭐ 61k – 공개 데이터셋 목록

데이터 수집

• Beautiful Soup ⭐ 1k – 웹 스크래핑
• Scrapy ⭐ 53k – 웹 크롤링
• Selenium ⭐ 31k – 브라우저 자동화
• Requests ⭐ 52k – HTTP 라이브러리

🏭 MLOps & 배포

모델 서빙

• TensorFlow Serving ⭐ 6k – TF 모델 서빙
• TorchServe ⭐ 4k – PyTorch 모델 서빙
• BentoML ⭐ 7k – ML 모델 서빙
• Seldon Core ⭐ 4k – ML 배포

컨테이너화

• Kubeflow ⭐ 14k – Kubernetes ML
• MLRun ⭐ 1k – ML 자동화
• Cortex ⭐ 8k – ML 인프라

🏆 경쟁 플랫폼

데이터 과학 대회

• Kaggle – 최대 DS 경쟁 플랫폼
• DrivenData – 사회적 영향 대회
• Zindi – 아프리카 DS 대회
• SIGNATE – 일본 DS 플랫폼

학습 플랫폼

• DataCamp – 인터랙티브 학습
• Coursera – 온라인 강좌
• Fast.ai – 실용적 딥러닝
• Udacity – 나노디그리 프로그램

📚 학습 자료

도서

• The Elements of Statistical Learning – 통계 학습
• Pattern Recognition and Machine Learning – Bishop
• Deep Learning – Ian Goodfellow
• Hands-On Machine Learning ⭐ 38k – 실습 중심

온라인 코스

• Andrew Ng's ML Course – ML 입문
• Deep Learning Specialization – DL 전문화
• CS231n – 컴퓨터 비전
• CS224n – NLP with DL

커뮤니티

• r/datascience – Reddit DS
• KDnuggets – DS 뉴스
• Towards Data Science – Medium 블로그
• 한국 데이터 사이언스 커뮤니티 – 한국 커뮤니티

🆕 2025 Highlights

주요 트렌드

• 생성형 AI 통합: LLM을 활용한 데이터 분석
• 엣지 AI: 디바이스에서의 ML 실행
• 설명 가능한 AI: 모델 해석성 향상
• 연합 학습: 프라이버시 보호 ML

새로운 기술

• Vector Databases: 임베딩 저장 및 검색
• Streaming ML: 실시간 모델 업데이트
• Quantum ML: 양자 컴퓨팅 활용
• Automated Feature Engineering: 자동 특성 생성

혁신 도구

• **Mojo](https://github.com/modularml/mojo) – AI를 위한 새로운 언어
• **DuckDB](https://github.com/duckdb/duckdb) ⭐ 24k – 인메모리 분석 DB
• **Ibis](https://github.com/ibis-project/ibis) ⭐ 5k – 휴대용 Python 분석
• **Modal](https://modal.com/) – 서버리스 데이터 컴퓨팅

한국 데이터 사이언스

• 네이버: CLOVA AI 연구
• 카카오: 카카오브레인 AI 연구소
• 삼성: 삼성리서치 AI 센터
• LG: LG AI 연구원

실무 팁

• 데이터 품질: 전처리에 충분한 시간 투자
• 실험 관리: 재현 가능한 파이프라인 구축
• 모델 모니터링: 프로덕션 성능 추적
• 비즈니스 이해: 기술보다 문제 정의 우선

콘텐츠 업데이트 요청은 요청 게시판에 써주세요