data-hub · 数据中台#
统一数据采集、清洗、入库平台, 38+ 真实数据源
核心功能#
- 三层架构: 爬虫层 → Staging (raw→clean→ready) → 目标库 (yunduan/vois_db)
- 当前数据: raw_content 21250 条 / clean_content 25012 条 / clean_resource 3720 条
- run_all.py 一键全流程: 采集→清洗→入库→推送
- REST API + 后台管理 + 健康检查
- SSE 实时进度推送 + 异步管道执行
技术栈#
FastAPI, APScheduler, MySQL, loguru, httpx
关键指标#
- 延迟: 60s/全流程
- 吞吐: 21250/25012/3720