ai-jiaobe · 多模态数据爬虫平台#
130+ 爬虫模板 + 多模态资源下载 + 17 种数据集格式导出
核心功能#
- 17 种导出格式: json/jsonl/csv/parquet/alpaca/sharegpt/vicuna/openai/llamafactory/oasst/vqa/caption/ocr/videoqa/audiotrans/vertical/sklearn
- 多模态: 图片/视频/音频/文档/代码/压缩包全资源自动提取 + 下载
- AssetRecord + AssetBag 统一资源管理模型
- AssetDownloader: 断点续传 + SHA256 校验 + 并发 5 + 限流
- 一键 export-all → hello-llm/ai-suanfa/yuanduan-llm 三项目
技术栈#
FastAPI, aiohttp, bs4, lxml, asyncio, httpx, PIL, loguru
关键指标#
- 吞吐: 130+ 模板