前言
本次更新包括几个部分： 爬虫市场 批量操作 数据库底层优化
更新日志
功能 / 优化 爬虫市场 . 允许用户下载开源爬虫到 Crawlab. 批量操作 . 允许用户与 Crawlab 批量交互，例如批量运行任务、批量删除爬虫等等. 迁移 MongoDB 驱动器至 MongoDriver . 重构优化节点逻辑代码 . 更改默认 task.workers 至 16 . 更改默认 nginx client_max_body_size 为 200m . 支持写日志到 ElasticSearch . 在 Scrapy 页面展示错误详情 . 删除挑战页面 . 将反馈、免责声明页面移动到顶部 .
Bug 修复 修复由于 TTL 索引未创建导致的日志不过期问题 . 设置默认日志过期时间为 1 天 . task_id 索引没有创建 . docker-compose.yml 修复 . 修复 404 页面 . 修复无法先创建工作节点问题 .
参考 Github: https://github.com/crawlab-team/crawlab Demo: https://crawlab.cn/demo
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue 。另外，欢迎您对 Crawlab 做开发贡献。