在scrapy+redis实现分布式爬虫中,如何实现对各个分布的爬虫获取URL的均衡
时间: 2017-03-25来源:开源中国
前景提要
HDC调试需求开发(15万预算),能者速来!>>>
我在用scrapy+redis实现一个简单的分布式爬虫,但运行后,一个爬虫爬地快,一个爬虫
爬地慢,我想请教各位如何实现redis对各个爬虫获取URL速度或者频率的控制以达到均衡?
谢谢!

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行