多线程与协程爬虫有很大区别吗?多线程转协程能优化多少?
时间: 2020-08-18来源:V2EX
前景提要
目前一个爬虫项目运行在 4c8g 下的机器,requests 运行在 4 进程* 400 线程下,单页面 200k 左右。最近发现 CPU 和内存都有一点瓶颈,如果转成协程的话是否能优化爬取速率呢? (不讨论反爬的情况,单纯从爬虫效率上看)

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行