小白请教各大佬点 Python requests 库的 ip 代理池的知识
时间: 2020-08-18来源:V2EX
前景提要
这阵子写了点爬虫,目前已顺利将目标网站数据爬下来。现在我想要给程序的请求加个 ip 代理池。
初次学习,产生了两个疑惑,可能问题太过小白,因此没能在网上找到答案,在此特来请教下各位大佬。
1 、如果我们使用的 ip 代理池中某个 ip 失效了,requests 请求是否会自动帮我们从 IP 代理池换个新的 ip 重新进行请求,还是直接就挂掉?
2 、同个 session 下进行有不同的 post 请求,如果前后请求 ip 出现不一样,是否会翻车(后面的是否会请求失败)
3 、求大佬推荐免费的代理池,因为目前只是个人学习乐趣,暂不考虑收费代理池。
以下是我爬虫程序的核心代码: session = requests.Session() proxies = { "http":"http://ip:端口号" "https":"https://ip:端口号" } session.get(url, proxies=proxies) session.post(url, data, proxies=proxies) session.close()

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行