大佬们,麻烦进来看下 [使用 mongoimport 和 pymongo 插入遇到的问题]
时间: 2020-08-21来源:V2EX
前景提要
同样的数据,使用 mongo 自带命令 mongoinsert 导入,速度很快,每秒 15000 条左右,60 亿数据占空间 300G 。 我手写的代码,使用 pymongo 的 insert_one 方法插入同样的数据,速度很慢,每秒 300 条左右,因为要根据数据插入不同的集合,所以只能使用 insert_one 。 而且插入后的数据,占空间很大,60 亿占 2T 空间。
找了很多原因,不知道性能和空间占用为什么差这么大,都使用的默认 snappy 压缩。如果说性能是 insert_one 导致的,那一样的数据量一样的数据,占空间为什么差距这么大。。( PS.mongoinsert 导入一个集合,我的程序导入之后,有几千个集合。不知道这个有没有原因)
希望大佬们给些建议,感谢感谢!!

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行