求大神!!使用Cloudera安装Hadoop,数据块自动检测与复制非常慢,平均副本不够3份,怎么
时间: 2015-04-02来源:开源中国
前景提要
HDC调试需求开发(15万预算),能者速来!>>>
求技术大神、Hadoop大牛:
使用Cloudera 5.2 安装了 Hadoop 平台,共15个节点,在同个私网,千兆带宽,目前数据量约为80T左右,但最近使用 hdfs fsck / 检测数据块的完整情况时,发现副本的平均数量不够3份,只有2.3而已。每天使用 hdfs fsck / 指令查看,平均的副本数量会略有增加,但进展非常慢,到现在有一个月了,还是停留在2.3的阶段,每天的进展非常慢。但整个集群的检查又是“健康”的,目前主要是副本数不够,不知怎么破,如下图

而调整了CDH的NameNode, Yarn, DataNode的资源配置,增大了内存、带宽等相关的参数,似乎没有起到什么作用。查看了CDH的首页,IO并没有明显地提升,不像是在快速地拷贝复制数据块。如果是数据量大的原因,那 IO 应该很高才是,很疑惑

这个问题困扰了我们很久,一直找不出是什么原因和解决办法,不知各位有没有碰到过类似的情况,特来求救各路大神,还望指点迷津啊

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行