前景提要
HDC调试需求开发(15万预算),能者速来!>>>
Spark版本:1.6.1
Hadoop版本:2.6.2
HDFS模式为:HA(正常使用,没有任何问题) <property> <name>fs.defaultFS</name> <value>hdfs://masters</value> </property> <!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>masters</value> </property>
使用Spark读取HDFS文件,报错Caused by: java.net.UnknownHostException: masters val line = sc.textFile( "hdfs://masters/user/hadoop/wordcount/input" )
尝试解决方法:
1. 拷贝core-site.xml和hdfs-site.xml到$SPARK_HOME/conf/目录下:失败
2. 在$SPARK_HOME/conf/spark-default.conf添加:失败 spark.files file:///home/hadoop/work/spark-1.6.1/conf/hdfs-site.xml,file:///home/hadoop/work/spark-1.6.1/conf/core-site.xml 不知道哪位大侠有这方面的经验啊,给个答案吧。