Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist

发布时间:2017-7-9 7:13:26编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist ",主要涉及到Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist 方面的内容,对于Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist 感兴趣的同学可以参考一下。

Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist


Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

使用了cluster和client的deploy mode都不好使。期间使用cluster模式下,还报出了jar包找不到的异常。。

问题定位:因为spark和Hadoop的配置路径进行过更改与更新,在spark-env.sh文件中Hadoop_conf_home没有更新,导致spark无法正确读取yarn集群的配置内容。导致了错误。

解决办法:echo 'HADOOP_CONF_DIR='${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh


Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist


上一篇:out
下一篇:hackerrank DFS Edges

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款