win10安装spark

一、进入spark下载页面

连接  Downloads | Apache Spark

二、解压下载后的.tgz文件

直接解压即可

三、运行

运行bin目录下的 spark-shell.cmd

提示  Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

解决办法

【精选】spark环境搭建window篇_windows spark_邱可爱的博客-CSDN博客

还有问题可以见第六点

四、运行成功

五、winutils.exe 新版本hadoop没有的原因

winutils.exe 新版本hadoop没有了_mob649e81624618的技术博客_51CTO博客

六、错误解决

执行  hadoop fs -ls
报错
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;

解决办法
https://blog.csdn.net/sx157559322/article/details/115339328

替换 hadoop bin目录下的 hadoop.dll、winutils文件  和 windows/system32 下的 hadoop.dll、winutils文件  

 

说明不能只替换第三点中的 hadoop bin目录下的 hadoop.dll、winutils文件