本文安装的是spark2.3.4(有需要可以滴我)
首先先放到opt目录下解压:
1.tar -zxf spark-2.3.4-bin-hadoop2.6.tgz
然后我移动到了opt/soft目录下并改了名
2.mv spark-2.3.4-bin-hadoop2.6 soft/spark234
3.cd spark234/conf/
复制两个文件
4.cp spark-env.sh.template spark-env.sh
5.cp slaves.template slaves
6.vim spark-env.sh
复制下面一段到最后面:(记得改成自己的ip地址!!!和改成自己hadoop
的目录!!!)
export SPARK_MASTER_HOST=192.168.xxx.xxx #主节点IP(注意改成你的ip!!)
export SPARK_MASTER_PORT=7077 #任务提交端口
export SPARK_WORKER_CORES=2 #每个worker使用2核
export SPARK_WORKER_MEMORY=3g #每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=8888 #修改spark监视窗口的端口默认8080
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop(这里都改成自己的hadoop下的etc的hadoop的目录,不是单纯你hadoop的路径!!)
export YARN_CONF_DIR=/opt/soft/hadoop260/etc/hadoop(这里都改成自己的hadoop下的etc的hadoop的目录,不是单纯你hadoop的路径!!)
7.cd ..
8.cd sbin
9.vim spark-config.sh
最后加入:
export JAVA_HOME=放你的jdk目录
比如我的是/opt/soft/jdk180
最后就在sbin目录下start-all.sh 然后jps看看有没有worker和master 有的话就是ok了!
也可以去到bin目录 spark-shell测试!