Linux部署Spark 本地模式

1 背景

   机器数量有限，甚至就是一台

   测试环境，可以部署Spark 本地模式

2  简单定义

 1)  本地模式部署在单机，主要用于测试或实验；最简单的运行模式，所有进程都运行在 一台机器的 JVM 中

 2)  本地模式用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用 程序逻辑上有没有问题；

3 部署步骤

 3.1 下载安装包

    Index of /dist/spark    

    

 3.2  解压，配置

     

  tar -zxvf  spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

  

 vi /etc/profile

 

export SPARK_HOME=/APP/spark-2.4.5-bin-without-hadoop-scala-2.12
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin