码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • spark安装详细步骤


    本文安装的是spark2.3.4(有需要可以滴我)

    首先先放到opt目录下解压:

    1.tar -zxf spark-2.3.4-bin-hadoop2.6.tgz

    然后我移动到了opt/soft目录下并改了名

    2.mv spark-2.3.4-bin-hadoop2.6 soft/spark234

    3.cd spark234/conf/

    复制两个文件

    4.cp spark-env.sh.template spark-env.sh

    5.cp slaves.template slaves

    6.vim spark-env.sh

    复制下面一段到最后面:(记得改成自己的ip地址!!!和改成自己hadoop

    的目录!!!)

    export SPARK_MASTER_HOST=192.168.xxx.xxx #主节点IP(注意改成你的ip!!)
    export SPARK_MASTER_PORT=7077 #任务提交端口
    export SPARK_WORKER_CORES=2 #每个worker使用2核
    export SPARK_WORKER_MEMORY=3g #每个worker使用3g内存
    export SPARK_MASTER_WEBUI_PORT=8888 #修改spark监视窗口的端口默认8080
    export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop(这里都改成自己的hadoop下的etc的hadoop的目录,不是单纯你hadoop的路径!!)
    export YARN_CONF_DIR=/opt/soft/hadoop260/etc/hadoop(这里都改成自己的hadoop下的etc的hadoop的目录,不是单纯你hadoop的路径!!)

    7.cd ..

    8.cd sbin

    9.vim spark-config.sh

    最后加入:

    export JAVA_HOME=放你的jdk目录

    比如我的是/opt/soft/jdk180

    最后就在sbin目录下start-all.sh 然后jps看看有没有worker和master 有的话就是ok了!

    也可以去到bin目录 spark-shell测试!

  • 相关阅读:
    设计模式——结构型模式
    优秀的产品经理,究竟比我们强在哪里?
    ASCII 码、Unicode、UTF-8
    SpringBoot 配置文件使用详解
    从0搭建Vue3组件库(四): 如何开发一个组件
    Java中线程池的创建与使用
    【嵌入式项目应用】__一款简单易用的嵌入式软件程序框架_时间片轮询框架
    lightdb22.3预览-listagg 增强
    对话Severe Tire Damage:世界上第一支在互联网上直播表演的乐队
    3线spi屏幕驱动方式
  • 原文地址:https://blog.csdn.net/weixin_51981189/article/details/127670187
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号