• hadoop 编写开启关闭集群脚本, hadoop hdfs,yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)


    1. 三台机器: hadoop22, hadoop23, hadoop24

    2. hdfs在22机器启动,yarn在hadoop23机器

    3. 脚本需要hadoop用户启动才可以

    4. 脚本必须在hadoop22机器运行。如果想在所有机器都能运行,你可以自己修改脚本

    4. 脚本:

    1. #!/bin/bash
    2. HADOOP_PATH="/opt/module/hadoop-3.3.4"
    3. # 检查脚本执行用户是否为 hadoop
    4. if [ "$(whoami)" != "hadoop" ]; then
    5. echo "错误: 该脚本需要以 hadoop 用户身份执行"
    6. exit 1
    7. fi
    8. # 检查输入参数
    9. if [ "$#" -ne 1 ]; then
    10. echo "使用方法: $0 "
    11. exit 1
    12. fi
    13. function start_cluster() {
    14. echo "****************************************************************"
    15. echo "* *"
    16. echo "***********************启动hadoop集群.**************************"
    17. echo "* *"
    18. echo "****************************************************************"
    19. cd $HADOOP_PATH
    20. sbin/start-dfs.sh
    21. echo "已启动hdf."
    22. ssh -T hadoop23 << EOF
    23. cd "$HADOOP_PATH"
    24. sbin/start-yarn.sh
    25. echo "已启动yarn."
    26. exit
    27. EOF
    28. }
    29. function stop_cluster() {
    30. echo "****************************************************************"
    31. echo "* *"
    32. echo "***********************关闭hadoop集群.**************************"
    33. echo "* *"
    34. echo "****************************************************************"
    35. cd $HADOOP_PATH
    36. sbin/stop-dfs.sh
    37. echo "已关闭hdf."
    38. ssh -T hadoop23 << EOF
    39. cd "$HADOOP_PATH"
    40. sbin/stop-yarn.sh
    41. echo "已关闭yarn."
    42. exit
    43. EOF
    44. }
    45. # 判断输入参数是start还是stop
    46. case "$1" in
    47. "start")
    48. start_cluster
    49. ;;
    50. "stop")
    51. stop_cluster
    52. ;;
    53. *)
    54. echo "未知操作:$1"
    55. exit 1
    56. ;;
    57. esac

    5. 含有历史服务器的:

    1. #!/bin/bash
    2. HADOOP_PATH="/opt/module/hadoop-3.3.4"
    3. # 检查脚本执行用户是否为 hadoop
    4. if [ "$(whoami)" != "hadoop" ]; then
    5. echo "错误: 该脚本需要以 hadoop 用户身份执行"
    6. exit 1
    7. fi
    8. # 检查输入参数
    9. if [ "$#" -ne 1 ]; then
    10. echo "使用方法: $0 "
    11. exit 1
    12. fi
    13. function start_cluster() {
    14. echo "****************************************************************"
    15. echo "* *"
    16. echo "***********************启动hadoop集群.**************************"
    17. echo "* *"
    18. echo "****************************************************************"
    19. cd $HADOOP_PATH
    20. sbin/start-dfs.sh
    21. echo "已启动hdf."
    22. ssh -T hadoop23 << EOF
    23. cd "$HADOOP_PATH"
    24. sbin/start-yarn.sh
    25. echo "已启动yarn."
    26. exit
    27. EOF
    28. bin/mapred --daemon start historyserver
    29. echo "已启动historysever."
    30. }
    31. function stop_cluster() {
    32. echo "****************************************************************"
    33. echo "* *"
    34. echo "***********************关闭hadoop集群.**************************"
    35. echo "* *"
    36. echo "****************************************************************"
    37. cd $HADOOP_PATH
    38. bin/mapred --daemon stop historyserver
    39. echo "已关闭historysever."
    40. sbin/stop-dfs.sh
    41. echo "已关闭hdf."
    42. ssh -T hadoop23 << EOF
    43. cd "$HADOOP_PATH"
    44. sbin/stop-yarn.sh
    45. echo "已关闭yarn."
    46. exit
    47. EOF
    48. }
    49. # 判断输入参数是start还是stop
    50. case "$1" in
    51. "start")
    52. start_cluster
    53. ;;
    54. "stop")
    55. stop_cluster
    56. ;;
    57. *)
    58. echo "未知操作:$1"
    59. exit 1
    60. ;;
    61. esac

  • 相关阅读:
    【强化学习论文合集 | 2021年合集】三. AAMAS-2021 强化学习论文
    【包邮送书】控制之道:过程控制的理论与实践
    System.exit()方法参数
    快手一面:讲一讲 Hadoop、Hive、Spark 之间的关系?
    ValueError: Unknown engine: openpyxl,pandas指定读取新版本execl
    算法-次数差
    【Kaggle比赛常用trick】K折交叉验证、TTA
    Django知识
    《MySQL实战45讲》——学习笔记15 “redo log与bin log答疑“总结【建议收藏】
    LaTex编写伪代码,并实现根据所在章编号(连字符),例如算法1-1
  • 原文地址:https://blog.csdn.net/qq_33919114/article/details/134523446