虚拟机配置spark

进入系统，设置开机以root用户启动：

进入root模式：
su root
修改配置文件：
vi /etc/gdm/custom.conf
在[daemon]下写入：
AutomaticLoginEnable=True
AutomaticLogin=root
1
2
3
4
5
6
7

准备工作：

1. 修改主机名

    vim /etc/sysconfig/network
    在文件中加入：
    NETWORKING=yes
    HOSTNAME=hadoop
    
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    最后一行加入：
    HOSTNAME=hadoop
    
    vim /etc/hostname
    删掉原有的一行，加入：
    hadoop
    
    ifconfig，找到自己ens##的ip（如192.168.159.130），然后：
    vim /etc/hosts
    删除原有的内容，加入：
    192.168.159.130 hadoop localhost
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17

2. 免密登录

ssh-keygen -t rsa
之后全都直接回车：
1
2

然后：
1

3. 创建文件目录

4. 将需要安装的软件的压缩包放到software中

5. 配置java环境
Centos7自带了jdk1.8，要先卸载。

卸载原本的jdk，noarch文件可以不删：
1

然后解压jdk到app目录下，并改名：
tar -zvxf jdk-8u231-linux-x64.tar.gz -C ~/app


配置环境变量，激活配置文件：



6. 安装hadoop
解压压缩包，并改名：


修改Hadoop配置文件：


hadoop-env.sh，将文件原有的JAVA_HOME注释掉，加入本机的路径：

core-site.xml：

  
      
       fs.default.name  
       hdfs://hadoop:9000  
   
      
       hadoop.tmp.dir  
       /root/app/tmp  
   

1
2
3
4
5
6
7
8
9
10

hdfs-site.xml：

  
      
       dfs.replication  
       1  
   

1
2
3
4
5
6

配置环境变量，并生效：


格式化DFS文件系统：

启动集群并检查：


关闭防火墙：

永久关闭防火墙
systemctl stop firewalld.service

查看hadoop网页：
Ip（如：192.168.159.130）:50070

配置yarn：


复制模板文件配置mapred-site.xml：

  
      
       mapreduce.framework.name  
       yarn  
   

1
2
3
4
5
6

配置yarn-site.xml：

    
       yarn.nodemanager.aux-services  
       mapreduce_shuffle  
   

1
2
3
4
5
6

启动yarn：

查看web端：
Ip（如：192.168.159.130）:8088

测试yarn：

创建file，提交到hdfs上运行：





出现了VM warning，出现这个问题基本都是在64位操作系统上，这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的，如果在64位系统上运行会出现这个问题错误。
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
1
2

如果不想看NativeCodeLoader WARN，可以配置log4j文件：

在文件最后面追加：

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
1

执行命令测试：

hadoop jar /root/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input/wc/file /output/wc/file
1

7. 安装mysql（一开始安装出来很大的问题，最后发现，我安装的i686是32位的，应该安装x86的）

卸载自带的mysql和mariadb（已经删掉了，自己需要的时候百度）


按顺序安装mysql的组件



解决在CentOS上安装mysql出现/lib/ld-linux.so.2: bad ELF interpreter问题和缺少共享库libstdc++.so.6_tree_ifconfig的博客-CSDN博客

上面的是32位的错误安装，下面重新安装64位：



初始化mysql

查看临时密码：

启动mysql服务：

使用临时密码登录：

修改密码：

刷新：

重新登录，并开放权限：


8. 安装hive
解压到app目录下：


配置hive：
hive-env.sh:


出bug，不配了

hive-site.xml:（新文件）

    
       javax.jdo.option.ConnectionURL  
       jdbc:mysql://localhost:3306/spark?createDatabaseIfNotExsit=true;characterEncoding=UTF-8
   
    
       javax.jdo.option.ConnectionDriverName  
       com.mysql.jdbc.Driver  
   
    
       javax.jdo.option.ConnectionUserName  
       root  
   
    
       javax.jdo.option.ConnectionPassword  
       数据库root的密码  
   

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

拷贝架包：

初始化hive

失败了
9. 配置maven
解压，改名：


设置环境变量：

配置settings.xml：

           alimaven
           aliyun maven
           http://maven.aliyun.com/nexus/content/groups/public/
           central
     
1
2
3
4
5
6

/root/repository
1

检查是否安装成功：

10. 配置scala
安装并改名：


配置环境：

检查：

11. 配置git

卸载原有版本：

解压压缩包，改名：


安装依赖

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install  gcc perl-ExtUtils-MakeMaker
1
2

安装：

make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/root/app/git/bin" >> .bash_profile
source /etc/profile
1
2
3
4

检查：

配置git：

git config --global user.name "1210611257"
git config --global user.email “1210611257@qq.com”
1
2

查看配置是否生效

git config --list
1

创建本地仓库：

mkdir gitspace
cd gitspace
git init
1
2
3

配置github
12. 安装IDEA
centos7中idea的安装与部署 - 活跃星竹 - 博客园 (cnblogs.com)



然后覆盖即可。