Hadoop学习记录1

一、Linux常用命令

补全命令

单击tab---补全
ll /etc/sysconfig/network-scripts/ifcfg-eth0

双击tab---提示以某字符串开始的所有文件、目录

 强制杀死进程

kill -9 pid 

“Another app is currently holding the yum lock; waiting for it to exit“的解决办法:

kill -9 占用yum的进程的id

查看、开/关防火墙 

systemctl status/start/stop firewalld

查看ip地址

ip addr

 免密登录开启(在本服务器user1上想通过ssh user2命令免密访问user2服务器时)

1. 使用rsa加密技术，生成公钥和私钥。一路回车即可

[root@user1 ~]# ssh-keygen -t rsa

2. 进入~/.ssh目录下，使用ssh-copy-id命令

 想免登陆的服务器ip/主机名

[root@user1 .ssh]# ssh-copy-id  root@user1
[root@user2 .ssh]# ssh-copy-id  root@user2

3. 进行验证    
[hadoop@user1 .ssh]# ssh user1

修改服务器ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#修改如下如下内容，如果没有则添加
ONBOOT=yes
IPADDR=192.168.10.101  #ip地址
GATEWAY=192.168.10.1
NETMASK=255.255.255.0 #掩码
DNS1=8.8.8.8
DNS2=114.114.114.114

#修改完后需重启重启网络服务
systemctl restart network

服务器与服务器之前传输文件

传输文件scp，传输文件夹scp -r

scp -r[本地文件的路径]  [服务器用户名]@[服务器地址]:[服务器上存放文件的路径]

例:

[root@user1 hadoop-3.3.1]# scp -r /etc/profile user2:/etc/

二.VMware+Centos

有一个三台服务器构成的集群，三个服务器的虚拟机配置文件分别在user1，user2，user3目录下

(存放虚拟机配置文件的目录建议路径不带中文不带空格不带特殊符号、同时不建议放到系统盘，要不每次打开VMware时都需要右击以管理员的身份启动，否则在加载vmx文件时会报没有权限的错误)

1）下载完VMware后，打开Vmware的左上角--->文件--->打开--->选中user1目录下的vmx文件。

2）同样地方式打开user2和user3中的vmx文件。

为了Window服务器和三个虚拟机服务器交互方便，下面是对网络信息的修改。

3）修改虚拟网络信息。步骤：打开vmware--->左上角--->编辑--->虚拟网络编辑器--->选中弹框中的vmnet8--->选中修改设置(管理员权限同意即可，点击后就可以进行下面的修改操作)   --->修改子网ip：192.168.10.0 修改子网掩码：255.255.255.0

---> 修改NAT设置--->修改网关IP：192.168.10.2

--->修改DHCP设置，修改起始IP地址：192.168.10.128，修改结束IP地址：192.168.10.254-

-->确定--->应用--->确定。

4）查看windows中的网卡信息，win控制栏右下角--->打开网络和internet设置--->更改适配器选项--->右击VMware NetWork Adapter VMnet8选中属性 ---> 找到此连接使用下列项目中的Internet协议版本4，点击选中后打开属性

--->选中自动获取IP地址和自动获取DNS服务器地址--->依次确定即可。

5）开启user1、user2、user3虚拟机，第一次启动弹框中选择我已移动此虚拟机---->依次开启3台服务器。

6）修改user1\user2\user3三台服务器的ip等信息：

通过在user1/2/3的bash中分别vim /etc/sysconfig/network-scripts/ifcfg-eth0

将IP地址分别修改为192.168.10.101/192.168.10.102/192.168.10.103

systemctl restart network

7）确保user1、user2、user3中的防火墙关闭

通过systemctl status firewalld命令检查，没有关闭使用systemctl stop firewalld命令关闭

确保windows中的防火墙和各种杀毒软件关闭。

windows控制栏-->系统和安全-->Windows Defender防火墙-->关闭专用网络和公用网络的防火墙

8)测试window是否能连接user1、user2、user3三台服务器，在win的cmd中ping 192.168.10.101即可

9)通过Windows给user1、user2、user3传文件，这里我们选择通过MobaXterm_CHM.exe文件。

双击运行MobaXterm_CHM.exe文件，通过以下步骤建立user1用户root的session

填写完毕后点击ok

添加服务器名与IP地址之间的映射

10）配置user1、user2、user3的映射

修改host文件

vi /etc/hosts
#修改如下
192.168.10.101 user1
192.168.10.102 user2
192.168.10.103 user3

11）修改windows的映射

打开C:\Windows\System32\drivers\etc\hosts，追加如下内容

192.168.10.101 user1
192.168.10.102 user2
192.168.10.103 user3

配置完后当在网页链接中出现user1时才会知道是192.168.10.101

12）检查user1、user2、user3服务器是否能连接外网

ping baidu.com

#只要能连接外网，就可以使用yum安装软件
yum -y install vim