【环境检查】linux环境检查：内存剩余、磁盘读写性能、hosts、innode数量、CPU等

1. 内存检查

free -h
             total       used       free     shared    buffers     cached
Mem:           31G        21G         9G        26M         0B       1.5G
-/+ buffers/cache:        19G        11G
Swap:           0B         0B         0B

 

2. 服务器磁盘性能检查

通过 dd 命令检查磁盘写速度是否达到25M/s，命令如下：（示例中磁盘写速度为13M/s）不满足时需更新磁盘。

$ dd if=/dev/zero of=/data/text.txt bs=10k count=10000 oflag=direct

10000+0 records in
10000+0 records out
102400000 bytes (102 MB) copied, 7.85531 s, 13.0 MB/s

 

3. 检查hosts文件

集群主机映射要配置完整：
节点之间通讯是有时是通过主机名进行访问的，比如bigdata1 去访问bigdata2，此时如果bigdata1没有配置bigdata2的主机映射，那在访问时就找不到docp2的具体ip，所以但凡有通讯关系节点的都要配置相互的主机映射。

#以下三个节点是hadoop的三个节点，他们之间有通讯需求，那对于每一个节点都需要配置
sudo vim /etc/hosts
192.168.11.111  bigdata1
192.168.11.112  bigdata2
192.168.11.113  bigdata3

 

4. 安装目录 innode 号数量检查

当存储大量数据时会对磁盘的 inode 占用很高。因此在部署前，需要对部署目录下的 inode 数进行检查，当 inode数 < 1000 万时，需要重新格式化，并增加 inode。
命令如下：

# 以 /data 目录为例，检查inode数量命令
df -i
#文件系统                   Inode 已用(I)  可用(I) 已用(I)% 挂载点
#/dev/mapper/centos-root 30720000   32284 30687716       1% /
#devtmpfs                 4094536     414  4094122       1% /dev
#tmpfs                    4096126     121  4096005       1% /dev/shm
#tmpfs                    4096126     514  4095612       1% /run
#tmpfs                    4096126      13  4096113       1% /sys/fs/cgroup
#/dev/mapper/centos-home 20480000     109 20479891       1% /home
#/dev/sdb                 6553600  110653  6442947       2% /data
#/dev/sda1                 512000     330   511670       1% /boot
#tmpfs                    4096126       1  4096125       1% /run/user/0


# /data 目录下的 inode < 10000000 时，执行下面命令对磁盘进行重现格式化，并增加 inode
# 若磁盘为系统盘，则不能重新格式化。请根据实际情况操作，不要复制粘贴！初始化前先跟客户确认磁盘是否有数据！
umount /dev/vdc
mkfs.ext4 -I 256 -N 10000000 /dev/vdc
mount /dev/vdc /data
echo "/dev/vdc /data ext4 defaults,noatime 0 0" >> /etc/fstab

注：若磁盘为系统盘，则不能格式化。请根据实际情况操作，不要复制粘贴！初始化前先跟客户确认磁盘是否有数据！

 

5. 磁盘使用情况

df -h
#        Filesystem               Size  Used Avail Use% Mounted on
#        /dev/mapper/centos-root   30G  869M   29G   3% /
#        devtmpfs                  16G     0   16G   0% /dev
#        tmpfs                     16G  700K   16G   1% /dev/shm
#        tmpfs                     16G   26M   16G   1% /run
#        tmpfs                     16G     0   16G   0% /sys/fs/cgroup
#        /dev/sda1                497M   85M  412M  18% /boot
#        /dev/mapper/centos-home   20G   33M   20G   1% /home
#        /dev/mapper/centos-data   51G   12G   40G  23% /data
#        tmpfs                    3.2G     0  3.2G   0% /run/user/0
#        tmpfs                    3.2G     0  3.2G   0% /run/user/1000

 

6. CPU情况

cat /proc/cpuinfo | grep "cpu cores" | uniq 
#cpu cores       : 16
cat /proc/cpuinfo | grep "processor" | wc -l
#16