CentOS安装Elasticsearch集群

前言

        之前使用的ES集群是其他公司维护，没有机会安装，后来做其他项目，终于有机会安装ES集群，简单记录一下备用

一、安装jdk

        安装jdk1.8就可以，可以参考另一篇文章，这里就不细说了

二、修改系统参数

           如果在一台服务器安装集群，则下面的操作在一台服务器执行即可，如果要在多台服务器搭建ES集群，那么下面的操作要在所有的服务器上执行

2.1、内核参数优化

vim /etc/sysctl.conf

添加以下内容

vm.max_map_count = 262144

vm.swappiness = 0

vm.dirty_background_ratio = 3

vm.dirty_ratio = 5

vm.zone_reclaim_mode = 0

vm.min_free_kbytes = 2097152

net.ipv4.tcp_keepalive_time = 600

net.ipv4.tcp_keepalive_intvl = 60

net.ipv4.tcp_keepalive_probes = 3

使用以下命令校验相关配置 

sudo sysctl -p

执行完之后，没有报错。

sysctl -a | grep 'vm.max_map_count' 

可以看到以下配置

vm.max_map_count = 262144

sysctl -a | grep dirty 

可以看到以下配置

vm.dirty_background_ratio = 3

vm.dirty_ratio = 5

2.2、设置资源数

vim /etc/profile 

添加以下内容

ulimit -SHl unlimited

ulimit -SHu 409600

ulimit -SHn 409600

使配置生效  

source /etc/profile

vim /etc/security/limits.conf

添加以下内容

@root            soft    core            unlimited

@root            hard    core            unlimited

*       -       nofile          500000

*       soft    nproc          500000

*       soft    nofile          655350

*       hard    nofile          655350

在profile配置生效后，输入如下命令，查看配置输出信息

ulimit -Hn，输出409600

ulimit -Sn，输出409600

         注意：如果输出的不是该值，请检查vim /etc/bashrc中是否配置了ulimit -n 65535，如果有则注释掉该配置 

2.3、修改线程数

vim /etc/security/limits.d/20-nproc.conf

添加以下内容

*          soft    nproc     500000

root       soft    nproc     unlimited

2.4、修改开机启动项并执行

vim /etc/rc.d/rc.local

增加下列内容（直接复制粘贴）：

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

保存并退出，并给rc.local添加可执行权限。

chmod +x /etc/rc.d/rc.local

三、安装ES

3.1、新建ES用户

adduser esuser

3.2、创建ES数据目录

        es的数据目录需要选用数据盘来存放数据，切忌不可存选用系统盘作为存放es的数据。

        一台服务器安装三个ES节点， 软件和数据都放在/home/es目录下，master，slave1，slave2目录存放三个节点的程序，maste_data，slave1_data，slave2_data目录存放对应节点的数据

mkdir -p /home/es/master

mkdir -p /home/es/master_data

mkdir -p /home/es/slave1_data

mkdir -p /home/es/slave2_data

        赋权给ES用户 

chown -R esuser:esuser /home/es

        上传安装包到 /home/es目录下，解压到master目录

tar -zxf elasticsearch-7.x-linux-x86_64.tar.gz -C /home/es && mv /home/es/elasticsearch-7.x /home/es/master

3.3、配置jvm.options 

        es节点的最大可使用内存为32g，因此在更改jvm.options配置文件的时候，不要设置超过32g，如果所在服务器可使用内存远超32g，为不浪费剩余资源，可考虑在该服务器上多部署几个es节点。

cd /apps/elasticsearch-7.2.0

vim config/jvm.options

-Xms10g

-Xmx10g

 3.4、配置elasticsearch.yml

cd master

vim config/elasticsearch.yml

cluster.name: my_cluster

node.name: node-101-1

path.data: /home/es/master_data

node.master: true

node.data: true

network.host: 0.0.0.0

http.port: 9200

transport.tcp.port: 9300

cluster.initial_master_nodes:["node-101-1","node-101-2","node-101-3"]

discovery.seed_hosts:["192.168.0.101:9300","192.168.0.101:9301","192.168.0.101:9302"]

gateway.recover_after_nodes: 3

http.cors.enabled: true

http.cors.allow-origin: "*"

cluster.routing.allocation.cluster_concurrent_rebalance: 10

cluster.routing.allocation.node_concurrent_recoveries: 10

cluster.routing.allocation.node_initial_primaries_recoveries: 4

配置说明

cluster.name: es集群的名称，可以自定义，但要保证集群中每一个node的cluster.name名称一致。

node.name: 节点的名称，可以自定义。

path.data: 存储数据目录，如果有多个磁盘，用”,”进行分隔。

node.master: true表示是否为master节点，true为是，false为否。

node.data: true表示是否为数据节点，true为是，false为否。

network.host: 0.0.0.0表示绑定的ip地址， 0.0.0.0表示绑定本机ip。

http.port: HTTP请求的端口号，默认9200~9299端口之间。

transport.tcp.port: nodes节点之前通信端口号，默认9300~9400端口之间。

cluster.initial_master_nodes:是es7.x 之后新增的配置，表示初始化一个新的集群时需要此配置来选举master，必须和node.name保持一致。

discovery.seed_hosts: 是es7.x 之后新增的配置，表示写入候选主节点的设备地址，在开启服务后可以被选为主节点。

gateway.recover_after_nodes: 2表示只要满足该数值的数据或主节点已加入集群，即可恢复。

http.cors.enabled: true表示是否支持跨域，是：true，在使用head插件时需要此配置。

http.cors.allow-origin: "*" “*” 表示支持所有域名。

cluster.routing.allocation.cluster_concurrent_rebalance: 10表示集群内同时启动的数据任务个数，默认是2个。

cluster.routing.allocation.node_concurrent_recoveries: 10表示添加或删除节点及负载均衡时并发恢复的线程个数，默认4个。

cluster.routing.allocation.node_initial_primaries_recoveries: 4表示初始化数据恢复时，并发恢复线程的个数，默认4个。

3.5、启动脚本

编辑简单的启动脚本启动ES

cd master

vim start.sh

#!/bin/sh

cd `dirname $0`

su esuser -c "sh ./bin/elasticsearch -d -p pid"

添加执行权限 

chmod +x start.sh 

3.6、配置其他节点

复制master到其他节点，修改对应的elasticsearch.yml配置即可，主要修改红色的配置，

cp -r /home/es/master /home/es/slave1

cp -r /home/es/master /home/es/slave2

其他服务器使用scp命令

scp -r /home/es/master root@ip:/home/es/master

四、启用集群安全认证

4.1、停止服务

jps -l

kill pid

4.2、 生成证书

注意：不需要设置密码，直接回车，后面如果有需要输入密码，也是直接回车。

./bin/elasticsearch-certutil ca 

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

执行完之后，会生成两个文件，elastic-certificates.p12和elastic-stack-ca.p12

拷贝到master的config目录下和其他节点的congfig目录下

4.3、修改配置

master节点的elasticsearch.yml添加以下配置，其他节点添加对应的配置，注意证书文件的路径

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true

xpack.security.transport.ssl.verification_mode: certificate

xpack.security.transport.ssl.keystore.path:/home/es/master/config/elastic-certificates.p12

xpack.security.transport.ssl.truststore.path:/home/es/master/config/elastic-certificates.p12

4.4、启动服务

 ./start.sh

4.4、设置密码

./bin/elasticsearch-setup-passwords interactive

要输入12次密码，都输入一样的就可以了

五、安装Kibana

上传并解压

tar -zxf  kibana-7.x-linux-x86_64.tar.gz

赋权给esuser

chown -R esuser:esuser kibana-7.x-linux-x86_64

备份配置文件

mv kibana.yml kibana.yml_bak

编辑配置文件

vim config/kibana.yml

添加一下配置，按照具体的配置修改，如果es集群没有配置密码则不用配置

i18n.locale: "zh-CN"

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.hosts: "http://ip:9200"

elasticsearch.username: "kibana-system"

elasticsearch.password: "123456"

kibana.index: ".kibana"

编辑启动脚本

vim start.sh

#!/bin/bash

su esuser -c "nohup bin/kibana >./stdout.log 2>&1 &"

启动

./start.sh

浏览器访问ip:5601，输入es的用户名和密码即可

写在最后的话

        集群安装也可以编写脚本完成一键安装，通过scp把安装包拷贝到其他节点。启用安全认证可以在3.3步骤后执行，就不用多配置了，一次配置就好了。