Logstash：如何连接到带有 HTTPS 访问的集群

前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在  Elasticsearch 8.x 的安装中，SSL 的连接是最基本的配置。那么我们如何把采集的数据成功地写到 Elasticsearch 中去呢？在我之前的视频中有分享。在今天的文章中，我将采用另外一种方法来进行演示。

在今天的展示中，我将使用最新的 Elastic Stack 8.4.1 来进行展示。

安装

Elasticsearch 及 Kibana

如果你还没有安装 Elasticsearch 及 Kibana，请参阅如下的文章来安装自己的 Elasticsearch 及 Kibana：

• 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch

• Kibana：如何在 Linux，MacOS 及 Windows 上安装 Elastic 栈中的 Kibana

特别需要指出的是：我们需要选择自己的平台，并安装好 Elasticsearch 8.x 及 Kibana 8.x 版本。

Logstash

Logstash 的安装非常简单直接。我们可以参考文章 “如何安装 Elastic 栈中的 Logstash”。我们直接到官方网站下载和 Elasticsearch 一样的版本，并解压到相应的目录中即可。

写入数据到 Elasticsearch 中

在 Logstash 的安装根目录下，我们创建一个如下的配置文件：

logstash.conf

input {
  generator {
    message => "liuxg"
    count => 1
  }
}
 
output {
	stdout {
		codec => rubydebug
	}
 
    elasticsearch {
    	hosts => ["https://localhost:9200"]
    	index => "data-%{+YYYY.MM.dd}"
    	user => "elastic"
    	password => "ndktp2Xr2h_*Q6EZfq4t"
		ssl_certificate_verification => true
		truststore => "/Users/liuxg/elastic/elasticsearch-8.4.1/config/certs/http.p12"
		truststore_password => "buSYG3l-R0mdN6pggG76VA"
  	}
}

在上面的第一个部分，我们使用 generator 来生成一个 message。我们在 output 里定义两个输出，一个是 stdout，而另外一个是 elasticsearch output。我们查一下官方文档，并对它做如上的配置。需要指出的是：

• hosts：这个是 Elasticsearch 集群的终端地址。你需要根据自己的配置进行修改
• index：这个在 Elasticsearch 中创建的索引的名称
• user：这个是在 Elasticsearch 中创建的用户。我使用的是超级用户 elastic，尽管这个在生产环境中是不必要的。你可以根据文章 “Elasticsearch：用户安全设置” 来创建具有适当权限的用户
• password：这个是上面的 user 用户对应的密码
• ssl_certificate_verification：当为 true 时，启动 SSL 检验
• truststore：这个是 Elasticsearch 的证书所在的地址
• truststore_password：这个是 truststore 的密码

我们可以根据如下的方式来得到这个密码：

$ pwd
/Users/liuxg/elastic/elasticsearch-8.4.1
$ ./bin/elasticsearch-keystore list
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
buSYG3l-R0mdN6pggG76VA

在上面的最后一个命令中它显示了 keystore 的密码。

$ pwd
/Users/liuxg/elastic/elasticsearch-8.4.1
$ ./bin/elasticsearch-keystore list
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
buSYG3l-R0mdN6pggG76VA
$ ls config/certs/
http.p12      http_ca.crt   transport.p12

我们在 Logstash 的安装目录下使用如下的方式来进行运行：

./bin/logstash -f logstash.conf

我们接下来到 Kibana 中进行查看：

很显然，我们的数据已经写入到 Elasticsearch 中了。 

在上面，我们使用了 http.p12 证书来进行这样的操作。我们可以使用如下的命令来查看这个证书：

$ pwd
/Users/liuxg/elastic/elasticsearch-8.4.1
$ ./bin/elasticsearch-keystore list
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
Jn1YI7FMSNaiAXjUsdp4Mw
$ cd config/certs/
$ keytool -keystore http.p12 -list
Enter keystore password:  
Keystore type: PKCS12
Keystore provider: SUN
 
Your keystore contains 2 entries
 
http, Sep 26, 2022, PrivateKeyEntry, 
Certificate fingerprint (SHA-256): 97:D0:50:B0:31:73:42:67:D1:00:7C:71:F2:4D:D4:9E:AC:73:99:39:AC:E8:34:EB:DA:2F:0B:5E:F6:65:D3:CD
http_ca, Sep 26, 2022, PrivateKeyEntry, 
Certificate fingerprint (SHA-256): B4:8C:3E:33:FE:E5:AA:42:CF:1F:36:AC:94:D2:47:B2:3E:A3:B1:27:52:67:C5:6F:7B:CB:FF:9F:30:47:56:99

从上面的输出中，我们可以看出来，在 http.p12 中有两个 entry，其中一个是私钥。考虑到我们并不便于发送这个给客户端。我们可以使用如下的方法来创建 truststore：

keytool -import -file http_ca.crt -keystore truststore.p12 -storepass password -noprompt -storetype pkcs12

如上所示，它在当前的目录下创建一个叫做 truststore.p12 的文件。它的密码是 password。我们可以使用如下的命令来查看这个 truststore 的内容：

keytool -keystore truststore.p12 -list

$ pwd
/Users/liuxg/elastic/elasticsearch-8.4.1/config/certs
$ ls
http.p12      http_ca.crt   transport.p12
$ keytool -import -file http_ca.crt -keystore truststore.p12 -storepass password -noprompt -storetype pkcs12
Certificate was added to keystore
$ ls 
http.p12       http_ca.crt    transport.p12  truststore.p12
$ keytool -keystore truststore.p12 -list
Enter keystore password:  
Keystore type: PKCS12
Keystore provider: SUN
 
Your keystore contains 1 entry
 
mykey, Sep 30, 2022, trustedCertEntry, 
Certificate fingerprint (SHA-256): B4:8C:3E:33:FE:E5:AA:42:CF:1F:36:AC:94:D2:47:B2:3E:A3:B1:27:52:67:C5:6F:7B:CB:FF:9F:30:47:56:99

如上所示，我们可以看到在生成的 truststore.p12 中只有一个项目。它的别名叫做 mykey。 

根据上面所生成的 truststore.p12 及其访问密码 password，我们可以修改上面的 elasticsearch 配置如下：

    elasticsearch {
    	hosts => ["https://localhost:9200"]
    	index => "data-%{+YYYY.MM.dd}"
    	user => "elastic"
    	password => "ndktp2Xr2h_*Q6EZfq4t"
		ssl_certificate_verification => true
		truststore => "/Users/liuxg/elastic/elasticsearch-8.4.1/config/certs/truststore.p12"
		truststore_password => "password"
  	}

我们再次重新运行之前的命令即可。

运用 API key 来进行连接

我们也可以试验 API Key 来连接到 Elasticsearch。首先，我们来创建一个 API Key：

 

 

这样我们就创建了一个 API key。点击上面右边的文档小图标，并拷贝 APK key。这个 key 将在下面的配置中使用。

我们接着创建如下的一个 Logstash 的配置文件：

logstash.conf

nput {
  generator {
    message => "liuxg"
    count => 1
  }
}
 
output {
    stdout {
      codec => rubydebug
    }
 
    elasticsearch {
      hosts => ["https://localhost:9200"]
      index => "data-%{+YYYY.MM.dd}"
      ssl => true
      ilm_enabled => true
      ssl_certificate_verification => false
      api_key => "GMl1S4QBW_e6QIS4FQXK:KtC_17NAQt6Ef_7xuqzUCA"
    }
}

我们把上面的文件保存于 Logstash 安装的根目录下，并使用如下的命令来进行运行：

./bin/logstash -f logstash.conf 

我们接下来在 Kibana 中进行查看：

GET _cat/indices

我们可以看到 数据已经写入到 Elasticsearch 中了。 

使用 fingerprint 来进行连接

我们可以使用 fingerprint 来进行连接。Fingerprint 的好处是，我们不必把把证书拷贝到 Logstash 运行的服务器中。请参考 “Beats：使用 fingerprint 来连接 Beats/Logstash 和 Elasticsearch”