elasticsearch 8.X新特性

其实8.X版本，主要都是对NLP的支持。

以及对机器学习能力的加强。

还有就是对SSL认证的简化。

 8.0变化与特性

官方文档

What’s new in 8.0 | Elasticsearch Guide [8.0] | Elastic

8.0重要变化

1. Elasticsearch REST API 引入了几项重大更改 ， REST API 中添加了对 7.x 兼容性标头的支持。在许多情况下，这些可选标头允许您向 8.0 集群发出与 7.x 兼容的请求并接收与 7.x 兼容的响应。

2. 开箱即用的安全认证功能： 首次启动 Elasticsearch 时，会自动进行安全配置 ，这包括： 为传输层和 HTTP 层生成 TLS 证书和密钥 、 TLS 配置设置被写入elasticsearch.yml 、 为 elastic 用户生成密码 、并且可以在kibana上生成注册令牌。

3. 添加对系统索引的访问限制： 要访问系统索引，您现在必须将 allow_restricted_indices 权限设置为true ，superuser角色也不再授予对系统索引的写访问权限。因此，默认情况下，内置elastic`超级用户无法更改系统索引。

4. 优化倒排索引，节省存储空间。对keyword类型、match_only_text 、text类型字段优化，减少磁盘占用。

   We’ve updated inverted indices, an internal data structure, to use a more space-efficient encoding. This change will benefit keyword fields, match_only_text fields, and, to a lesser extent, text fields. In our benchmarks using application logs, this translated into a 14.4% reduction of the size of the index of the message field (mapped as match_only_text) and an overall 3.5% reduction of the on-disk footprint.

5. 优化geo_point、geo_shape 和 range 字段的检索，根据lucene的基准测试，有10%~15%的提升。

   We’ve optimized indexing speeds for multi-dimensional points, an internal data structure used for geo_point, geo_shape, and range fields. Lucene-level benchmarks reported 10-15% faster indexing for these fields types. Elasticsearch indices and data streams that mostly consist of these fields may see noticeable improvements to indexing speed.

8.0新特性

1. 添加K-NN搜索API（非正式版本，以后可能会修改或删除） 找到与查询向量最近的k个向量，通过相似性度量来衡量。kNN 通常用于支持推荐引擎并基于自然语言处理 (NLP) 算法对相关性进行排名。 通过降低准确性，来提高检索速度。

 

1. 关于K-NN参考文章：

   使用 Amazon Elasticsearch Service 构建 k 近邻 (k-NN) 相似度搜索 | 亚马逊AWS官方博客

   官方API：

   kNN search API | Elasticsearch Guide [8.0] | Elastic

2. NLP自然语言处理，提供信息提取，文本分类，查询能力。可以使用训练好的模型。

   Overview | Machine Learning in the Elastic Stack [8.0] | Elastic

 8.1变化与特性

1. Doc-values-only search on numeric, date, keyword, ip, and boolean fields

   You can now run term and range queries on numeric, date, date_nanos, keyword, ip, and boolean fields that only store doc values.

8.2变化与特性

1. K-NN搜索提供过滤。

2. NLP推理过程提供统计数据，例如延迟、吞吐量。

8.3变化与特性

1. 管道处理降低10%的CPU使用，提升3%的速度。
2. 现在在8的版本里边，支持去读 5或6版本的索引。但是速度会比较慢。