1.背景
1.1 简介
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
更多知识参考：《Elasticsearch 简介》
Elasticsearch 具有以下特征
- Elasticsearch 很快。 由于 Elasticsearch 是在 Lucene 基础上构建而成的，所以在全文本搜索方面表现十分出色。Elasticsearch 同时还是一个近实时的搜索平台，这意味着从文档索引操作到文档变为可搜索状态之间的延时很短，一般只有一秒。因此，Elasticsearch 非常适用于对时间有严苛要求的用例，例如安全分析和基础设施监测。
- Elasticsearch 具有分布式的本质特征。 Elasticsearch 中存储的文档分布在不同的容器中，这些容器称为分片，可以进行复制以提供数据冗余副本，以防发生硬件故障。Elasticsearch 的分布式特性使得它可以扩展至数百台（甚至数千台）服务器，并处理 PB 量级的数据。
- Elasticsearch 包含一系列广泛的功能。 除了速度、可扩展性和弹性等优势以外，Elasticsearch 还有大量强大的内置功能（例如数据汇总和索引生命周期管理），可以方便用户更加高效地存储和搜索数据。
- Elastic Stack 简化了数据采集、可视化和报告过程。 人们通常将 Elastic Stack 称为 ELK Stack（代指Elasticsearch、Logstash 和 Kibana），目前 Elastic Stack 包括一系列丰富的轻量型数据采集代理，这些代理统称为 Beats，可用来向 Elasticsearch 发送数据。通过与 Beats 和 Logstash 进行集成，用户能够在向 Elasticsearch 中索引数据之前轻松地处理数据。同时，Kibana 不仅可针对 Elasticsearch 数据提供实时可视化，同时还提供 UI 以便用户快速访问应用程序性能监测 (APM)、日志和基础设施指标等数据。
1.2 学习参考
- Elasticsearch官方文档：《Elasticsearch权威指南》
- Elasticsearch各版本区别：《Elasticsearch各个版本重要特性》
- 中国社区官方博客：《Elastic 中国社区官方博客》，《知识导航页》
- 其他参考技术博客：《系统学习Elastic》
- 常规知识点：《Elasticsearch面试问题》
1.3 本例测试版本
{
"name" : "xxx.168.xx.4",
"cluster_name" : "my-application",
"cluster_uuid" : "xxxxxxxxx",
"version" : {
"number" : "7.12.1",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "xxxxxxxxxxxx",
"build_date" : "2021-04-20T20:56:39.040728659Z",
"build_snapshot" : false,
"lucene_version" : "8.8.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
2.DSL语法学习
2.1基础知识
数据类型
官方参考文档：《Field datatypes》。可查看不同版本的支持数据类型。
知乎参考明细文档：《ElasticSearch系列03：ES的数据类型》
重点理解：
String字符串的两种数据格式 keyworld,text的区别
- text：会分词，然后进行索引，用于全文搜索。支持模糊、精确查询，不支持聚合。
- keyword：不进行分词，直接索引，keyword用于关键词搜索，支持模糊、精确查询，支持聚合。
如果不指定类型，ElasticSearch字符串将默认被同时映射成text和keyword类型，会自动创建下面的动态映射(dynamic mappings)：
"mappings" : {
"properties" : {
"color" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
直接使用color字段不支持聚合，但使用color.keyword支持聚合操作。
日期/时间自定义格式
- yyyy-MM-dd HH:mm:ss
- yyyy-MM-dd
- epoch_millis（毫秒值）
定义日期字段类型参考如下映射：
PUT my_index
{
"mappings": {
"_doc": {
"properties": {
"date": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}
}
}
}
}
- 数组（数组类型直接声明为text,传入的数组初始化数据类型需一致），object,nested复杂类型；
- 聚合/排序时，哪些数类型的字段支持：
默认是根据相关度算分（_score）来排序，但是也支持自定义方式对搜索结果排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。
若字段类型为text,不支持聚合等操作。也不推荐在Text字段上启用fielddata,因为field data和其缓存存储在堆中,这使得它们的计算成本很高。计算这些字段会造成延迟,增加的堆占用会造成集群性能问题。
- text常见分词器
type类型
根据Elasticsearch版本升级改造，去掉type。一个业务存储数据（类似于mysql数据表）为一个index。
number_of_shards：分片数（ES 7后，默认分片数为1）
number_of_replicas：每个分片的备份数量
2.2构建index
PUT /study_index
{
"settings": {
"index": {
"number_of_shards": 1,
"number_of_replicas": 1
}
},
"mappings": {
"properties": {
"study_id": {
"type": "integer"
},
"price": {
"type": "double"
},
"content": {
"type": "text"
},
"title": {
"type": "keyword"
},
"study_name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"study_date": {
"type": "date",
"format": "yyyy-MM-dd"
},
"study_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
},
"study_millis": {
"type": "date",
"format": "epoch_millis"
},
"study_array": {
"type": "text"
},
"study_object": {
"type": "object"
},
"study_nested": {
"type": "nested"
},
"location": {
"type": "geo_point"
}
}
}
}
初始化数据
PUT /study_index/_bulk
{ "index": {}}
{ "study_id" : 2, "price" : 188.55, "content" : "养乐多1 test","title":"养乐多哇哈哈","study_name":"测试，中国人都爱喝", "study_date" : "2022-06-28","study_time" : "2022-10-28 12:22:32","study_millis":"1657626972000","study_array":["养乐多","哇哈哈","饮料"],"study_object":[ { "name":"wang", "age":18 }, { "name":"ling", "age":21 } ],"study_nested":[ { "name":"ma", "sex":1 }, { "name":"zhang", "sex":2 } ],"location":[ -72.34, 41.12 ] }
2.3基础DSL查询语句
filter查询
过滤器，会查询对结果进行缓存，不会计算相关度，避免计算分值，执行速度非常快。
组合(bool)查询
bool 可以用来合并多个过滤条件查询结果的布尔逻辑，它包含这如下几个操作符:
- must : 多个查询条件的完全匹配,相当于 and。
- must_not ::多个查询条件的相反匹配，相当于 not。
- should : 至少有一个查询条件匹配, 相当于 or。
match
match查询属于高级查询，他会根据你查询的字段类型不一样，采用不同的查询方式,更加灵活多变。
- 查询的是日期或者是数值的话，他会将你基于的字符串查询内容转换为日期或者数值对待。
- 查询的内容是一个不能被分词的内容（keyword），match查询不会对你指定的查询关键字进行分词。
- 查询的内容是一个可以被分词的内容（text），match会将你指定的查询内容根据一定的方式去分词，去分词库中匹配指定的内容。
match查询，实际底层就是多个term查询，将多个term查询的结果给你封装到了一起而已。
- match_phrase查询分析文本，并从分析文本中创建短语查询
- match_phrase_prefix 做匹配
term
- term代表完全匹配，不进行分词器分析
- term 查询的字段需要在mapping的时候定义好，否则可能词被分词。传入指定的字符串，查不到数据
wildcard
类似于mysql中的like语法，基于**可做左右匹配。
英文查询没问题，中文查询有问题。中文查询的问题体现在单个汉字查询，没问题。多个字查询，则不支持。
中文使用时，将字段设置为keyword类型，支持多个汉字匹配。将对应字段加上keyword也支持，如：study_name.keyword。
中文含义是：避免以*或？开头的模式。这会增加查找匹配项所需的迭代次数并降低搜索性能。
- ? : 支持模糊匹配单个字符。举例：Ma?s 仅能匹配：Mars, Mass, 和 Maps。
- *: 支持模糊匹配零个或者多个字符。举例：Ma*s 能匹配：Mars, Matches 和 Massachusetts等。
模糊查询，如中国人都喜欢，可以基于“*中国*”匹配，也可以基于“中??都*” 匹配。
GET /study_index/_search
{
"query": {
"wildcard": {
"study_name.keyword": "*中??都*"
}
}
}
模糊查询的性能都不高，wildcard也不例外。不过在ES7.9中引入了一种新的
wildcard 字段类型，该字段类型经过优化，可在字符串值中快速查找模式。wildcard 类型出现的目的：一方面避免了某些场景下分词查询不准确的问题，另一方面也解决了通配符和正则检索的效率问题。 PUT my-study_index
{
"mappings": {
"properties": {
"my_wildcard_test": {
"type": "wildcard"
}
}
}
}
fuzzy
fuzzy也是一种模糊查询，我理解它其实属于比较轻量级别的模糊查询。fuzzy中有个编辑距离的概念，编辑距离是对两个字符串差异长度的量化，及一个字符至少需要处理多少次才能变成另一个字符，比如lucene和lucece只差了一个字符他们的编辑距离是1。
其实fuzzy有个
fuzziness参数，可以赋值为0，1，2和AUTO，默认其实是AUTO。AUTO的意思是，根据查询的字符串长度决定允许的编辑距离，规则是：
- 0..2 完全匹配（就是不允许模糊）
- 3..5 编辑距离是1
- 大于5 编辑距离是2
其实仔细想一下，即使限制了编辑距离，查询的字符串比较长的情况下需要查询的词项也是非常巨大的。所以fuzzy还有一个选项是prefix_length，表示不能被 “模糊化” 的初始字符数，通过限制前缀的字符数量可以显著降低匹配的词项数量。
更多模糊查询参考：《Elasticsearch中的模糊查询》
constant_score 以非评分模式查询
查询price为68.55的记录
mysql对比：select * from study_index where price=68.55
GET /study_index/_search
{
"query": {
"term": {
"price": 68.55
}
}
}
查询study_id为[1,2,3,4]的数据,price大于100，study_date在一个时间区间的数据
mysql对比：select * from study_index where price>100 and study_id in (1,2,3,4) and study_date between '2020-01-01' and '2022-09-01' and content like '%test%'
# 直接查询
GET /study_index/_search
{
"query":{
"bool":{
"must":[
{
"terms":{
"study_id":[1, 2, 3, 4]
}
},
{
"wildcard":{
"content":"*test*"
}
},
{
"range":{
"price":{
"gte":100
}
}
},
{
"range":{
"study_date":{
"gte":"2020-01-01",
"lte":"2022-09-01"
}
}
}
]
}
}
}
# 过滤数据查询
GET /study_index/_search
{
"query":{
"bool":{
"must":[
{
"terms":{
"study_id":[1, 2, 3, 4]
}
},
{
"wildcard":{
"content":"*test*"
}
}
],
"filter": [
{
"range":{
"price":{
"gte":100
}
}
},
{
"range":{
"study_date":{
"gte":"2020-01-01",
"lte":"2022-09-01"
}
}
}
]
}
}
}
# 查询时不计算关联分数
GET /study_index/_search
{
"query":{
"constant_score": {
"filter": {
"bool":{
"must":[
{
"terms":{
"study_id":[1, 2, 3, 4]
}
},
{
"wildcard":{
"content":"*test*"
}
}
],
"filter": [
{
"range":{
"price":{
"gte":100
}
}
},
{
"range":{
"study_date":{
"gte":"2020-01-01",
"lte":"2022-09-01"
}
}
}
]
}
},
"boost": 1.2
}
}
}
查询商户ID为3582，订单号为360102199003072618，按时间范围过滤，按下单时间倒序，每次查询100条
左匹配
mysql对比：like 'wang%'
prefix query，match_phrase_prefix均支持左匹配。
{
"match_phrase_prefix":{
"content":"wang"
}
}
{ "query": {
"prefix" : { "author": "方" }
}
}
结果集返回指定字段 (_source)
在query同一级，"_source":["字段1","字段2",...]
排序分页查询
text类型无法排序，keyword类型可以
GET /study_index/_search
{
"query":{
"bool":{
"must":[
{
"match_phrase_prefix":{
"content":"乳"
}
},
{
"range": {
"price": {
"gte": 10,
"lte": 20000
}
}
}
]
}
}
,
"sort": [
{
"price": {
"order": "desc"
}
},
{
"study_id": {
"order": "desc"
}
}
],
"_source": ["study_millis","price","title","study_array"],
"from":0,
"size": 20
}
分组聚合
"size": 0：表示只展示分组统计的字段，不展示原始数据；
基于title分组，并基于平均价格排序；
GET /study_index/_search
{
"size": 0,
"aggs": {
"title_group": {
"terms": {
"field": "title",
"order": {
"avg_price": "desc"
}
},
"aggs": {
"avg_price": {
"avg": {
"field": "price"
}
}
}
}
}
}
基于区间统计聚合
GET /study_index/_search
{
"size": 0,
"aggs": {
"age_group_price":{
"range": {
"field": "price",
"ranges": [
{
"from": 1,
"to": 100
},
{
"from": 100,
"to":1000
},
{
"from": 1000,
"to":100000
}
]
}
}
}
}
高亮显示
展示content内容中，高亮显示test
GET /study_index/_search { "query": { "match": { "content": "test" } }, "highlight": { "pre_tags": [ "<span>" ], "post_tags": [ "span>" ], "fields": { "content": {} } } }
深分页
| 分页方式 | 性能 | 优点 | 缺点 | 场景 |
| from + size | 低 | 灵活性好，实现简单 | 深度分页问题 | 数据量比较小，能容忍深度分页问题 |
| scroll | 中 | 解决了深度分页问题 | 无法反应数据的实时性（快照版本）维护成本高，需要维护一个 scroll_id | 海量数据的导出（比如笔者刚遇到的将es中20w的数据导入到excel）需要查询海量结果集的数据 |
| search_after | 高 | 性能最好不存在深度分页问题能够反映数据的实时变更 | 实现复杂，需要有一个全局唯一的字段连续分页的实现会比较复杂，因为每一次查询都需要上次查询的结果 | 海量数据的分页 |
第一步获取scroll
GET /study_index/_search?scroll=2m
{
"query": {
"fuzzy": {
"content":{
"value":"test"
}
}
},
"size": 3
}
第二步基于scroll查询
基于scroll_id查询时，查询语句不用再写索引名称，直接编写_search/scroll 。
GET /_search/scroll?pretty
{
"scroll" : "1m",
"scroll_id" : "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFkdzQVVFd29IVEZ5VE13ZEZNV2dUMkEAAAAAAADAgBY4VDlNWHdpN1NTV2JXM20wT0pOdEVn"
}
3.Kibana数据展示
数据参考配置：《Kibana 之 使用索引模式》
Kibana基础知识：《如何开始使用 Kibana》
Kibana 是用于在 Elasticsearch 中可视化数据的强大工具。 这是开始探索你的 Elasticsearch 数据的方法。Kibana 是一种免费及开放的分析和可视化工具，可通过基于浏览器的界面轻松搜索，可视化和探索大量数据。 除了 Elasticsearch，Logstash 和 Beats 之外，Kibana 是 Elastic Stack（以前称为 ELK Stack）的核心部分。
在最新的 Elastic Stack 中，它也被称之为 Data View。Elasticsearch 将数据存储在索引中-如果你更熟悉关系数据库，则它们在某种程度上类似于表。 索引模式告诉 Kibana 你想探索哪些Elasticsearch 索引。 你可以在 Elasticsearch 中为特定索引创建索引模式，也可以使用通配符*同时查询多个索引。 在 Kibana 中可以有多个索引模式（就像数据库中有很多表一样）。 在创建可视化或搜索数据时，你将需要选择要在其上进行搜索的索引模式。
3.1简单分析学习数据
