elasticsearch

1. 什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。
elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。

2. elasticsearch的发展

Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。
Lucene的优势：

• 易扩展
• 高性能（基于倒排索引）

Lucene的缺点：

• 只限于Java语言开发
• 学习曲线陡峭
• 不支持水平扩展

2004年Shay Banon 基于Lucene开发了Compass
2010年Shay Banon 重写了Compass，取名为Elasticsearch。
官网地址: https://www.elastic.co/cn/
目前最新的版本是：7.12.1
相比与lucene，elasticsearch具备下列优势：

• 支持分布式，可水平扩展
• 提供Restful接口，可被任何语言调用

3. 为什么学习elasticsearch？

搜索引擎技术排名：

• Elasticsearch：开源的分布式搜索引擎
• Splunk：商业项目
• Solr：Apache的开源搜索引擎
  

4. 小结

什么是elasticsearch？

• 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

• 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

• 是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

5. 正向索引和倒排索引

传统数据库（如MySQL）采用正向索引，例如给下表（tb_goods）中的id创建索引：

elasticsearch采用倒排索引：

• 文档（document）：每条数据就是一个文档
• 词条（term）：文档按照语义分成的词语
  

5.1 posting list

倒排索引中包含两部分内容：

• 词条词典（Term Dictionary）：记录所有词条，以及词条与倒排列表（Posting List）之间的关系，会给词条创建索引，提高查询和插入效率
• 倒排列表（Posting List）：记录词条所在的文档id、词条出现频率 、词条在文档中的位置等信息
  文档id：用于快速获取文档
  词条频率（TF）：文档在词条出现的次数，用于评分
  

5.2 小结

什么是文档和词条？

• 每一条数据就是一个文档
• 对文档中的内容分词，得到的词语就是词条

什么是正向索引？

• 基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条

什么是倒排索引？

• 对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

5.3 文档

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。
文档数据会被序列化为json格式后存储在elasticsearch中。

5.4 索引

• 索引（index）：相同类型的文档的集合
• 映射（mapping）：索引中文档的字段约束信息，类似表的结构约束
  
  概念对比
  

5.5 架构

Mysql：擅长事务类型操作，可以确保数据的安全和一致性
Elasticsearch：擅长海量数据的搜索、分析、计算

5.6 小结

文档：一条数据就是一个文档，es中是Json格式
字段：Json文档中的字段
索引：同类型文档的集合
映射：索引中文档的约束，比如字段名称、类型

elasticsearch与数据库的关系：

• 数据库负责事务类型操作
• elasticsearch负责海量数据的搜索、分析、计算