Elasticsearch

1.初识elasticsearch

1.1 elasticsearch的作用

elasticsearch是一款非常强大的开源搜索引擎, 可以帮助我们从海量数据中快速找到需要的内容

1.2 elasticsearch和lucene的关系

elasticsearch底层是基于lucene来实现的

• 1999年, DougCutting研发了lucene
• 2004年, Shay Banon基于Lucene开发了Compass
• 2010年, Shay Banon重写了Compass, 取名为Elasticsearch

1.3 目前流行的搜索引擎技术排名

虽然在早期，Apache Solr是最主要的搜索引擎技术，但随着发展elasticsearch已经渐渐超越了Solr，独占鳌头

1.4 为什么使用elasticsearch作为搜索引擎

• 全文检索
• 分布式性能

1.全文检索
Elasticsearch是专门针对全文搜索场景设计的搜索引擎, 具有优秀的全文搜索性能, 可以对文本内容进行全面和灵活的搜索, 包括单词匹配、短语匹配、模糊搜索等。它还支持基于分析器的文本处理，包括分词、词干提取和同义词处理，从而提高搜索结果的准确性和相关性。

它的全文检索优势, 得益于这几个方面:

• 倒排索引: 使用了倒排索引来存储文档和词项之间的关系
• 分词和词项处理: 在索引文档时, Elasticsearch会对文本内容进行分词, 并将词项存储在倒排索引中。这些分词和词项处理技术可以帮助提高搜索结果的准确性和相关性
• 复杂查询支持: Elasticsearch支持丰富的查询语法和功能，包括布尔查询、短语查询、模糊查询、范围查询等。它还支持多字段查询、字段加权、近似匹配等高级功能，能够满足各种复杂的搜索需求
• 近实时搜索: 在文档被索引后几乎立即就可以进行搜索, 而传统数据库在插入新记录或更新现有记录时, 会更新索引, 新的数据可能无法立即被搜索到, 有一段延迟, 不够实时

2.分布式性能
使用 MySQL 来处理搜索请求，可能会面临以下问题：

• 单点故障: MySQL 是一个传统的关系型数据库，通常是基于单节点架构设计的。如果搜索请求过多，单个 MySQL
  节点可能会成为瓶颈，导致系统性能下降甚至崩溃。
• 水平扩展困难: 虽然 MySQL
  支持主从复制和分区等方式来提高性能和可用性，但是在面对大规模数据和高并发请求时，很难实现有效的水平扩展，而且需要投入大量的人力和资源。

相比之下，如果使用 Elasticsearch 来处理搜索请求，则可以获得更好的分布式性能：

• 分布式存储和搜索: Elasticsearch 是基于分布式架构设计的，数据被分散存储在多个节点上，并且可以水平扩展以处理大规模数据。当用户发起搜索请求时，Elasticsearch 可以同时在多个节点上执行搜索，并将结果合并返回，从而提高搜索性能和吞吐量。
• 负载平衡和自动恢复: Elasticsearch 具有良好的负载平衡和自动恢复能力，可以在节点故障或网络分区的情况下保持系统的稳定性和可用性。即使有节点发生故障，Elasticsearch 也能够自动重新分配数据和重新平衡负载，确保系统的正常运行

2.倒排索引

倒排索引有两个非常重要的概念:

• 文档(Document): 用来搜索的文档数据, 可以是一个商品详情、收货地址等
• 词条(Term): 对文档内容进行分词后, 得到具备含义的词语就是词条. 例如: 我是中国人, 就可以分为我、是、中国人、中国、国人这些词条

2.1 正排索引和倒排索引

1.正向索引
会将索引字段的值(词条)以及对应的记录信息记录下来, 当进行查询时, 搜索引擎先根据查询条件匹配索引字段的值, 然后根据值找到对应的记录位置, 从而定位到相关的记录

正向索引不支持%索引值%的模糊查询, 因为正向索引是按索引值的顺序存储的, 对于模糊查询, 例如%索引值%, 无法利用索引树的中间节点来快速定位, 最终只能全表扫描, 全表扫描的缺点就是随着数据量增加, 其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难

2.倒排索引
创建倒排索引是对正向索引的一种特殊处理，流程如下：

1. 文档分词: 对文档中的文本内容进行分词处理, 拆分为一个个词条
2. 词条关联文档: 对于每个词条, 建立文档列表, 这个文档列表包含每个文档的标识符(例如ID、行号等)
3. 索引合并、排序: 将所有词条合并起来, 并按词条的字典顺序进行排序. 这样就构建了完整的倒排索引结构

搜索流程:

1. 用户输入华为手机进行搜索
2. 对输入内容进行分词, 得到词条: 华为、手机
3. 拿着词条在倒排索引中查找，可以得到包含词条的文档id: 1、2、3
4. 拿着文档id到正向索引中查找具体文档
   

两者区别

• 正排索引
  • 优点
    • 可以给多个字段创建索引
    • 根据索引字段搜索、排序速度非常快
  • 缺点
    • 根据非索引字段, 或者索引字段中的部分词条查找时, 只能全表扫描
• 倒排索引
  • 优点
    • 根据词条搜索、模糊搜索时，速度非常快
  • 缺点
    • 只能给词条创建索引, 而不是字段
    • 无法根据字段做排序

3.Elasticsearch概念

3.1 文档和字段

• 文档: elasticsearch是面向文档(Document)存储的, 可以是数据库中的一条商品数据, 一个订单信息, 文档数据会被序列化为json格式后存储在elasticsearch中
• 字段: Json文档中往往包含很多的字段(Field), 类似于数据库中的列。
  

3.2 索引和映射

• 索引: 相同类型的文档的集合, 相当于数据库中的表
• 映射: 约束文档的字段信息, 类似于数据库中的表结构
  

3.3 mysql和elasticsearch

• Mysql: 擅长事务类型操作, 可以确保数据的安全和一致性
• Elasticsearch: 擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

• 对安全性要求较高的写操作, 使用mysql实现
• 对查询性能要求较高的搜索需求, 使用elasticsearch实现
• 两者再基于某种方式，实现数据的同步，保证一致性