高级架构师_Elasticsearch_第二章kibana+IK分词器安装+索引操作+ 映射操作

高级架构师_Elasticsearch_第二章kibana+IK分词器安装+索引操作+ 映射操作

第二部分 玩转Elasticsearch之入门使用

Elasticsearch是基于Lucene的全文检索引擎，本质也是存储和检索数据。ES中的很多概念与MySQL类 似 我们可以按照关系型数据库的经验去理解。

第1节 核心概念

• 索引(index)
  类似的数据放在一个索引，非类似的数据放不同索引， 一个索引也可以理解成一个关系型数据
  库。
• 类型(type)
  代表document属于index中的哪个类别（type）也有一种说法一种type就像是数据库的表，
  比如dept表，user表。
  注意ES每个大版本之间区别很大：
  ES 5.x中一个index可以有多种type。
  ES 6.x中一个index只能有一种type。
  ES 7.x以后 要逐渐移除type这个概念。
• 映射(mapping)
  mapping定义了每个字段的类型等信息。相当于关系型数据库中的表结构。
  常用数据类型：text、keyword、number、array、range、boolean、date、geo_point、ip、
  nested、object

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html#multi fields_2

第2节 Elasticsearch API介绍

Elasticsearch提供了Rest风格的API，即http请求接口，而且也提供了各种语言的客户端API。

Rest风格API

文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

客户端API
Elasticsearch支持的语言客户端非常多：https://www.elastic.co/guide/en/elasticsearch/client/i
ndex.html，我们在实战时将使用到Java客户端API

ElasticSearch没有自带图形化界面，我们可以通过安装ElasticSearch的图形化插件，完成图形化界面的 效果，完成索引数据的查看,比如可视化插件Kibana。

第3节 安装配置kibana

1.什么是Kibana

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，可以利用Elasticsearch的聚合功
能，生成各种图表，如柱形图，线状图，饼图等。
而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习
Elasticsearch的语法。

2.安装Kibana

1) 下载Kibana

Kibana与操作系统

2) 安装kibana

root账户下操作

tar -zxvf kibana-7.3.0-linux-x86_64.tar.gz
mv /root/kibana-7.3.0-linux-x86_64 /usr/kibana/
1
2

改变es目录拥有者账号

chown -R estest /usr/kibana/
1

还需要设置访问权限

chmod -R 777 /usr/kibana/
1

修改配置文件

vim /usr/kibana/config/kibana.yml
1

修改端口，访问ip,elasticsearch服务器ip

server.port: 5601
server.host: "0.0.0.0"
# The URLs of the Elasticsearch instances to use for all your queries. elasticsearch.hosts: ["http://192.168.211.136:9200"]
1
2
3

配置完成启动：

切换用户
su estest
./bin/kibana(路径：/usr/kibana)
1
2
3

没有error错误启动成功：

3) kidbana使用页面

选择左侧的DevTools菜单，即可进入控制台页面：

在页面右侧，我们就可以输入请求，访问Elasticsearch了。

4 ）扩展kibana dev tools快捷键：

• ctrl+enter 提交请求
• ctrl+i 自动缩进

第4节 Elasticsearch集成IK分词器

1. 集成IK分词器

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版 开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：

• 1） 采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
• 2） 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数 量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 3）支持个人词条的优化的词典存储，更小的内存占用。
• 4） 支持用户词典扩展定义。
• 5） 针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索 排列组合，能极大的提高Lucene检索的命中率。

下载地址：

1

下载插件并安装(安装方式一)

• 1）在elasticsearch的bin目录下执行以下命令,es插件管理器会自动帮我们安装，然后等待安装完成：

  cd /usr/elasticsearch/bin/elasticsearch-plugin install
  https://github.com/medcl/elasticsearch-analysisik/
  releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip
  1
  2
  3

• 2）下载完成后会提示 Continue with installation?输入 y 即可完成安装

• 3）重启Elasticsearch 和Kibana

上传安装包安装 (安装方式二)
1）在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录

#新建analysis-ik文件夹
mkdir analysis-ik
#切换至 analysis-ik文件夹下
cd analysis-ik
#上传资料中的 elasticsearch-analysis-ik-7.3.0.zip
#解压
unzip elasticsearch-analysis-ik-7.3.3.zip
#解压完成后删除zip
rm -rf elasticsearch-analysis-ik-7.3.0.zip
1
2
3
4
5
6
7
8
9

2） 重启Elasticsearch 和Kibana

测试案例
IK分词器有两种分词模式：ik_max_word和ik_smart模式。
1）ik_max_word (常用)
会将文本做最细粒度的拆分
2）ik_smart
会做最粗粒度的拆分
大家先不管语法，我们先在Kibana测试一波输入下面的请求：
1
2
3
4
5
6
7

POST _analyze
{
"analyzer": "ik_max_word",
"text": "南京市长江大桥"
}
1
2
3
4
5

ik_max_word 分词模式运行得到结果：

{
"tokens": [{
"token": "南京市", "start_offset": 0,
"end_offset": 3, "type": "CN_WORD",
"position": 0
},
{
"token": "南京", "start_offset": 0,
"end_offset": 2, "type": "CN_WORD",
"position": 1
},
{
"token": "市长", "start_offset": 2,
"end_offset": 4, "type": "CN_WORD",
"position": 2
},
{
"token": "长江大桥", "start_offset": 3,
"end_offset": 7, "type": "CN_WORD",
"position": 3
},
{
"token": "长江", "start_offset": 3,
"end_offset": 5, "type": "CN_WORD",
"position": 4
},
{
"token": "大桥", "start_offset": 5,
"end_offset": 7, "type": "CN_WORD",
"position": 5
}
]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

POST _analyze
{
"analyzer": "ik_smart",
"text": "南京市长江大桥"
}
1
2
3
4
5

ik_smart分词模式运行得到结果：

{
  "tokens": [
    {
      "token": "南京市",
      "start_offset": 0,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "长江大桥",
      "start_offset": 3,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

如果现在假如江大桥是一个人名，是南京市市长，那么上面的分词显然是不合理的，该怎么办？

2 扩展词典使用

扩展词：就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥

自定义扩展词库

1）进入到 config/analysis-ik/(插件命令 安装方式) 或 plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典

vim lagou_ext_dict.dic
1

输入 ：江大桥

2）将我们自定义的扩展词典文件添加到IKAnalyzer.cfg.xml配置中

vim IKAnalyzer.cfg.xml

DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置comment>

<entry key="ext_dict">lagou_ext_dict.dicentry>

<entry key="ext_stopwords">lagou_stop_dict.dicentry>




properties>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3）重启Elasticsearch

3 停用词典使用

停用词：有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。例如英文的a、 an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。停用词经常被过滤掉，不会被进行 索引。在检索的过程中，如果用户的查询词中含有停用词，系统会自动过滤掉。停用词可以加快索引的 速度，减少索引库文件的大小。

自定义停用词库

1） 进入到 config/analysis-ik/(插件命令安装方式) 或 plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典

vim lagou_stop_dict.dic
1

输入

的
了
啊
1
2
3

2）将我们自定义的停用词典文件添加到IKAnalyzer.cfg.xml配置中
3）重启Elasticsearch

4 同义词典使用

语言博大精深，有很多相同意思的词，我们称之为同义词，比如“番茄”和“西红柿”，“馒头”和“馍”等。在 搜索的时候，我们输入的可能是“番茄”，但是应该把含有“西红柿”的数据一起查询出来，这种情况叫做 同义词查询。

注意：扩展词和停用词是在索引的时候使用，而同义词是检索时候使用。

配置IK同义词

Elasticsearch 自带一个名为 synonym 的同义词 filter。为了能让 IK 和 synonym 同时工作，我们需要定义新的 analyzer，用 IK 做 tokenizer，synonym 做 filter。听上去很复杂，实际上要做的只是加一段配置。

1）创建/config/analysis-ik/synonym.txt 文件，输入一些同义词并存为 utf-8 格式。例如

lagou,拉勾
china,中国
1
2

2）创建索引时，使用同义词配置，示例模板如下

PUT /索引名称
{
  "settings": {
    "analysis": {
      "filter": {
        "word_sync": {
          "type": "synonym",
          "synonyms_path": "analysis-ik/synonym.txt"
        }
      },
      "analyzer": {
        "ik_sync_max_word": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_max_word"
        },
        "ik_sync_smart": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_smart"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "字段名": {
        "type": "字段类型",
        "analyzer": "ik_sync_smart",
        "search_analyzer": "ik_sync_smart"
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

以上配置定义了ik_sync_max_word和ik_sync_smart这两个新的 analyzer，对应 IK 的 ik_max_word 和ik_smart 两种分词策略。ik_sync_max_word和 ik_sync_smart都会使用 synonym filter 实现同义词转换

3）到此，索引创建模板中同义词配置完成，搜索时指定分词为ik_sync_max_word或ik_sync_smart。

4）案例

PUT /lagou-es-synonym
{
  "settings": {
    "analysis": {
      "filter": {
        "word_sync": {
          "type": "synonym",
          "synonyms_path": "analysis-ik/synonym.txt"
        }
      },
      "analyzer": {
        "ik_sync_max_word": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_max_word"
        },
        "ik_sync_smart": {
          "filter": [
            "word_sync"
          ],
          "type": "custom",
          "tokenizer": "ik_smart"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "ik_sync_max_word",
        "search_analyzer": "ik_sync_max_word"
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

插入数据

POST /lagou-es-synonym/_doc/1
{
"name":"拉勾是中国专业的互联网招聘平台"
}
1
2
3
4

使用同义词"lagou"或者“china”进行搜索

POST /lagou-es-synonym/_doc/_search
{
  "query": {
    "match": {
      "name": "lagou"
    }
  }
}
1
2
3
4
5
6
7
8

第5节 索引操作（创建、查看、删除）

1. 创建索引库

Elasticsearch采用Rest风格API，因此其API就是一次http请求，你可以用任何工具发起http请求

语法

PUT /索引名称
{
"settings": {
"属性名": "属性值"
}
}
1
2
3
4
5
6

settings：就是索引库设置，其中可以定义索引库的各种属性 比如分片数 副本数等，目前我们可以不设置，都走默认

示例

PUT /lagou-company-index

可以看到索引创建成功了。

2. 判断索引是否存在

语法

HEAD /索引名称
1

示例 HEAD /lagou-company-index

3.查看索引

Get请求可以帮我们查看索引的相关属性信息，格式：

• 查看单个索引语法

GET /索引名称
1

示例 GET /lagou-company-index

• 批量查看索引语法

GET /索引名称1,索引名称2,索引名称3,...
1

查看所有索引

方式一

GET _all
1

方式二

GET /_cat/indices?v
1

• 绿色：索引的所有分片都正常分配。
• 黄色：至少有一个副本没有得到正确的分配。
• 红色：至少有一个主分片没有得到正确的分配。

4. 打开索引

语法

POST /索引名称/_open
1

5.关闭索引

语法

POST /索引名称/_close
1

6. 删除索引库

删除索引使用DELETE请求

语法

DELETE /索引名称1,索引名称2,索引名称3...
1

示例

再次查看，返回索引不存在

第6节 映射操作

索引创建之后，等于有了关系型数据库中的database。Elasticsearch7.x取消了索引type类型的设置， 不允许指定类型，默认为_doc，但字段仍然是有的，我们需要设置字段的约束信息，叫做字段映射（mapping）

字段的约束包括但不限于：

• 字段的数据类型
• 是否要存储
• 是否要索引
• 分词器

我们一起来看下创建的语法。

1. 创建映射字段

语法

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-params.html

字段名：任意填写，下面指定许多属性，例如：

• type：类型，可以是text、long、short、date、integer、object等
• index：是否索引，默认为true
• store：是否存储，默认为false
• analyzer：指定分词器

示例

发起请求：

PUT /lagou-company-index
PUT /lagou-company-index/_mapping/

{
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "job": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "logo": {
      "type": "keyword",
      "index": "false"
    },
    "payment": {
      "type": "float"
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

响应结果：

上述案例中，就给lagou-company-index这个索引库设置了4个字段：

• name：企业名称
• job: 需求岗位logo：
• logo图片地址
• payment：薪资

并且给这些字段设置了一些属性，至于这些属性对应的含义，我们在后续会详细介绍。

2. 映射属性详解

1）type

Elasticsearch中支持的数据类型非常丰富：

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-types.html

我们说几个关键的：

tring类型，又分两种： text：

可分词，不可参与聚合
keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合
1
2

Numerical：数值类型，分两类

基本数据类型：long、interger、short、byte、double、float、half_float 
浮点数的高精度类型：scaled_float
需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再原。
1
2
3

Date：日期类型

elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。
1

Array：数组类型

进行匹配时，任意一个元素满足，都认为满足
排序时，如果升序则用数组中的最小值来排序，如果降序则用数组中的最大值来排序
1
2

Object：对象

{
  "name": "Jack",
  "age": 21,
  "girl": {
    "name": "Rose",
    "age": 21
  }
}
1
2
3
4
5
6
7
8

如果存储到索引库的是对象类型，例如上面的girl，会把girl变成两个字段：girl.name和girl.age 2）

index

index影响字段的索引情况。

true：字段会被索引，则可以用来进行搜索。默认值就是true
false：字段不会被索引，不能用来搜索
1
2

index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如企业的logo图片地址，就需要手动设置index为false。