码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • ES全文检索支持拼音和繁简检索


    ES全文检索支持拼音和繁简检索

    • 1. 实现目标
    • 2. 引入pinyin插件
      • 2.1 编译 elasticsearch-analysis-pinyin 插件
      • 2.2 安装拼音插件
    • 3. 引入ik分词器插件
      • 3.1 已有作者编译后的包文件
      • 3.2 只有源代码的版本
      • 3.3 安装ik分词插件
    • 4. 建立es索引
    • 5.测试检索
    • 6. 繁简转换

    1. 实现目标

    ES检索时无论输入简体还是繁体都要能够被检索到,例如检索时输入“語法”或者“语法”,检索结果中无论是简体繁体都务必要被命中。

    并且也要正确的高亮返回

    image-20240429162129485

    2. 引入pinyin插件

    拼音分词器(pinyin analyzer)通常需要自行引入,因为它不是 Elasticsearch 的默认分词器。可以使用 Elasticsearch 的插件来引入 pinyin 分词器,以便在索引中使用它。

    2.1 编译 elasticsearch-analysis-pinyin 插件

    选择与自己版本一致的版本,插件地址:
    https://github.com/medcl/elasticsearch-analysis-pinyin/releases

    在这里插入图片描述
    elasticsearch-analysis-pinyin分词器目前没有下载即可使用的安装包,需要自己下载源码进行编译。可以在项目目录elasticsearch-analysis-pinyin\target\releases看到编译后的结果elasticsearch-analysis-pinyin-7.17.11.zip

    在这里插入图片描述

    2.2 安装拼音插件

    然后在es的安装目录下plugins目录下新建pinyin目录,并将解压后的文件复制到该目录下
    在这里插入图片描述
    重启es,启动日志中已经加载了拼音插件
    在这里插入图片描述

    3. 引入ik分词器插件

    GitHub下载地址:Releases · infinilabs/analysis-ik · GitHub

    3.1 已有作者编译后的包文件

    选择与所需es版本相同的ik分词器,下载已经打包后的.zip文件

    image-20240421170408043

    3.2 只有源代码的版本

    首先下载源码解压后使用idea打开,修改es版本与分词器版本相同

    image-20240421172009705

    使用 mvn clean install 打包时报错:

    [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.5.1:compile (default-compile) on project elasticsearch-analysis-ik: Compilation failure
    [ERROR] /D:/PersonalProjects/analysis-ik-7.17.11/analysis-ik-7.17.11/src/main/java/org/elasticsearch/index/analysis/IkAnalyzerProvider.java:[13,9] 无法将类 org.elasticsearch.index.analysis.AbstractIndexAnalyzerProvider中的构造器 
    AbstractIndexAnalyzerProvider应用到给定类型;
    [ERROR]   需要: org.elasticsearch.index.IndexSettings,java.lang.String,org.elasticsearch.common.settings.Settings
    [ERROR]   找到: java.lang.String,org.elasticsearch.common.settings.Settings
    

    修改代码报错部分:增加indexSetting参数到super入参的第一个位置

    image-20240421172326529

    使用mvn clean install进行打包,注意我们所需的是/target/release目录下的.zip压缩包

    image-20240421172441311

    3.3 安装ik分词插件

    将下载或者编译后的.zip文件解压到es的安装目录下的plugins目录下,并重命名为ik

    image-20240421173223669

    然后启动es,查看日志可发现已经加载的ik分词器

    image-20240421173516905

    常规的最常用的使用方式就是,数据插入存储时用 ik_max_word模式分词,而检索时,用ik_smart模式分词,即:索引时最大化的将文章内容分词,搜索时更精确的搜索到想要的结果。

    建立映射示例如下:在数据被索引时我们设置"analyzer": “ik_max_word”,在检索时指定"search_analyzer": “ik_smart”

    4. 建立es索引

    setting.json

    {
       
      "aliases": {
       
      },
      "settings": {
       
        "index": {
       
          "refresh_interval": "3s",
          "number_of_shards": "3",
          "number_of_replicas": "1",
          "max_inner_result_window": "10000",
          "max_result_window": "20000",
          "analysis": {
       
            "filter": {
       
              "pinyin_full_filter": {
       
                "keep_joined_full_pinyin"
  • 相关阅读:
    Flink+Doris 实时数仓
    (续)SSM整合之spring笔记(IOC 依赖注入的方式)(P070—P072)
    【火热招募】一文看懂华为云IoT Edge边缘计算开发者大赛技术亮点
    Java Maven项目打jar包方法
    13.(vue3.x+vite)组件间通信方式之provide与inject
    聚观早报 | 白酒品牌频跨界;微软发布统一版本Copilot
    从 SQL 查询优化技巧去看 h2 数据库查询原理
    因为CMake文件出错,导致链接器报错重定义
    k8s pod 无法启动一直ContainerCreating
    一些性能优化的东西
  • 原文地址:https://blog.csdn.net/qq_29864051/article/details/138320852
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号