• 简单聊聊 倒排索引


    简单聊聊 倒排索引


    1、概念

    ​  倒排索引(Inverted index),也常被称为反向索引、置入档案或反向档案,是一种索引方法,被用来存储在全文搜索下 某个单词 在一个文档或者一组文档中的存储位置的 映射,它是文档检索系统中最常用的数据结构。

    ​  通过倒排索引,可以根据单词快速获取包含这个单词的文档列表,倒排索引主要由两个部分组成:“单词词典” 和 “倒排文件”。


    拓展:

    ​  倒排索引有两种不同的反向索引形式:

    • 一条记录的水平反向索引(或者反向档案索引)包含每个引用单词的文档的列表。
    • 一个单词的水平反向索引(或者完全反向索引)又包含每个单词在一个文档中的位置。



    2、流程

    ​  搜索引擎(ES)会将存储的数据文档通过分词器(IK 分词器)划分为多个单词,再根据单词建立倒排索引表。当输入检索句子时,搜索引擎会将该句子进行分词,然后对照倒排索引表计算与各数据文档的相关性得分,最终返回与该句子相关性得分最高的文档。

    ​  核心:分词,建立单词索引表,计算相关性得分。



    3、例子

    文档:

    • Doc1:PHP 是世界上最好的编程语言。
    • Doc2:Java 是世界上最好的编程语言。
    • Doc3:C 是世界上最好的编程语言。
    • Doc4:C++ 是世界上最好的编程语言。
    • Doc5:Python 是世界上最好的编程语言。

    倒排索引:

    单词ID单词倒排列表
    1PHP1
    2世界上1,2,3,4,5
    3编程语言1,2,3,4,5
    4Java2
    5C3
    6C++4
    7Python5

    ​  当输入 “Java 编程语言“ 时,分词器会将它分为 ”Java“、”编程语言“ 两个单词,然后对照 倒排索引 表 计算 与各文档的相关性得分,由倒排索引表中可以看出,“Java”、”编程语言“ 这两个单词在 Doc2 的符合度最高,因此返回 Doc2:Java 是世界上最好的编程语言。

  • 相关阅读:
    数据结构:堆的简单介绍
    js的构造函数
    二十、自定义类型:枚举和联合
    HCIA-R&S自用笔记(22)STP状态与计时器、STP拓扑变化、STP配置及实验
    【图像分割】基于布谷鸟算法实现二维Tsallis熵、kapur、oust多阈值图像分割附matlab代码
    vector的动态分配内存实验
    PAT甲级刷题记录-(AcWing)-Day09数学(8题)
    Ubuntu18.04 CoppeliaSim Edu 安装教程 (2022年11月)
    如何安装Node.js? 创建Vue脚手架
    vue2.0 elementui 封装表单
  • 原文地址:https://blog.csdn.net/weixin_51123079/article/details/128145071