boost搜索引擎

1.项目背景

Boost是一个功能强大 , 构造精良 , 跨越平台 , 代码开源 , 完全免费的 C ++ 程序库。但是其主页并没有搜索功能，基于其开源的属性，我们可以为其建立一个搜索引擎。

2.原理

3.代码结构

4.编写思路

• 编写util.hpp文件，这是一个工具类，提供读文件，分词等操作。
• 编写parser.cc文件，将html去标签，保存在raw.txt中。
• 编写index.hpp文件，根据raw.txt中内容建立正排和倒排索引。
• 编写searcher.hpp文件，对搜索内容进行分词，并获得索引结果。
• 编写http_server.cc文件，实现网络通信。

5. util.hpp

5.1 作用

是一个工具类，是在编写项目代码的时候不断进行完善的。

5.2 类与方法说明

• FileUtil
  ReadFile：读取文件path的内容，并将内容存放在字符串result中，成功返回true。

    class FileUtil
    {
    public:
        static bool ReadFile(const std::string& path,std::string* result)
        {
            std::ifstream in(path,std::ios::in);
            if(!in.is_open())
            {
                std::cerr<<"打开文件失败"<<std::endl;
                return false;
            }
            std::string out;
            while(getline(in,out))
            {
                *result+=out;
            }
            in.close();
            return true;
        }
    };
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

• StringUtil
  Split ：调用boost库中切分字符串的函数，根据sep将字符串line切割成多个子串，并放入result中。

    class StringUtil
    {
    public:
        static void Split(const std::string& line,std::vector<std::string>* results,const std::string& sep)
        {
            boost::split(*results,line,boost::is_any_of(sep),boost::token_compress_on);
            return;
        }
    };
1
2
3
4
5
6
7
8
9

• JieBa
  CutString：调用jieba库，进行字符串分割操作

    const char *const DICT_PATH = "./dict/jieba.dict.utf8";
    const char *const HMM_PATH = "./dict/hmm_model.utf8";
    const char *const USER_DICT_PATH = "./dict/user.dict.utf8";
    const char *const IDF_PATH = "./dict/idf.utf8";
    const char *const STOP_WORD_PATH = "./dict/stop_words.utf8";
    class JieBa
    {
        public:
        static cppjieba::Jieba jieba;
        static void CutString(const std::string& str,std::vector<std::string>* result)
        {
            jieba.CutForSearch(str,*result);
        }
    };
    cppjieba::Jieba JieBa::jieba(DICT_PATH,HMM_PATH,USER_DICT_PATH,IDF_PATH,STOP_WORD_PATH);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

其中我们使用的是jieba库中CutForSearch的方法。

6.parser.cc

6.1 作用

将读取所有html文件，依次对其进行去标签的操作，并写入raw.txt中。

6.2 类与方法说明

Enum_html：通过筛选的方式筛去非html文件，并将各个html文件依次读取到file_list数组中。

//将所有html路径导入到files_list中
bool Enum_html(const std::string &path, std::vector<std::string> *files_list)
{
    //定义一个路径对象，当路径不存在时返回false
    namespace fs = boost::filesystem;
    fs::path root_path(path);
    if (!fs::exists(root_path))
    {
        std::cerr << "path doesn't exists!" << std::endl;
        return false;
    }
    //定义空迭代器end作为结束，定义迭代器it初始化为路径对象，此时它指向的是该路径的第一个元素(文件)
    fs::recursive_directory_iterator end;
    for (fs::recursive_directory_iterator it(root_path); it != end; it++)//定义一个目录迭代器，它会遍历目录下的所有目录
    {
        if (!is_regular_file(*it)) //筛掉非普通文件
        {
            continue;
        }
        if (it->path().extension() != ".html") //筛掉后缀不为html的文件
        {
            continue;
        }
        //std::cout<<"debug "<path().string()<
        files_list->push_back(it->path().string()); //向files_list指向的数组push_back这些文件路径
    }
    return true;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

ParserTitle：通过find方法解析单个文本的标题。

bool ParserTitle(const std::string& result,std::string* title)
{
    std::size_t begin=result.find("");
    if(end==std::string::npos)
    {
        std::cerr<<"can't find title's end"<<std::endl;
        return false;
    }
    begin+=std::string("