【C++项目实战】校园公告搜索引擎：完整实现与优化指南

🎬 个人主页：

📖 个人专栏：

⛰️ 道阻且长，行则将至

📚一、项目概述

📖1.项目背景

杭州师范大学教务处官网是学校发布公告的重要平台，旨在为校内师生提供及时的信息服务。然而，目前官网存在以下问题：

① 更新滞后 ：主页展示的公告多为旧信息，用户难以快速获取最新动态，增加了时间成本。

② 搜索功能不足 ：官网搜索引擎缺乏按时间排序的功能，这显然满足不了用户的核心需求，因为公告具有时效性。

③ 界面设计欠佳 ：搜索界面不够美观，用户体验较差。

基于以上问题，我决定开发一个 教务处官网公告的搜索引擎 ，旨在为校内师生提供一个更高效、更直观的信息检索工具，帮助用户快速获取最新公告信息，提升使用体验。

📖2.主要功能

校园公告搜索引擎是一个专门服务于本校师生的信息检索平台，其核心功能是基于教务处官网的公告公文提供 关键字搜索 服务。用户可以通过在搜索框中输入关键字，快速浏览相关公告的摘要信息，并直接点击链接跳转至学校官网查看完整内容，实现高效便捷的信息获取。下面是项目的界面展示：

📖3.界面展示

界面设计简洁直观，包含以下内容：

① 搜索框： 位于页面顶部显著位置，支持用户输入关键字进行公告检索；

② 按时间排序选项： 位于搜索框侧边，提供将搜索结果按发布时间排序的功能。考虑到官网公告的时效性，这个功能是很必要的。

③ 翻页按钮： 位于页面底部，方便用户在搜索结果较多时进行分页浏览。

学校官网也有自己的搜索引擎，但是不具备时间排序的功能，这就有一个问题： 用户想通过关键词搜索到最新的公告，但是服务器返回的结果是默认按照关键词权重（关键词在文章0出现的频率）进行排序的，用户并不能立刻得到想要的结果：

这是学校官网的搜索结果：

这是个人引擎的搜索结果：

由于引擎搜索数据来源全部来自学校官网，数据量其实并不大（从教务处官网爬下来的公告，总共也就两千多条），所以关键字的覆盖范围有限，如果用户输入了一个不存在的关键字，系统会贴心地给出提示，并给出以下选项：

① 跳转学校官网： 可以直接去学校官网查看最新公告（目前项目还有瑕疵，尚未实现在线更新功能，有待后续开发）；

② 访问博主个人博客： 相当于打个广告吧hh；

③ 查看项目源码： 如果对这个项目感兴趣，也可以跳转查看源码。

📚二、技术背景

📖1.技术栈

本项目采用以下技术栈：

Boost 准标准库：用于高效的 文件操作 和字符串处理。

cppjieba 分词库：实现 中文关键字的分词 功能，提升搜索准确性。

jsoncpp 序列化工具：将搜索结果 序列化为JSON格式 ，便于前后端交互。

httplib 服务器库：快速搭建 轻量级HTTP服务器 ，处理搜索请求与响应。

接下来，详细介绍项目的具体实现过程。

📖2.核心逻辑

首先我们需要了解搜索引擎的核心逻辑：客户端发送搜索关键字，服务端根据关键字检索匹配对应的结果，并将结果返回给客户端。搜索结果通常由三部分组成：

① 文档标题：简明扼要地概括文档内容；

② 文档摘要：包含关键字的部分内容，帮助用户快速了解文档相关性；

③ 文档URL：提供跳转链接，方便用户查看完整内容。

所以实现搜索返回结果，最关键的是： 如何根据关键字匹配返回内容？返回内容从何而来？ 我们不能简单地将客户端的关键字转发给其他搜索引擎，因为返回结果必须来自本地服务器。因此，我们需要在本地构建一个数据库，存储文档的基本数据单元，即： 文档标题、文档摘要、文档URL。

文档内容又从何而来，市面上主流的搜索引擎（如Google、百度）通过 网络爬虫 不断从互联网上抓取网页内容， 将其转换为数据单元并存储在本地数据库中，从而实现全网搜索。

构建一个全网搜索引擎的成本和资源需求极高，尤其是对于个人开发者来说，无论是数据存储、计算能力还是网络带宽，都远远超出了博主现有云服务器的承载能力。然而，实现一个 校园网站公告的搜索引擎 则是一个更加实际和可行的选择。 校园公告的数据量相对较小，存储和检索的开销也相对较低，完全可以在云服务器的能力范围内高效运行 。这种小而精的项目不仅降低了技术门槛，还能为校园用户提供切实的便利，是一个理想的学习和实践目标。

📚三、后端实现

在掌握了搜索引擎的基本原理和数据结构后，我们开始着手实现后端部分。以下是具体的设计与实现过程：

📖1.构建 原生数据库

🔖 网页爬取

首选，我们需要从教务处官网爬取内容，将结果保存为本地.html文件，这些文件是后续处理的基础数据源。这里我们使用wget工具进行网页爬取：

wget 是一个强大的命令行工具，用于从网络上下载文件，具有递归下载、断点续传、限速等特性，非常适合用于批量下载文件或爬取网站内容。我们在云服务终端输入以下命令：

wget –recursive –no-clobber –no-parent –convert-links –domains jwc.hznu.edu.cn –directory-prefix=data/source_html -A .shtml

参数说明：

–recursive：递归下载整个网站的内容；

–no-clobber：如果文件已存在，则不会重复下载（避免覆盖）；

–no-parent：不下载父目录中的内容，仅限当前目录及子目录；

–convert-links：将下载的文件中的链接转换为本地链接，方便本地查看；

–domains jwc.hznu.edu.cn：限制只下载指定域名下的内容

–directory-prefix=data/source_html：将下载的内容保存到 data/source_html 目录下；

-A .shtml：仅下载 .shtml 文件。

官网的文件就是shtml格式的，这样我们就能准确地将所有公告文件爬取到本地，忽略不需要的文件。由于官网中公告文件都保存在“/c”目录下，我们通过wget工具爬取到本地后转换成本地链接，也是保存在/c目录下面：

我们可以看到，公告文件是按照时间进行分目有序存储，我们可以通过find指令查看总文件数：

接下来的步骤，就是把下载下来的2064个shtml文件整理到一起：

🔖 数据整理

爬取到的 .html 文件内容较为杂乱，需要进一步整理并提取关键信息。为了实现这一目标，首先需要递归地遍历 /c 目录，获取全部的 .shtml 文件。虽然可以通过 open 打开文件读取数据，但递归访问目录是一个需要解决的问题。这里，我们可以使用 Boost.Filesystem 库 来实现这一功能。

Boost.Filesystem 是一个强大的文件系统操作库，提供了跨平台的目录遍历、文件操作等功能。然而， Boost 并不是 C++ 官方标准库 ，因此需要先下载并安装到本地才能使用。

下面是Boost::filesystem库的具体使用过程：

// 借助 Boost 库递归遍历目录，汇总 .html 文件
bool Enumfile(const string &src_path, vector<string> *files_list)
{
    namespace fs = boost::filesystem; // 命名空间别名，简化代码
    fs::path root_path(src_path);    // 将字符串路径转换为 boost::filesystem::path 对象

    // 判断路径是否存在
    if (!fs::exists(root_path))
    {
        cerr << src_path << " not exists!" << endl;
        return false;
    }

    // 设置一个空的迭代器，作为结束标志
    fs::recursive_directory_iterator end;

    // 递归遍历目录
    for (fs::recursive_directory_iterator it(root_path); it != end; ++it)
    {
        // 如果当前文件不是普通文件，则跳过
        if (!fs::is_regular_file(*it))
            continue;

        // 如果当前文件后缀不是 .html，则跳过
        if (it->path().extension() != ".html")
            continue;

        // 将文件名以字符串形式插入列表
        files_list->push_back(it->path().string());
    }

    return true;
}

如此一来，我们所有的shtml文件内容就以一个个字符串的形式保存在了vector数组中。

🔖标签清洗

shtml文件中包含了关于整个网页的内容，但是我们只需要三部分内容： 文档标题、文档摘要、文档URL 。所以下一步，我们要从shtml源文件中提取出这三要素作为一个数据单元进行存储，这个步骤就是 标签清洗 的过程。

①文档标题

在html中，