admin管理员组

文章数量:1578032

搜索引擎为信息检索课程的实验设计，爬取山东大学新闻网，使用lucene等开源工具搭建小型搜索引擎。

要求 :

  1. Web网页信息抽取
    以山东大学新闻网为起点进行网页的循环爬取，保 持爬虫在 view.sdu.edu之内(既只爬取这个站点的网页)，爬取的网页数量越多越好。

  2. 索引构建
    对上一步爬取到的网页进行结构化预处理，包括基于模板的信息抽取、分字段解析、分词、构建索引等。

  3. 检索排序
    对上一步构建的索引库进行查询，对于给定的查询，给出检索结果，明白排序的原理及方法。

  4. 检索评价
    对于给定的测试查询，利用百度的检索结果作为基准，对自己的检索结果进行评价，计算自己结果的查准率、查全率、F1值。

开发工具

  • Eclipse jdk1.8
  • Tomcat 7.0
  • Lucene4.3
  • python3.6

代码资源地址：https://download.csdn/download/yyhui95/10918988

设计方案与过程

1. 信息爬取

爬取策略与分析

通过分析发现，山大新闻网的新闻都通过分类存放在首页上方的的二级导航中，首先，我们只爬取二级导航。

之后进入其中的一个二级导航，发现新闻在其中一条条的罗列出来，会有很多页，每一页都有，那么，我们只要获取页数，进行分页爬取，即可获取所有的新闻内容链接。

通过对新闻链接的比较发现，新闻页的链接形式为

本文标签： 信息检索搜索引擎Lucene

版权声明：本文标题：信息检索-搜索引擎的搭建（Lucene） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1727830159a1132523.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。