admin管理员组

文章数量:1578025

《这就是搜索引擎-核心技术详解》，我挺喜欢这本书的，深入浅出让读者明白一个搜索引擎的大体架构和各个部分的经典技术手段。

一、相关概念

（1）搜索引擎的3个核心问题：

  • 理解用户真正的需求（主要第九章用户查询意图分析，再一个是情景搜索，即此时此地此人，获取用户发生查询的时间、地点、周围环境等+之前的用户模型，根本目的还是要理解当前用户当前情境下的需求）
  • 判断相关性，目前主要是基于关键词的匹配，VSM+TF*IDF，BM25，LTR等，详细的在第五章中有介绍。
  • 判断可信赖性，链接分析的前提是说重要的网页大多也是可信赖的网页；再一个是社会化搜索里面，考虑人之间的关系包括：社交关系（亲戚朋友），相似兴趣、社区成员和领域专家。

（2）搜索引擎的架构图

二、第二章 网络爬虫

（1）分类：

  • 批量型，有明确的抓取范围和目标；
  • 增量型，不断抓取并定时更新；
  • 垂直型，特定行业/主题。

（2）评价指标

  • 从爬虫开发者角度（速度、可扩展性、健壮、友好）
  • 从用户体验角度（所抓网页的重要性、覆盖率、时新性）

针对上面所抓网页的重要性这一评价指标，书中列举的所有的抓取策略包括：宽度优先遍历策略（隐含了一些网页优先级的假设，一般粗略认为一个网页的入链越多越重要，而入链多的更容易早被宽度优先遍历到）、非完全pagerank策略、OPIC策略(Online Page Importance Computation)和大站优先策略，这些策略的目标都是有限抓取重要度高的网页。

针对时新性这一评价指标，书中介绍了3种更新策

本文标签： 知识这就是图谱核心技术详解

版权声明：本文标题：《这就是搜索引擎-核心技术详解》简单梳理+一些知识图谱的知识 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1727831475a1132648.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。