网络爬虫的分类和策略-seo百科

x
用微信扫描二维码
分享至好友和朋友圈

  网络爬虫是SEO人员应该学习的基础知识之一,认识和理解网络爬虫有助于更好地优化网站。今天,SEO百科网带来的是《网络爬虫的分类和策略分别是什么-什么是搜索引擎》。希望对大家有所帮助。

  

  一、网络爬虫是什么?

  网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序。

  二、网络爬虫产生的背景

  互联网信息大爆炸,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫。

  三、网络爬虫面临的问题

  在上一篇文章《搜索引擎的基本架构》中提到的,搜索引擎架构的两个目标是效果和效率,这同样也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的问题是为了提高效率

  和效果,就需要在一定的时间内获得更多有高质量页面,摒弃那些原创度低、复制内容、拼接内容等页面。

  PS:当然,在大网站发布出来的文章,尤其大站效应,尽管不是首发,但依然排名很好,甚至比首发站排名还好。

  四、网络爬虫的分类和策略

  网络爬虫有很多种类,错误君简单介绍以下几种:

  1)通用网络爬虫

  通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。

  通用网络爬虫策略:深度优先策略和广度优先策略。

  2)聚焦网络爬虫

  聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。

  聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

  3)增量式网络爬虫

  增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。

  增量式网络爬虫策略:广度优先策略和PageRank优先策略等。

  4)Deep Web爬虫

  搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。

  小结:一般来讲,网络爬虫抓取策略分为三种:

  a、广度优先

  搜索完当前页面所有链接,才开始进入下一层。

  b、最佳优先

  根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。

  c、深度优先

  顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。

  以上就是SEO百科网带来的是《网络爬虫的分类和策略分别是什么-什么是搜索引擎》。感谢您的观看。更多seo教程搜索“错误教程网”。原创文章欢迎转载并保留版权:https://www.cuowu.com/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

跟贴 跟贴 3 参与 3
推荐
资讯
财经
科技
娱乐
游戏
搞笑
汽车
历史
生活
更多
二次元
军事
教育
健身
健康
家居
故事
房产
宠物
旅游
时尚
美食
育儿
情感
人文
数码
三农
艺术
职场
体育
星座
© 1997-2020 网易公司版权所有 About NetEase | 公司简介 | 联系方法 | 招聘信息 | 客户服务 | 隐私政策 | 广告服务 | 侵权投诉 Reporting Infringements | 不良信息举报

小小课堂

每天一个原创IT视频。

头像

小小课堂

每天一个原创IT视频。

349

篇文章

371

人关注

列表加载中...
请登录后再关注
x

用户登录

网易通行证/邮箱用户可以直接登录:
忘记密码