网易首页 > 网易号 > 正文 申请入驻

狂拽炫酷吊炸天的爬虫技术

0
分享至

网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。

一.什么是爬虫

爬虫就像是一直蜘蛛一样 ,而互联网是就像是一张大大的蜘蛛网一样。简单的说爬虫就是请求网站并提取数据的自动化程序。

请求:我们打开浏览器输入关键词敲击回车,这就叫做是请求。我们做的爬虫就是模拟浏览器进行对服务器发送请求,然后获取这些网络资源。

提取:我们得到这些网络资源都是一些HTML代码,或者是一些文本文字。我们下一步做的工作就是在这些数据中提取出我们想要的东西。比如一个手机号。存在数据库或者文档里面。

自动化:程序就能代替人工不停的大量的进行提取数据。

二:爬虫的基本流程

1.发起请求:通过http库向目标站发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。

2.获取响应的内容:如果服务器能正常的响应,会得到一个Request的内容便是所要获取的页面内容、类型可能有HTML,Json字符转,二进制数据等类型

3.解析内容:得到的内容可能是HTML可以用正则表达式,网页解析库进行解析。可能是json,可以直接转为json对象解析,可能是二进制数据,可以做保存或者进一步处理。

4.保存数据:保存格式多样化,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。

三:什么是Request和Response

1.浏览器就发送消息给该网址所在的服务器,这个过程叫做HTTP Request。

2.服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫做HTTP Response。

3.浏览器收到服务器的Response信息后,会对信息进行相应处理,然后展示。

四:Request包含什么

1.请求方式:主要有Get,Post两种类型,另外还有Head,put,delete,options等。

最主要的就是get和pose两种请求方式。pose请求的方式大多是用在登陆的请求上,他将许多的请求参数封装在一起,进行保密。get则是需要很多的参数才可以,用于搜索。

2.请求URL

URL全称统一资源定位符,如一个网页文档、一张图片,一个视频等都可以用URL唯来确定。

3.请求头:包含请求时的头部信息,如User-Agent,Host,Cookie等信息。

五:Response包含什么

1.响应状态:200代表成功,300以上的状态时用来做页面跳转的,400以上是用来说明服务器找不到资源的,500以上时表示服务器处理错误。

2.响应头:如内容的类型,内容的长度,服务器信息,,设置Cookie信息等等

3.响应体:最主要的部分,包含了请求资源的内容,如网页的HTML,图片二进制数据等

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德转更新巴西身价榜:皇马、阿森纳各3将,内马尔未进前十

德转更新巴西身价榜:皇马、阿森纳各3将,内马尔未进前十

直播吧
2024-03-29 04:29:13
天生“劳碌命”有钱不舍得花的3大生肖女,有福不会享

天生“劳碌命”有钱不舍得花的3大生肖女,有福不会享

陈意小可爱
2024-03-29 12:22:44
突发,至少45人死亡!黄金又暴涨

突发,至少45人死亡!黄金又暴涨

中国基金报
2024-03-29 08:15:16
明日湖人战步行者 詹眉出战成疑 伍德范德彪文森特继续缺阵

明日湖人战步行者 詹眉出战成疑 伍德范德彪文森特继续缺阵

直播吧
2024-03-29 08:55:21
汪小菲公开表示,撤销对大S的诉讼是他对这段婚姻最后的尊重

汪小菲公开表示,撤销对大S的诉讼是他对这段婚姻最后的尊重

娱乐圈酸柠檬
2024-03-29 07:56:06
蔡依林现身广州街头,43岁颜值依旧在线像小姑娘,本人超可爱

蔡依林现身广州街头,43岁颜值依旧在线像小姑娘,本人超可爱

娱小小新
2024-03-29 11:03:31
中国援建10年的阿根廷工程停工!米莱:政府花费人民的钱不道德

中国援建10年的阿根廷工程停工!米莱:政府花费人民的钱不道德

大风文字
2024-03-28 11:28:36
1965年林彪看望粟裕,两人聊得甚好,等他走后粟裕叹气:终于走了

1965年林彪看望粟裕,两人聊得甚好,等他走后粟裕叹气:终于走了

洞鉴五千年
2024-03-29 10:46:55
讨论|为什么20分的领先优势已经不再安全?

讨论|为什么20分的领先优势已经不再安全?

直播吧
2024-03-29 12:49:09
已进京履新!她曾在淮安工作

已进京履新!她曾在淮安工作

名城网事
2024-03-29 10:32:35
我1982年入伍,连长看我家穷资助我考军校,后来我正团转业去报恩

我1982年入伍,连长看我家穷资助我考军校,后来我正团转业去报恩

琳琳奇闻说
2024-03-29 09:55:14
白鹿云南随拍,穿搭随意低调,像个漂亮的大学生!

白鹿云南随拍,穿搭随意低调,像个漂亮的大学生!

娱乐圈酸柠檬
2024-03-27 19:23:05
克什米尔要求并入印度,重演锡金被吞并一幕?中方绝不会坐视不理

克什米尔要求并入印度,重演锡金被吞并一幕?中方绝不会坐视不理

老高风云
2024-03-28 17:43:53
加拿大人:中国人不可怕,可怕的是中国只需1小时我们却需要44年

加拿大人:中国人不可怕,可怕的是中国只需1小时我们却需要44年

云端书馆
2024-03-22 12:51:35
维修工竟带“纸片人”一起上岗,电梯安全维护岂能装模作样

维修工竟带“纸片人”一起上岗,电梯安全维护岂能装模作样

极目新闻
2024-03-29 10:21:58
浙江一老板1天没开张,春节后到3月底亏6万,感觉自己撑不下去了

浙江一老板1天没开张,春节后到3月底亏6万,感觉自己撑不下去了

大苏专栏
2024-03-28 21:11:26
曝31岁泰山国脚被判3年!遭中国足球除名,出来后只能去海外踢球

曝31岁泰山国脚被判3年!遭中国足球除名,出来后只能去海外踢球

我爱英超
2024-03-28 22:38:35
马卡:阿尔维斯已上交护照,且被禁止接近受害人

马卡:阿尔维斯已上交护照,且被禁止接近受害人

懂球帝
2024-03-28 00:06:36
雷军不厚道,小米SU7重新定义汽车大定

雷军不厚道,小米SU7重新定义汽车大定

数码圈麻辣烫
2024-03-29 00:18:21
俄“锆石”高超音速导弹被乌军击落?俄罗斯未予回应

俄“锆石”高超音速导弹被乌军击落?俄罗斯未予回应

环球网资讯
2024-03-28 07:04:09
2024-03-29 13:18:44
Jaking互联网资讯
Jaking互联网资讯
专注分享互联网最新资讯!
286文章数 211关注度
往期回顾 全部

头条要闻

赖清德就职前 美众议院军委会成员窜台

头条要闻

赖清德就职前 美众议院军委会成员窜台

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

月薪1万!万科高管自愿降薪 曾年薪千万

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

亲子
旅游
教育
房产
军事航空

亲子要闻

4个春天长高冠军,矮个娃个子猛冲185

旅游要闻

赏花不止于“春” 农文旅融合助力乡村

教育要闻

把这款名校墙贴送给孩子比玩具更有意义 让他打开眼界和认知 树立自己目标

房产要闻

卖方“厮杀”,广州楼市掀起特价潮

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版