python爬虫系列(5)- 看了这篇文章你也可以一键下载网络小说

x
用微信扫描二维码
分享至好友和朋友圈

  

实例讲解request库、bs4库的使用方法

  之前写过一篇文章:分享|在线小说一键下载

  文章里面简要的介绍一下使用python一键下载小说,该程序就是使用request库、bs4库完成的,比较适合入门的伙伴来学习。

  

  运行效果.gif

  正好之前介绍了python爬虫的一些知识,今天就来详细的说一下这个实例。

  需求

  爬取网页上小说的名字以及所有章节的内容,保存到txt文件。

  以下面这篇
https://www.hongxiu.com/book/14088898305054404#Catalog
为例

  

  思路

  1、requests请求网页获得源代码;
2、bs4解析,从源代码中提取两个内容,一是作品的名字,二是提取各个章节的名字、链接;
3、再依次使用requests各个章节链接,bs4解析,提取每一章的内容;
4、将上面提取的数据保存到txt文件中。

  代码实操

  def get_url_info(url):#request请求网页,bs4解析网页
def get_name(url):#获取小说名字
def get_catalog(url):#获取小说章节目录信息,包括1、章节名字,2、章节
def get_text(url):#获取小说章节正文

  2、 get_url_info() 函数负责请求网页,解析网页,因为请求的次数比较多,专门编写一个调用,代码在python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)里面介绍过。

  def get_url_info(url):#request请求网页,bs4解析网页
res = requests.get(url)
html = res.text
soup = bs(html, "lxml")
return soup

  3、 get_name(url) 函数负责获取小说名字

  小说名字的源代码如下获取,可以看到是包裹在 <h1>标签 下的 <em>标签
通过 .find_all("h1")[1].find("em").text 即可提取到。

  

  标题的源代码

  def get_name(url):#获取小说名字
soup = get_url_info(url)
name = soup.find_all("h1")[1].find("em").text
#获取小说名字,类型为list,取第二个后就转为str类型,此时获得的小说名字包含作者,如“一个人的外贸江湖 Tessly 著”
return name

  因为上面定义了 get_url_info()函数,所以可以直接调用而不需要再写request那些代码。

  4、 get_catalog() 函数负责获取小说章节目录信息,包括章节名字和章节链接。根据上面的方法,同样可以查看到关于章节名字、链接的代码,如下:

  章节名字、链接的代码

  包裹在 <ul>标签 下的 <li>标签 ,通过
.find_all('ul')[3].find_all('li') 将所有章节的信息先筛选出来,然后再用for循环,将每一章的名字、链接都提取出来,保存在catalog列表当中。

  def get_catalog(url):#
soup = get_url_info(url)
catalog_data = soup.find_all('ul')[3].find_all('li') #所有章节的信息
catalog = []
for i in catalog_data:
data = {
"title":i.text,#章节名字
"link":"http:"+i.find('a').get('href')#章节链接
}
catalog.append(data)
return catalog

  5、 get_text() 函数负责获取小说章节正文,通过步骤4获取到了每一章节的链接后,就可以提取里面的文章内容了。

  文章代码如下:

  

  文章代码

  正文是包裹在 class_="read-content j_readContent"<div>标签 下,用 .find_all('div',class_="read-content j_readContent")[0].text 方法直接获取。

  def get_text(url):#获取小说章节正文
soup = get_url_info(url)
novel = soup.find_all('div',class_="read-content j_readContent")[0].text
novel = '\n '+'\n\n '.join(novel.split()) #为了美观排版用
return novel

  6、最后主程序直接调用上面的函数,就可以提取到所需要的文章信息,再直接写入txt文件就大功告成了。

  写入文件用 with open .write 方法。

  try...except... 是目的是用来防止程序出错就挂掉而不运行下去了。

  if __name__ == '__main__':
name = get_name(start_url)#小说名字
print("稍等,正在准备下载...")
print("保存路径为下载程序所在的目录:"+name+'.txt')
for chapter in get_catalog(start_url):
try:
with open(name+'.txt','a+') as f:#写入本地txt,文件名就是小说的名字
print("正在下载:"+chapter["title"])
f.write(get_name(start_url)+'\n\n')#写入小说名字
f.write(chapter["title"]+'\n')#写入章节名字
f.write(get_text(chapter["link"])+'\n') #写入章节内容
f.write('\n=====================分割线====================\n\n')
except:
pass
print("下载完成")

  把上面步骤1-6组合起来就可以实现一键下载小说的效果了:

  

  最终效果

  1、request请求网页,主要就是 requests.get() 方法;
2、bs4解析网页,提取网页数据,主要运用了 .find_all() 方法;
3、网页的基本结构,如标签、属性等;
4、定义函数、for循环、列表、字典等python基本知识。

  完整代码

  import requests
from bs4 import BeautifulSoup as bs
start_url = input("请输入你要下载的文章链接:")+"#Catalog"
def get_url_info(url):#request请求网页,bs4解析网页
res = requests.get(url)
html = res.text
soup = bs(html, "lxml")
return soup
def get_name(url):#获取小说名字
soup = get_url_info(url)
name = soup.find_all("h1")[1].find("em").text
#获取小说名字,类型为list,取第二个后就转为str类型,此时获得的小说名字包含作者,如“一个人的外贸江湖 Tessly 著”
return name
def get_catalog(url):#获取小说章节目录信息,包括1、章节名字,2、章节链接
soup = get_url_info(url)
catalog_data = soup.find_all('ul')[3].find_all('li')
catalog = []
for i in catalog_data:
data = {
"title":i.text,#章节名字
"link":"http:"+i.find('a').get('href')#章节链接
}
catalog.append(data)
return catalog
def get_text(url):#获取小说章节正文
soup = get_url_info(url)
novel = soup.find_all('div',class_="read-content j_readContent")[0].text
novel = '\n '+'\n\n '.join(novel.split())
return novel
if __name__ == '__main__':
name = get_name(start_url)#小说名字
print("稍等,正在准备下载...")
print("保存路径为下载程序所在的目录:"+name+'.txt')
for chapter in get_catalog(start_url):
try:
with open(name+'.txt','a+') as f:#写入本地txt,文件名就是小说的名字
print("正在下载:"+chapter["title"])
f.write(get_name(start_url)+'\n\n')
f.write(chapter["title"]+'\n')
f.write(get_text(chapter["link"])+'\n')
f.write('\n=====================分割线====================\n\n')
except:
pass
print("下载完成")
input("按任意键退出")

  「小说」 即可!

  欢迎交流!
你可能还会想看:
爬虫系列:

  python爬虫系列(4)- 提取网页数据(正则表达式、bs4、xpath)

  python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)

  python爬虫系列(2)- requests库基本使用

  python爬虫系列(1)- 概述

  python实例:

  python帮你定制批量获取你想要的信息

  python帮你定制批量获取智联招聘的信息

  用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)

  用python助你一键下载在线小说

  Google图片搜索出了大量满意图片,批量下载它们!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

跟贴 跟贴 0 参与 0
© 1997-2020 网易公司版权所有 About NetEase | 公司简介 | 联系方法 | 招聘信息 | 客户服务 | 隐私政策 | 广告服务 | 网站地图 | 意见反馈 | 不良信息举报

永恒君的百宝箱

分享生活工作中实用的工具技巧

头像

永恒君的百宝箱

分享生活工作中实用的工具技巧

170

篇文章

2152

人关注

列表加载中...
请登录后再关注
x

用户登录

网易通行证/邮箱用户可以直接登录:
忘记密码