python爬虫系列（5）- 看了这篇文章你也可以一键下载网络小说

实例讲解request库、bs4库的使用方法

之前写过一篇文章：分享|在线小说一键下载

文章里面简要的介绍一下使用python一键下载小说，该程序就是使用request库、bs4库完成的，比较适合入门的伙伴来学习。

运行效果.gif

正好之前介绍了python爬虫的一些知识，今天就来详细的说一下这个实例。

需求

爬取网页上小说的名字以及所有章节的内容，保存到txt文件。

以下面这篇
https://www.hongxiu.com/book/14088898305054404#Catalog
为例

思路

1、requests请求网页获得源代码；
2、bs4解析，从源代码中提取两个内容，一是作品的名字，二是提取各个章节的名字、链接；
3、再依次使用requests各个章节链接，bs4解析，提取每一章的内容；
4、将上面提取的数据保存到txt文件中。

代码实操

def get_url_info(url):#request请求网页，bs4解析网页
def get_name(url):#获取小说名字
def get_catalog(url):#获取小说章节目录信息，包括1、章节名字，2、章节
def get_text(url):#获取小说章节正文


2、 get_url_info() 函数负责请求网页，解析网页，因为请求的次数比较多，专门编写一个调用，代码在python爬虫系列（3）- 网页数据解析（bs4、lxml、Json库）里面介绍过。

def get_url_info(url):#request请求网页，bs4解析网页
res = requests.get(url)
html = res.text
soup = bs(html, "lxml")
return soup


3、 get_name(url) 函数负责获取小说名字

小说名字的源代码如下获取，可以看到是包裹在 <h1>标签 下的 <em>标签 ，
通过 .find_all("h1")[1].find("em").text 即可提取到。

标题的源代码

def get_name(url):#获取小说名字
soup = get_url_info(url)
name = soup.find_all("h1")[1].find("em").text
#获取小说名字,类型为list,取第二个后就转为str类型，此时获得的小说名字包含作者，如“一个人的外贸江湖 Tessly 著”
return name


因为上面定义了 get_url_info()函数，所以可以直接调用而不需要再写request那些代码。

4、 get_catalog() 函数负责获取小说章节目录信息，包括章节名字和章节链接。根据上面的方法，同样可以查看到关于章节名字、链接的代码，如下：

章节名字、链接的代码

包裹在 <ul>标签 下的 <li>标签 ，通过
.find_all('ul')[3].find_all('li') 将所有章节的信息先筛选出来，然后再用for循环，将每一章的名字、链接都提取出来，保存在catalog列表当中。

def get_catalog(url):#
soup = get_url_info(url)
catalog_data = soup.find_all('ul')[3].find_all('li') #所有章节的信息
catalog = []
for i in catalog_data:
data = {
"title":i.text,#章节名字
"link":"http:"+i.find('a').get('href')#章节链接
}
catalog.append(data)
return catalog


5、 get_text() 函数负责获取小说章节正文，通过步骤4获取到了每一章节的链接后，就可以提取里面的文章内容了。

文章代码如下：

文章代码

正文是包裹在 class_="read-content j_readContent" 的 <div>标签 下，用 .find_all('div',class_="read-content j_readContent")[0].text 方法直接获取。

def get_text(url):#获取小说章节正文
soup = get_url_info(url)
novel = soup.find_all('div',class_="read-content j_readContent")[0].text
novel = '\n '+'\n\n '.join(novel.split()) #为了美观排版用
return novel


6、最后主程序直接调用上面的函数，就可以提取到所需要的文章信息，再直接写入txt文件就大功告成了。

写入文件用 with open .write 方法。

try...except... 是目的是用来防止程序出错就挂掉而不运行下去了。

if __name__ == '__main__':
name = get_name(start_url)#小说名字
print("稍等，正在准备下载...")
print("保存路径为下载程序所在的目录："+name+'.txt')
for chapter in get_catalog(start_url):
try:
with open(name+'.txt','a+') as f:#写入本地txt，文件名就是小说的名字
print("正在下载："+chapter["title"])
f.write(get_name(start_url)+'\n\n')#写入小说名字
f.write(chapter["title"]+'\n')#写入章节名字
f.write(get_text(chapter["link"])+'\n') #写入章节内容
f.write('\n=====================分割线====================\n\n')
except:
pass
print("下载完成")


把上面步骤1-6组合起来就可以实现一键下载小说的效果了：

最终效果

1、request请求网页，主要就是 requests.get() 方法；
2、bs4解析网页，提取网页数据，主要运用了 .find_all() 方法；
3、网页的基本结构，如标签、属性等；
4、定义函数、for循环、列表、字典等python基本知识。

完整代码

import requests
from bs4 import BeautifulSoup as bs
start_url = input("请输入你要下载的文章链接：")+"#Catalog"
def get_url_info(url):#request请求网页，bs4解析网页
res = requests.get(url)
html = res.text
soup = bs(html, "lxml")
return soup
def get_name(url):#获取小说名字
soup = get_url_info(url)
name = soup.find_all("h1")[1].find("em").text
#获取小说名字,类型为list,取第二个后就转为str类型，此时获得的小说名字包含作者，如“一个人的外贸江湖 Tessly 著”
return name
def get_catalog(url):#获取小说章节目录信息，包括1、章节名字，2、章节链接
soup = get_url_info(url)
catalog_data = soup.find_all('ul')[3].find_all('li')
catalog = []
for i in catalog_data:
data = {
"title":i.text,#章节名字
"link":"http:"+i.find('a').get('href')#章节链接
}
catalog.append(data)
return catalog
def get_text(url):#获取小说章节正文
soup = get_url_info(url)
novel = soup.find_all('div',class_="read-content j_readContent")[0].text
novel = '\n '+'\n\n '.join(novel.split())
return novel
if __name__ == '__main__':
name = get_name(start_url)#小说名字
print("稍等，正在准备下载...")
print("保存路径为下载程序所在的目录："+name+'.txt')
for chapter in get_catalog(start_url):
try:
with open(name+'.txt','a+') as f:#写入本地txt，文件名就是小说的名字
print("正在下载："+chapter["title"])
f.write(get_name(start_url)+'\n\n')
f.write(chapter["title"]+'\n')
f.write(get_text(chapter["link"])+'\n')
f.write('\n=====================分割线====================\n\n')
except:
pass
print("下载完成")
input("按任意键退出")


「小说」 即可！

欢迎交流！
你可能还会想看：
爬虫系列：

python爬虫系列（4）- 提取网页数据（正则表达式、bs4、xpath）

python爬虫系列（3）- 网页数据解析（bs4、lxml、Json库）

python爬虫系列（2）- requests库基本使用

python爬虫系列（1）- 概述

python实例：

python帮你定制批量获取你想要的信息

python帮你定制批量获取智联招聘的信息

用python定制网页跟踪神器，有信息更新第一时间通知你（附视频演示）

用python助你一键下载在线小说

Google图片搜索出了大量满意图片，批量下载它们！