「Python」纯干货，5000字的博文教你采集整站小说（附源码）
目录前言
开始
分析（x0）
分析（x1）
分析（x2）
分析（x3）
分析（x4）
完整的代码
我有话说
<hr>
前言
大家好我叫善念，这是我的第二篇技术博文（第一篇报告的是自己的经历），连续三天更新了，每天花两小时写下一个实战案例，我也是乐在此中，谢谢大家对我的支持。
今天咱们要做的是利用Python爬取整个网站上的全部小说内容，其着实我心内里，收罗什么内容根本无关紧要，最重要的是大家能学习到我的分析思路，授人以鱼不如授人以渔。
开始
既然是要收罗整站数据，那么我们进入目的网站，点击全部作品。
https://p9.toutiaoimg.com/large/pgc-image/de01cd71fe554481a3ad3b66228b9cd7
分析（x0）
第一步右键一下查看网站源代码，看内里是否有咱们需要的书本源头文件地址（固然是看源头文件地址，因为一本书的内容这么大，然后一页有这么多本书，肯定不大概内容全部在源代码中）。
https://p9.toutiaoimg.com/large/pgc-image/0af9b73be7104ffa8e4c07d253ee8f2a
可以看到我在元素中可以找到书的名字和介绍，然后关键的是一个跳转的网址，这个网址很关键，因为咱们点击这个链接后他会跳到单本小说中。
https://p3.toutiaoimg.com/large/pgc-image/baa781141ee743948684e367d437228f
而单本小说内里势必会有章节分类，而我们要做的肯定是需要把每本小说的章节名字也收罗下来。
最终的目的就是，每本小说为一个文件夹，以书的名字命名，然后文件夹内生存全部章节，每一个章节为一个txt文档，没一个章节名与txt文件名对应。
分析（x1）
反转，切记不要以element作为源代码去思量问题！！element大概是浏览器执行了一些JavaScript后所展现的源码，与服务器传给浏览器的源代码是有所不同的。
以是咱们还是需要在源代码中找一找是否有跳转链接和书名。
https://p3.toutiaoimg.com/large/pgc-image/bfb2ac5ab900465c8e1a302df388463a
好吧，源代码中也是有的。不外你们不能大意，一定要查看源代码中是否有，element代表不了源代码。
那么先收罗一下第一页的书名和跳转链接咯
# 抓取第一页的全部册本名字，册本入口# 到了册本入口后，抓取章节名字，章节链接（文字内容）# 生存import requestsfrom lxml import etreeimport osurl='https://www.qidian.com/all'req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')for bookname, tzurl in zip(booknames, tzurls): if not os.path.exists(bookname): # if os.path.exists(bookname) == False: os.mkdir(bookname)# 创建文件夹
这里对应着咱们的思路，每收罗到一个书名就给它单独创建一个文件夹。
https://p3.toutiaoimg.com/large/pgc-image/3eda5ffa05b64197b5b1ece448ed767e
完全没问题，到这里咱们已经完成第一步了。
分析（x2）
那么接下来就是去模拟请求咱们收罗到的书本目录的跳转链接，然后同样的方法去收罗到章节名与章节内容的跳转链接了。
https://p9.toutiaoimg.com/large/pgc-image/d9fb8d71f1104aed8e66daf36fd65f5c
同样的你们自己查看下源代码，数据也是在内里的。
https://p26.toutiaoimg.com/large/pgc-image/6198206402ed4a6ebee428d17af70840
那就接着写代码咯
import requestsfrom lxml import etreeimport osurl = 'https://www.qidian.com/all'req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')for bookname, tzurl in zip(booknames, tzurls): if not os.path.exists(bookname): # if os.path.exists(bookname) == False: os.mkdir(bookname)# 创建文件夹 req2 = requests.get("http:" + tzurl).text html1 = etree.HTML(req2) zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href') zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()') for zjurl, zjname in zip(zjurls, zjnames): print(zjname+'\n'+zjurl)
结果图：
https://p3.toutiaoimg.com/large/pgc-image/05f019ad0e504e199465e20680cf0543
分析（x3）
知道这里为什么没有去把章节名字命名的txt文档生存在文件夹内吗？
因为咱们还没有获取到章节的内容呀，是不是需要先把章节内容写到章节的txt内里，然后再生存在文件夹内？
固然这句表明是为了照顾新手。
那么接下来收罗章节内容，方法什么的不讲了， 千篇一律的，章节内容同样在源代码中如上上图所示。
https://p3.toutiaoimg.com/large/pgc-image/fd9e9202026e40c4a782f5752f23666b
每一个标签只生存一行内容，那么就需要用到把收罗到的全部内容都组合起来，并用换行符隔开，只管保持文章格式。
代码走起：
import requestsfrom lxml import etreeimport osurl = 'https://www.qidian.com/all'req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')for bookname, tzurl in zip(booknames, tzurls): if not os.path.exists(bookname): # if os.path.exists(bookname) == False: os.mkdir(bookname)# 创建文件夹 req2 = requests.get("http:" + tzurl).text html1 = etree.HTML(req2) zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href') zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()') for zjurl, zjname in zip(zjurls, zjnames): print(zjname+'\n'+zjurl) req3 = requests.get('http:' + zjurl).text html2 = etree.HTML(req3) nrs = html2.xpath('//div[@class="read-content j_readContent"]/p/text()') # 分散式内容 nr = '\n'.join(nrs) file_name = bookname + "\\" + zjname + ".txt" print("正在抓取文章：" + file_name) with open(file_name, 'a', encoding="utf-8") as f: f.write(nr)
结果图：
https://p3.toutiaoimg.com/large/pgc-image/c62769e6c9804d53a6bd66fcbc10a424
这里要说明一下，咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢？
分析（x4）
一样平常轻微有经验的都知道一点，就是当我们翻页的时候，网站的url会发生变化，页码一样平常就是在url上面。
https://p3.toutiaoimg.com/large/pgc-image/f0108e50ea474787a0c29a71b8282900
https://p3.toutiaoimg.com/large/pgc-image/f24ce80de244421bb60e3c398b472417
构建个for循环把页码数变为一个变量即可，无需多言，直接上最终的完整代码，代码仅供参考，你们最终可以自己去修改结果。
完整的代码
import sysimport requestsfrom lxml import etreeimport osfor i in range(sys.maxsize): url = f'https://www.qidian.com/all/page{i}/' req = requests.get(url).text html = etree.HTML(req) booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()') tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href') for bookname, tzurl in zip(booknames, tzurls): if not os.path.exists(bookname): # if os.path.exists(bookname) == False: os.mkdir(bookname)# 创建文件夹 req2 = requests.get("http:" + tzurl).text html1 = etree.HTML(req2) zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href') zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()') for zjurl, zjname in zip(zjurls, zjnames): print(zjname+'\n'+zjurl) req3 = requests.get('http:' + zjurl).text html2 = etree.HTML(req3) nrs = html2.xpath('//div[@class="read-content j_readContent"]/p/text()') # 分散式内容 nr = '\n'.join(nrs) file_name = bookname + "\\" + zjname + ".txt" print("正在抓取文章：" + file_name) with open(file_name, 'a', encoding="utf-8") as f: f.write(nr)
我有话说
https://p26.toutiaoimg.com/large/pgc-image/ef902c786740447c998cd15c15fa2686
——女朋友就是私有变量，只有我这个类才能调用（纪念分手的第二周
emmm本来从前是录制过视频教程的，但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。
但是文章的话是现写的，每篇文章我都会说得很细致，以是花费的时间比较久，一样平常都是两个小时以上，每篇文章达到五千字左右。
原创不易，再次谢谢大家的支持。
① 2000多本Python电子书（主流和经典的册本应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个有趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习门路图（告别不入流的学习）
私信小编01即可获取大量python学习资源
https://p6.toutiaoimg.com/large/pgc-image/9c5a34e861704895be5c96cd9d740a7d 转发了
页:
[1]