Python可乐 潜水
  • 3发帖数
  • 3主题数
  • 0关注数
  • 0粉丝
开启左侧

「Python」纯干货,5000字的博文教你采集整站小说(附源码)

[复制链接]
Python可乐 发表于 2021-8-27 13:06:07 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
目录


前言


开始


分析(x0)


分析(x1)


分析(x2)


分析(x3)


分析(x4)


完整的代码


我有话说


<hr>

前言



大家好我叫善念,这是我的第二篇技术博文(第一篇报告的是自己的经历),连续三天更新了,每天花两小时写下一个实战案例,我也是乐在此中,谢谢大家对我的支持。


今天咱们要做的是利用Python爬取整个网站上的全部小说内容,其着实我心内里,收罗什么内容根本无关紧要,最重要的是大家能学习到我的分析思路,授人以鱼不如授人以渔。


开始



既然是要收罗整站数据,那么我们进入目的网站,点击全部作品。

                               
登录/注册后可看大图




分析(x0)



第一步右键一下查看网站源代码,看内里是否有咱们需要的书本源头文件地址(固然是看源头文件地址,因为一本书的内容这么大,然后一页有这么多本书,肯定不大概内容全部在源代码中)。

                               
登录/注册后可看大图




可以看到我在元素中可以找到书的名字和介绍,然后关键的是一个跳转的网址,这个网址很关键,因为咱们点击这个链接后他会跳到单本小说中。

                               
登录/注册后可看大图




而单本小说内里势必会有章节分类,而我们要做的肯定是需要把每本小说的章节名字也收罗下来。


最终的目的就是,每本小说为一个文件夹,以书的名字命名,然后文件夹内生存全部章节,每一个章节为一个txt文档,没一个章节名与txt文件名对应。


分析(x1)



反转,切记不要以element作为源代码去思量问题!!element大概是浏览器执行了一些JavaScript后所展现的源码,与服务器传给浏览器的源代码是有所不同的。


以是咱们还是需要在源代码中找一找是否有跳转链接和书名。

                               
登录/注册后可看大图




好吧,源代码中也是有的。不外你们不能大意,一定要查看源代码中是否有,element代表不了源代码。


那么先收罗一下第一页的书名和跳转链接


# 抓取第一页的全部册本名字,册本入口# 到了册本入口后,抓取章节名字,章节链接(文字内容)# 生存import requestsfrom lxml import etreeimport osurl=&#39;https://www.qidian.com/all&#39;req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/text()&#39;)tzurls = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/@href&#39;)for bookname, tzurl in zip(booknames, tzurls):   if not os.path.exists(bookname):   # if os.path.exists(bookname) == False:        os.mkdir(bookname)  # 创建文件夹

这里对应着咱们的思路,每收罗到一个书名就给它单独创建一个文件夹。

                               
登录/注册后可看大图




完全没问题,到这里咱们已经完成第一步了。


分析(x2)



那么接下来就是去模拟请求咱们收罗到的书本目录的跳转链接,然后同样的方法去收罗到章节名与章节内容的跳转链接了。

                               
登录/注册后可看大图




同样的你们自己查看下源代码,数据也是在内里的。

                               
登录/注册后可看大图




那就接着写代码咯


import requestsfrom lxml import etreeimport osurl = &#39;https://www.qidian.com/all&#39;req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/text()&#39;)tzurls = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/@href&#39;)for bookname, tzurl in zip(booknames, tzurls):    if not os.path.exists(bookname):    # if os.path.exists(bookname) == False:        os.mkdir(bookname)  # 创建文件夹    req2 = requests.get("http:" + tzurl).text    html1 = etree.HTML(req2)    zjurls = html1.xpath(&#39;//ul[@class="cf"]/li/a/@href&#39;)    zjnames = html1.xpath(&#39;//ul[@class="cf"]/li/a/text()&#39;)    for zjurl, zjname in zip(zjurls, zjnames):        print(zjname+&#39;\n&#39;+zjurl)

结果图:

                               
登录/注册后可看大图




分析(x3)



知道这里为什么没有去把章节名字命名的txt文档生存在文件夹内吗?


因为咱们还没有获取到章节的内容呀,是不是需要先把章节内容写到章节的txt内里,然后再生存在文件夹内?


固然这句表明是为了照顾新手。


那么接下来收罗章节内容,方法什么的不讲了, 千篇一律的,章节内容同样在源代码中如上上图所示。

                               
登录/注册后可看大图




每一个标签只生存一行内容,那么就需要用到把收罗到的全部内容都组合起来,并用换行符隔开,只管保持文章格式。


代码走起:


import requestsfrom lxml import etreeimport osurl = &#39;https://www.qidian.com/all&#39;req = requests.get(url).texthtml = etree.HTML(req)booknames = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/text()&#39;)tzurls = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/@href&#39;)for bookname, tzurl in zip(booknames, tzurls):    if not os.path.exists(bookname):    # if os.path.exists(bookname) == False:        os.mkdir(bookname)  # 创建文件夹    req2 = requests.get("http:" + tzurl).text    html1 = etree.HTML(req2)    zjurls = html1.xpath(&#39;//ul[@class="cf"]/li/a/@href&#39;)    zjnames = html1.xpath(&#39;//ul[@class="cf"]/li/a/text()&#39;)    for zjurl, zjname in zip(zjurls, zjnames):        print(zjname+&#39;\n&#39;+zjurl)        req3 = requests.get(&#39;http:&#39; + zjurl).text        html2 = etree.HTML(req3)        nrs = html2.xpath(&#39;//div[@class="read-content j_readContent"]/p/text()&#39;) # 分散式内容       nr = &#39;\n&#39;.join(nrs)        file_name = bookname + "\\" + zjname + ".txt"        print("正在抓取文章:" + file_name)        with open(file_name, &#39;a&#39;, encoding="utf-8") as f:            f.write(nr)

结果图:

                               
登录/注册后可看大图




这里要说明一下,咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢?


分析(x4)



一样平常轻微有经验的都知道一点,就是当我们翻页的时候,网站的url会发生变化,页码一样平常就是在url上面。

                               
登录/注册后可看大图



                               
登录/注册后可看大图




构建个for循环把页码数变为一个变量即可,无需多言,直接上最终的完整代码,代码仅供参考,你们最终可以自己去修改结果。


完整的代码



import sysimport requestsfrom lxml import etreeimport osfor i in range(sys.maxsize):    url = f&#39;https://www.qidian.com/all/page{i}/&#39;    req = requests.get(url).text    html = etree.HTML(req)    booknames = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/text()&#39;)    tzurls = html.xpath(&#39;//div[@class="book-mid-info"]/h4/a/@href&#39;)    for bookname, tzurl in zip(booknames, tzurls):        if not os.path.exists(bookname):        # if os.path.exists(bookname) == False:            os.mkdir(bookname)  # 创建文件夹        req2 = requests.get("http:" + tzurl).text        html1 = etree.HTML(req2)        zjurls = html1.xpath(&#39;//ul[@class="cf"]/li/a/@href&#39;)        zjnames = html1.xpath(&#39;//ul[@class="cf"]/li/a/text()&#39;)        for zjurl, zjname in zip(zjurls, zjnames):            print(zjname+&#39;\n&#39;+zjurl)            req3 = requests.get(&#39;http:&#39; + zjurl).text            html2 = etree.HTML(req3)            nrs = html2.xpath(&#39;//div[@class="read-content j_readContent"]/p/text()&#39;) # 分散式内容            nr = &#39;\n&#39;.join(nrs)            file_name = bookname + "\\" + zjname + ".txt"            print("正在抓取文章:" + file_name)            with open(file_name, &#39;a&#39;, encoding="utf-8") as f:                f.write(nr)

我有话说




                               
登录/注册后可看大图




——女朋友就是私有变量,只有我这个类才能调用(纪念分手的第二周


emmm本来从前是录制过视频教程的,但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。


但是文章的话是现写的,每篇文章我都会说得很细致,以是花费的时间比较久,一样平常都是两个小时以上,每篇文章达到五千字左右。


原创不易,再次谢谢大家的支持。


① 2000多本Python电子书(主流和经典的册本应该都有了)


② Python标准库资料(最全中文版)


③ 项目源码(四五十个有趣且经典的练手项目及源码)


④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)


⑤ Python学习门路图(告别不入流的学习)


私信小编01即可获取大量python学习资源



                               
登录/注册后可看大图

精彩评论1

技术小黑屋 发表于 2021-8-27 20:51:40 | 显示全部楼层
转发了
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

猜你喜欢
在线客服QQ
2241998733

24x7小时免费咨询

Powered by 创意电子 ©2018-现在 专注资源实战分享源码下载站联盟商城繁体中文