Python可乐 潜水
  • 3发帖数
  • 3主题数
  • 0关注数
  • 0粉丝
开启左侧

Python完美采集某宝数据,到底A和B哪个是YYDS?(附源代码)

[复制链接]
Python可乐 发表于 2021-8-31 13:10:22 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
目次


媒介


准备


分析(x0)


分析(x1)


分析(x2)


分析(x3)


分析(x4)


总结


我有话说


<hr>

媒介



大家好,我叫善念。不说漂亮话,直接开始本日要采集的目标:某宝数据


本日要采用的方式是selenium自动化工具。


简单说下selenium的原理——利用网页元素控制浏览器。


准备



安装selenium模块:


pip install selenium



我采用的是利用selenium控制Chrome浏览器,以是咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件


下载地址



                               
登录/注册后可看大图




下载与你当前谷歌浏览器版本最相近的Chromedriver

                               
登录/注册后可看大图




那么像我的话,下载

                               
登录/注册后可看大图

即可。


Windows系统需下载32位,其它的自己看着办。点进去下载win32即可。

                               
登录/注册后可看大图



那么怎样让Python与selenium毗连起来呢,这里咱们需要配置一个环境变量,就是把Python与selenium处于同一个目次:



                               
登录/注册后可看大图




到此为止,咱们的环境就搭建好了。


分析(x0)



登录篇


谈谈selenium与requests的区别:


selenium:操控网页元素,模拟人去控制浏览器,放弃与底层协议的交互,控制于客户端表面(速度慢)


requests:模拟客户端向服务器发送协议请求,处于底层协议的交互。(速度快)


既然是模拟人去控制浏览器就好说了,想要采集某个网站第一步是做什么?


实例化一款需要被控制的浏览器,然后打开该网址:


from selenium import webdriverdriver = webdriver.Chrome()driver.get(&#39;http://www.taobao.com&#39;)


                               
登录/注册后可看大图




然后在输入框中输入咱们需要查找的商品,再点击搜刮即可。


咱们本日重点利用到的为xpath网页元素定位法,通过xpath语法去定位元素的位置,因为程序不是人,人可以肉眼知道哪里是输入框,哪里是按钮。而程序需要咱们去告诉它,给它订定位置。


# 输入Pythondriver.find_element_by_id(&#39;q&#39;).send_keys(&#39;python&#39;)# 点击搜刮driver.find_element_by_class_name(&#39;btn-search&#39;).click()




                               
登录/注册后可看大图




定位的方法很多,我这里两句代码用到的是为id定位和类名定位。



                               
登录/注册后可看大图






最后在停顿在登录界面:

                               
登录/注册后可看大图




咱们采用扫码登录。


既然是这样子做的话,势必会需要一个时间供给你去登录,有人会采用耽误的方式,但是我不建议这样做。


因为耽误的时间不一定就能保证你刚好可以登录完,多了时间少了时间对咱们都不友好。少了时间还没登录上,程序就跑到别的地方去了报错了。多了时间你也懒得等。


以是在此之前咱们程序加上一行


input(&#39;扫码完成后请按Enter键&#39;)



这样子做的话,咱们可以人为的控制时间。最终登录完成。


分析(x1)



数据的提取



                               
登录/注册后可看大图




登录上去后可以看到很多的商品信息,咱们要采集的就是......都采集下来吧,什么图片、销量、地址、标题啥的


前面咱们提到了通过元素进行输入框自动输入、按钮点击。那么现在要做的就是通过元素定位去采集咱们想要的数据。


分析(x2)




                               
登录/注册后可看大图




通过元素分析我们可以发现,这里的每一个DIV标签都保存了一个商品的信息,而前面三个class属性略有不同。应该是他们自费的一个广告商品吧,排名指定的那种。


简单分析了一下可以看到第三个商品的图片地址在img标签的src中:



                               
登录/注册后可看大图




然后第47个商品的信息却不完善:

                               
登录/注册后可看大图




可以很清晰地发现这个商品的src的图片链接是不正常的,是没有图片的。


这个是为什么呢?还记我前面文章(某音视频采集)讲到过的动态加载、瀑布流吗?当我们的滑动条往下滑的时候下面的数据才会加载出来,像瀑布一样地流出来。


以是如果我们想要采集到所有的商品图片,那么咱们就需要把这个下滑条往下面拉动 ,怎样利用selenium控制这个下滑条往下面拉动呢?


    for x in range(1, 11, 2):        time.sleep(0.5)        j = x/10        js = &#39;document.documentElement.scrollTop = document.documentElement.scrollHeight * %f&#39; % j        driver.execute_script(js)



每停顿0.5S的时间,拉动下滑条的十分之三的位置。


                               
登录/注册后可看大图




登录成功后按一下enter键,代码就会跳到下拉滑块的位置,执行下拉。


分析(x3)



数据都加载出来了后,咱们只管采集就好啦。采集的规则利用的是xpath定位法,这里我不做过多讲授。看我代码然后自己分析一下。


lis = driver.find_elements_by_xpath(&#39;//div[@class="items"]/div[@class="item J_MouserOnverReq  "]&#39;)for li in lis:    info = li.find_element_by_xpath(&#39;.//div[@class="row row-2 title"]&#39;).text    price = li.find_element_by_xpath(&#39;.//a[@class="J_ClickStat"]&#39;).get_attribute(&#39;trace-price&#39;) + &#39;元&#39;    deal = li.find_element_by_xpath(&#39;.//div[@class="deal-cnt"]&#39;).text    image = li.find_element_by_xpath(&#39;.//div[@class="pic"]/a/img&#39;).get_attribute(&#39;src&#39;)    name = li.find_element_by_xpath(&#39;.//div[@class="shop"]/a/span[2]&#39;).text    position = li.find_element_by_xpath(&#39;.//div[@class="row row-3 g-clearfix"]/div[@class="location"]&#39;).text    print(info + &#39;|&#39; + price + &#39;|&#39; + deal + &#39;|&#39; + name + &#39;|&#39; + image + &#39;|&#39; + position)


                               
登录/注册后可看大图

效果:




                               
登录/注册后可看大图






到此为止咱们第一页的商品数据已经采集下来了,那么怎样采集所有页码的数据呢?


分析(x4)



在采集所有页码数据之前咱们先需要考虑的是什么?是这个商品总共有多少页吧?也许这个商品三十页,另一个商品100页,对不对?


而这个商品总页码在哪里看?

                               
登录/注册后可看大图




在哪里看咱们知道了,那么什么时候去采集到这个页码数呢?是不是当我们登录了之后就可以看到这个页码数了呀?那么咱们登录之后先把页码数采集下来!


token = driver.find_element_by_xpath(&#39;//*[@id="mainsrp-pager"]/div/div/div/div[1]&#39;)token = token.texttoken = int(re.compile(&#39;(\d+)&#39;).search(token).group(1))



最后就剩下怎样进入下一页了,我常常提到的,看网页的url是否会发生什么变化。



                               
登录/注册后可看大图




url中一堆杂乱看不懂?看我以前文章常常给你提到的参数冗余,看不懂先删掉,看下第二页的url:



                               
登录/注册后可看大图




再看第一页:



                               
登录/注册后可看大图




就s这个步长发生了变化吧,0-44就是说翻一页步长为44吧,构造下url:


for i in range(token-1):    url = https://s.taobao.com/search?q={}&s={}&#39;.format(&#39;python&#39;, 44 * num)



总结



不要觉得莫名其妙就写总结了,事实上是咱们已经把整个过程分析完了。


思路:进入网站——登录——采集到页码数——下拉滑块条——采集数据——翻页——下拉滑块条——采集数据——翻页......


搭配视频教程



                               
登录/注册后可看大图



我有话说



—— 爱一起艰辛,一起仁至义尽。


文章的话是现写的,每篇文章我都会说的很过细,以是耗费的时间比较久,一般都是两个小时以上。每一个赞与评论收藏都是我每天更新的动力。


原创不易,再次谢谢大家的支持。


① 2000多本Python电子书(主流和经典的册本应该都有了)


② Python标准库资料(最全中文版)


③ 项目源码(四五十个风趣且经典的练手项目及源码)


④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)


⑤ Python学习路线图(告别不入流的学习)


私信小编01即可获取大量Python学习资源



                               
登录/注册后可看大图

精彩评论5

湘乡古天乐 发表于 2021-8-31 19:06:14 | 显示全部楼层
这个淘宝不管吗?
弘明咨询 发表于 2021-9-2 21:11:31 | 显示全部楼层
淘宝滑块验证怎么处理的?
不是傻瓜 发表于 2021-9-1 03:13:25 | 显示全部楼层
没有这么容易吧,动不动就要滑块,歇一歇喝口水什么的……
tt博博 发表于 2021-9-7 10:15:48 | 显示全部楼层
1g1核的服务器能爬虫吗
Eric澄海 发表于 2021-8-31 22:59:13 | 显示全部楼层
淘宝的反爬机制不是吃素的,是不是得搞个反反爬?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

猜你喜欢
在线客服QQ
2241998733

24x7小时免费咨询

Powered by 创意电子 ©2018-现在 专注资源实战分享源码下载站联盟商城繁体中文