Python完美采集某宝数据，到底A和B哪个是YYDS?（附源代码）
目次媒介
准备
分析（x0）
分析（x1）
分析（x2）
分析（x3）
分析（x4）
总结
我有话说
<hr>
媒介
大家好，我叫善念。不说漂亮话，直接开始本日要采集的目标：某宝数据
本日要采用的方式是selenium自动化工具。
简单说下selenium的原理——利用网页元素控制浏览器。
准备
安装selenium模块：
pip install selenium
我采用的是利用selenium控制Chrome浏览器，以是咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件
下载地址
https://p26.toutiaoimg.com/large/pgc-image/219d028c059d435a9b3819b5e66717d6
下载与你当前谷歌浏览器版本最相近的Chromedriver
https://p26.toutiaoimg.com/large/pgc-image/1a01208b4be94f1186fa5327b72d5887
那么像我的话，下载
https://p26.toutiaoimg.com/large/pgc-image/3b9f97b9be6d48e6b2f12e6df749ed2f
即可。
Windows系统需下载32位，其它的自己看着办。点进去下载win32即可。
https://p3.toutiaoimg.com/large/pgc-image/f723f4acdc0a44d1bbed1a2829af9185
那么怎样让Python与selenium毗连起来呢，这里咱们需要配置一个环境变量，就是把Python与selenium处于同一个目次：
https://p6.toutiaoimg.com/large/pgc-image/883120f4cd2343f99a7a5d33543dae38
到此为止，咱们的环境就搭建好了。
分析（x0）
登录篇
谈谈selenium与requests的区别：
selenium：操控网页元素，模拟人去控制浏览器，放弃与底层协议的交互，控制于客户端表面（速度慢）
requests：模拟客户端向服务器发送协议请求，处于底层协议的交互。（速度快）
既然是模拟人去控制浏览器就好说了，想要采集某个网站第一步是做什么？
实例化一款需要被控制的浏览器，然后打开该网址：
from selenium import webdriverdriver = webdriver.Chrome()driver.get('http://www.taobao.com')
https://p3.toutiaoimg.com/large/pgc-image/7692bf985c38494ba52b98df5351f3cb
然后在输入框中输入咱们需要查找的商品，再点击搜刮即可。
咱们本日重点利用到的为xpath网页元素定位法，通过xpath语法去定位元素的位置，因为程序不是人，人可以肉眼知道哪里是输入框，哪里是按钮。而程序需要咱们去告诉它，给它订定位置。
# 输入Pythondriver.find_element_by_id('q').send_keys('python')# 点击搜刮driver.find_element_by_class_name('btn-search').click()
https://p26.toutiaoimg.com/large/pgc-image/1d425dd584414c5481cfd3c685fd4603
定位的方法很多，我这里两句代码用到的是为id定位和类名定位。
https://p6.toutiaoimg.com/large/pgc-image/82ebb71b28ec476da534a9a29b4a02a1
最后在停顿在登录界面：
https://p9.toutiaoimg.com/large/pgc-image/20ba916275074169ab9ec30157d8af0a
咱们采用扫码登录。
既然是这样子做的话，势必会需要一个时间供给你去登录，有人会采用耽误的方式，但是我不建议这样做。
因为耽误的时间不一定就能保证你刚好可以登录完，多了时间少了时间对咱们都不友好。少了时间还没登录上，程序就跑到别的地方去了报错了。多了时间你也懒得等。
以是在此之前咱们程序加上一行
input('扫码完成后请按Enter键')
这样子做的话，咱们可以人为的控制时间。最终登录完成。
分析（x1）
数据的提取
https://p3.toutiaoimg.com/large/pgc-image/4f6b1e26dbbf495ea1e838ce3a101519
登录上去后可以看到很多的商品信息，咱们要采集的就是......都采集下来吧，什么图片、销量、地址、标题啥的
前面咱们提到了通过元素进行输入框自动输入、按钮点击。那么现在要做的就是通过元素定位去采集咱们想要的数据。
分析（x2）
https://p26.toutiaoimg.com/large/pgc-image/142a72e53feb4389986ec7a45d42b04a
通过元素分析我们可以发现，这里的每一个DIV标签都保存了一个商品的信息，而前面三个class属性略有不同。应该是他们自费的一个广告商品吧，排名指定的那种。
简单分析了一下可以看到第三个商品的图片地址在img标签的src中：
https://p3.toutiaoimg.com/large/pgc-image/a9d6e7d759474d5994aea55395cc8092
然后第47个商品的信息却不完善：
https://p26.toutiaoimg.com/large/pgc-image/250e5290e9d34696953626cb709e811d
可以很清晰地发现这个商品的src的图片链接是不正常的，是没有图片的。
这个是为什么呢？还记我前面文章（某音视频采集）讲到过的动态加载、瀑布流吗？当我们的滑动条往下滑的时候下面的数据才会加载出来，像瀑布一样地流出来。
以是如果我们想要采集到所有的商品图片，那么咱们就需要把这个下滑条往下面拉动 ，怎样利用selenium控制这个下滑条往下面拉动呢?
for x in range(1, 11, 2): time.sleep(0.5) j = x/10 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)
每停顿0.5S的时间，拉动下滑条的十分之三的位置。
https://p26.toutiaoimg.com/large/pgc-image/bb9a5fece6814022a89c1a2a69330a60
登录成功后按一下enter键，代码就会跳到下拉滑块的位置，执行下拉。
分析（x3）
数据都加载出来了后，咱们只管采集就好啦。采集的规则利用的是xpath定位法，这里我不做过多讲授。看我代码然后自己分析一下。
lis = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq"]')for li in lis: info = li.find_element_by_xpath('.//div[@class="row row-2 title"]').text price = li.find_element_by_xpath('.//a[@class="J_ClickStat"]').get_attribute('trace-price') + '元' deal = li.find_element_by_xpath('.//div[@class="deal-cnt"]').text image = li.find_element_by_xpath('.//div[@class="pic"]/a/img').get_attribute('src') name = li.find_element_by_xpath('.//div[@class="shop"]/a/span').text position = li.find_element_by_xpath('.//div[@class="row row-3 g-clearfix"]/div[@class="location"]').text print(info + '|' + price + '|' + deal + '|' + name + '|' + image + '|' + position)
https://p3.toutiaoimg.com/large/pgc-image/6503e51f72ba4c66b0c13cc640ad171d
效果：
https://p26.toutiaoimg.com/large/pgc-image/5286ce9a19574c618d89df76068027c8
到此为止咱们第一页的商品数据已经采集下来了，那么怎样采集所有页码的数据呢？
分析（x4）
在采集所有页码数据之前咱们先需要考虑的是什么？是这个商品总共有多少页吧？也许这个商品三十页，另一个商品100页，对不对？
而这个商品总页码在哪里看？
https://p6.toutiaoimg.com/large/pgc-image/86f4954e13204f23a640ccaa6d63ce7b
在哪里看咱们知道了，那么什么时候去采集到这个页码数呢？是不是当我们登录了之后就可以看到这个页码数了呀？那么咱们登录之后先把页码数采集下来！
token = driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div')token = token.texttoken = int(re.compile('(\d+)').search(token).group(1))
最后就剩下怎样进入下一页了，我常常提到的，看网页的url是否会发生什么变化。
https://p26.toutiaoimg.com/large/pgc-image/b5df8aae38c1408ea3c34b97056882f6
url中一堆杂乱看不懂？看我以前文章常常给你提到的参数冗余，看不懂先删掉，看下第二页的url：
https://p9.toutiaoimg.com/large/pgc-image/d9597266d3904bfc8048f937001e8e98
再看第一页：
https://p6.toutiaoimg.com/large/pgc-image/be57d54632b74fa39b5148ffecd93d7e
就s这个步长发生了变化吧，0-44就是说翻一页步长为44吧，构造下url：
for i in range(token-1): url = https://s.taobao.com/search?q={}&s={}'.format('python', 44 * num)
总结
不要觉得莫名其妙就写总结了，事实上是咱们已经把整个过程分析完了。
思路：进入网站——登录——采集到页码数——下拉滑块条——采集数据——翻页——下拉滑块条——采集数据——翻页......
搭配视频教程
https://p9.toutiaoimg.com/large/pgc-image/0728a37852d8419fbaf720eacec04553
我有话说
—— 爱一起艰辛，一起仁至义尽。
文章的话是现写的，每篇文章我都会说的很过细，以是耗费的时间比较久，一般都是两个小时以上。每一个赞与评论收藏都是我每天更新的动力。
原创不易，再次谢谢大家的支持。
① 2000多本Python电子书（主流和经典的册本应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个风趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习路线图（告别不入流的学习）
私信小编01即可获取大量Python学习资源
https://p6.toutiaoimg.com/large/pgc-image/a385f56c802a4290b6d840d2e296268c 这个淘宝不管吗？ 淘宝滑块验证怎么处理的？ 没有这么容易吧，动不动就要滑块，歇一歇喝口水什么的…… 1g1核的服务器能爬虫吗 淘宝的反爬机制不是吃素的，是不是得搞个反反爬？
页:
[1]