这篇文章是小编看到的一篇实践型文章，《用Python爬取某东商品信息并可视化》，纯属搬运分享。

对于Ajax加载的网页已经分析了好几回，这回来说说利用selenium自动化获取网页信息。

通常对于异步加载的网页，我们需要查找网页的真正请求，并且去构造请求参数，最后才能得到真正的请求网址。而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。

当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。

首先在电脑的PyCharm上安装selenium，然后下载与电脑上谷歌浏览器相对应版本的ChromeDriver。由于我的Mac系统版本较新，需要先关闭Rootless内核保护机制，才能够安装，所以也是折腾一番后才成功安装。

针对京东商城笔记本的网页进行分析，这回只要在网页源码上分析，就可以获取笔记本价格、标题、评论数、商家名称、商家性质。

爬取代码如下：

虽然一开始就是以笔记本这个关键词去搜索，但是这里还是需要再点击一次笔记本按钮，这是因为直接搜索笔记本会出现平常上课做笔记的那种笔记本，导致会获取无用信息。所以利用京东自身更加详细的归类，得到我们想要的信息。

其中每一个网页有60条商品数据，那么按道理应该有6000条的笔记本商品信息，但是最后却只获取了5992条。

估计两个原因：

1⃣️在MongoDB中商品的标题为主键，商品标题出现重复

2⃣️网页未能加载完所有的商品信息

最后成功获取商品信息

读取MongoDB中数据进行可视化分析

从上面可以看出，ThinkPad位居榜首，也与后面的词云图有所呼应。 商务、办公 ，因为它就是一款以商务办公为主打品牌的笔记本。此外国内品牌联想、华硕、宏碁、华为也在榜上，支持国货！！！

笔记本价格区间在4000-6000有较大的集中，也一定程度反应出了现在笔记本的中间价位，记得刚上大学那会，价格在5000+的笔记本就能有着不错的配置，LOL特效全开。

统计下来自营与非自营，还是小巫见大巫。京东和淘宝最大的区别就是京东有自营产品，送货也快。虽说自营的也有假货，但是还是小概率事件。购买电子产品时，比如手机、电脑等，对于我这种小白而言，我第一选择就是去官网或者京东自营店购买，我是绝对不会去电子城和奸商们斗智斗勇的，即使可能价格会低点。但是官网一般快递比较慢，需要个3-5天，而京东可能只需1-2天，所以京东算是我购买的最优选择。

这里把标题中笔记本配置参数全部用正则筛选掉。虽说笔记本参数决定了笔记本的性能，不过真正的去购买一台笔记本时，最重要的还是根据自己的需求和预算，然后再去考虑笔记本参数，最后选择一部适合自己的笔记本。一般的笔记本参数如下：

CPU：酷睿系列i3、i5、i7，标压M与低压U

硬盘：500G、1T、2T

显卡：AMD，NVIDIA

内存：4G，8G

作者：张凡幸 来源：https://mp.weixin.qq.com/s/VaUfaU6_u_PTV5XaEPNngA