ITPub博客

亲爱的itpuber:欢迎您在ITPUB博客安家，您的博客地址是：http://blog.itpub.net/30303165/我们是一个IT技术的技术家园，每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等，随时随地发表博文和上传图片分享您的技术成果，还可以在ITPUB博客平台上与网友交流和分享。我们为您提供了简约的模板来更好展现您的文采，强大的博客功能更能陪伴您的网络生活。准备好了吗？现在就开始精彩的博客之旅！

数据说明： 携程网旅行目的地(http://you.ctrip.com/place/)国内外景点数据，数据总数212,220条（其中国内景点共109496个，国外景点102724个）。2018年7月份采集。

数据说明： 去哪儿网旅行目的地(http://travel.qunar.com/place/)国内景点数据，数据总数97,852条。以及港澳台的景点数据5255条。2018年5月份采集。

数据说明： 中国土地市场网“土地供应-结果公告”1998年1月1日到2018年9月30日数据，共计约220万条。包括经纬度数据，需要说明的是网站本身没有经纬度信息，该经纬度数据(“Lng”,”Lat”)是使用高德地图API根据地址查询而来的，部分地址无法查询到经纬度数据，所以部分经纬度信息(“Lng”,”Lat”)是空的。

数据说明： 汽车之家196个汽车品牌、3199个系列、38273条型号配置参数数据； 含品牌和系列图片； 2018年08月份采集更新。

数据说明： 美团外卖全国各类外卖商户数据，共计167.1万余条。

用Python实现自动化操作Android手机

小红书 爬虫

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2018/08/ctrip_hotel_comment_201808/数据说明：携程网国内酒店（http://hotels.ctrip.com/）评论数据，数据总数81,636,789条。2018年8月份采集。更新时间：2018年8月份。详细字段说明：‘hote

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2018/07/qunar_jingdian-201806/数据说明：去哪儿网旅行目的地(http://travel.qunar.com/place/)国内景点数据，数据总数97,852条。以及港澳台的景点数据5255条。2018年5月份采集。更新时间：2018

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2018/07/book_dangdang-201805/数据说明：当当网的当当自营图书(http://book.dangdang.com/)数据，图书数据总数1,838,706条，图片文件总数1,827,427个。2018年5月份采集。更新时间：2018年5月

本文原创作者：鲲之鹏（http://www.site-digger.com）本文原始链接：http://www.site-digger.com/html/articles/20180828/663.html分析汽车之家车型参数列表，发现页面上有部分字符在HTML源码（运行时）中却找不到，很奇怪。仔细分析，原来是通过CSS :before 伪元素加了混淆，如下图示例：核心代码如下所示：view pl

本文原创作者：鲲之鹏（http://www.site-digger.com）本文原始链接：http://www.site-digger.com/html/articles/20180822/662.html熟悉Firefox的同学都知道，Firefox在配置HTTP代理时无法设置用户名和密码。而收费的HTTP代理大多都是需要进行用户名和密码认证的（有的也支持IP白名单，但前提是你的IP需要固定不变

本文原创作者：鲲之鹏（http://www.site-digger.com）本文原始链接：http://www.site-digger.com/html/articles/20180821/653.html使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2014/10/2014%E5%B9%B4%E6%97%A0%E5%BF%A7%E5%81%9C%E8%BD%A651park-com-cn%E5%8C%97%E4%BA%AC%E5%81%9C%E8%BD%A6%E5%9C%BA%E6%95%B0%E6%8D%

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2014/12/%E5%A5%BD%E5%A4%A7%E5%A4%AB%E5%9C%A8%E7%BA%BF%EF%BC%88haodf-com%EF%BC%89%E5%8C%BB%E9%99%A2%E3%80%81%E7%A7%91%E5%AE%A4%E3%80

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2015/05/%E6%98%93%E8%BD%A6%E7%BD%91%E5%85%A8%E9%83%A8%E5%93%81%E7%89%8C%E3%80%81%E8%BD%A6%E5%9E%8B%E3%80%81%E8%BD%A6%E6%AC%BE%E3%80

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2016/03/jyeoo_com_20160321/数据说明：菁优网(http://www.jyeoo.com/)的题库数据。是按网站上的学科、教材组题来采集的，数据总数21,125,850条。数据包括以下学科：小学 – 数学初中 – 数学，物理，化学，生物，

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2015/12/2015年阿里巴巴1688-com实名供应商数据（含联系方式）84万/数据说明：阿里巴巴1688.com实名供应商数据，含联系方式和企业档案信息，共计84万余条。2015年10-12月份采集（采集耗时3个月）。如下图所示，现在阿里巴巴对供应商的审

本文原创作者：数据超市（http://www.data-shop.net）本文原始链接：http://www.data-shop.net/2015/10/tripadvisor_cn_201509/数据说明：猫途鹰(http://www.tripadvisor.cn/)美国地区各城市的酒店、景点、餐厅、活动、购物五大版块下的各类数据，数据总数825673条。更新时间：2015年9月份。详细字段说明