### 欢迎访问我的GitHub
> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 在学习spark的过程中，除了经典的WrodCount例子（用于统计文本文件中的单词出现次数），我们也在寻找其他海量数据来做更多实战以提高自己，今天介绍的是一个海量数据集的下载方法，以及数据内容的简介；
### 关于维基百科网站统计数据
- 数据的下载页面地址：https://dumps.wikimedia.org/other/pagecounts-raw
- 今天要下载的数据集就是维基百科的统计数据，如下图，有多个文件下载的连接，每个文件代表一个小时内所有wiki页面被点击的次数，红框中的文件名分为三部分，"20160801"代表统计的年月日，"030000"代表统计的是凌晨3点整到3点59分之间的页面访问情况：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190210175807592.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 这个网站有2007年到2016年之间的统计数据，如下图，下载地址是：https://dumps.wikimedia.org/other/pagecounts-raw
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019021018050412.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### 使用迅雷的批量下载功能
- 这么多数据一个一个下载会很麻烦，可以通过迅雷的批量下载功能来减少工作量；
- 如下图，在一个下载文件上点击鼠标右键，选择"复制链接地址"，即可取到此文件的下载地址：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190210181750237.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 上述文件的下载地址为"https://dumps.wikimedia.org/other/pagecounts-raw/2016/2016-08/pagecounts-20160801-000000.gz"，根据这个我们能推测出20160801这一天其他23个小时的统计文件的地址，只要把"00000"改成"01000"、"02000"，找到了规律就可以用迅雷来做批量下载了；

- 打开迅雷软件，如下图操作，点击红框1中的加号，在弹出的窗口点击红框2中的"添加批量任务"：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019021018290228.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下图，在弹出的窗口中，将前面的url粘贴进去，然后将红框1中的两个"0"改成"(*)"，再把红框2中的数字改为23，然后点击下面的"确定"按钮：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190210212154206.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下图，在弹出的窗口中，勾选红框中的"合并为任务组"，然后点击下面的"立即下载"按钮，即可开始下载：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190210212721756.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 这样就把2016年8月1日的所有统计数据下载下来了，其他日期的数据也可以用此方法批量下载；

### 数据格式简介
- 经过漫长等待终于将数据下载下来了，打开看看里面内容，如下所示：

```shell
aa.b User_talk:Sevela.p 1 5786
aa.b Wikidata 1 4654
aa.b Wikiquote 1 4658
aa.b Wikiversity 1 4655
aa.d Main_Page 1 5449
aa.d Special:Log/Rschen7754 1 5589
aa.d Special:WhatLinksHere/User:Rschen7754 1 5168
aa.d User:14.99.4.25 1 4761
aa.d User:88.5.75.89 1 4760
aa.d User:95.27.0.82 1 4762
```
- 以第一行**aa.b User_talk:Sevela.p 1 5786**为例，这一行由空格字符分割成了四个字段：

| 内容 | 意义 |
|--|--|
| aa.b | 项目名称，".b"表示wikibooks |
| User_talk:Sevela.p | 网页的三级目录 |
| 1 | 一小时内的访问次数 |
| 5786 | 一小时内被请求的字节总数 |

- 上述内容可以还原为一个网址，如下图所示，对应的URL为：https://aa.wikibooks.org/wiki/User_talk:Sevela.p
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190210215637747.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 关于"aa.b"如何映射成为一级域名"aa.wikibooks.org"，请参照这个网页中关于"domain_code"的描述：https://wikitech.wikimedia.org/wiki/Analytics/Archive/Data/Pagecounts-raw

- 至此，海量数据的下载和格式介绍就全部完成了，后面的章节，我们一起用这份数据来做spark开发，演练大数据技能；

### 网盘下载
- 有读者说下载不方便，我这里将一部分数据传到了百度网盘，您可以在此下载：
链接：https://pan.baidu.com/s/1xk9RRTpCQnW_l3KWfaZ8MQ 
提取码：g05g

### 欢迎关注ITpub：程序员欣宸
> [学习路上，你不孤单，欣宸原创一路相伴...](http://blog.itpub.net/70017844/)

ITPub博客

寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

最新文章