首页 > 数据库 > 数据库开发技术 > Databricks自带数据集(1)

对于想学习Databricks的同学,可能最关心两个问题:
第一:是可否可以免费试用?
答案是有的,Databricks有一个community版本,免费试用14天。具体如何申请,我之前已经写过一篇详细的教程,有感兴趣的同学可以参考这篇文章:薅资本主义的羊毛:Databrciks大数据分析平台免费用
第二:是否有现成的数据集来做上手练习?
Databricks自带的数据集有哪些?
在哪里可以找到这些数据集?
以及如何使用databricks自带的数据集
答案也是有的。
今天就和大家来分享一下这方面的内容。
熟悉Databricks的同学都知道,Databricks是一个基于云的大数据智能平台,让数据分析师,数据工程师以及数据科学家在一个统一的平台上处理数据、分析数据和构建人工智能应用。它支持湖仓一体化(Lakehouse)的架构,为企业数据团队提供了一个协作式的工作环境,一个灵活的平台。
Databricks自带的数据集基本涵盖了从基本数据、学习示例,到复杂的计算机视觉、自然语言处理、金融和经济等主题。而且从官网对这些数据集的声明(见下图)可以看出来,这些数据集Databricks也会不定期更新。

注意:Databricks 数据集的可用性和位置如有更改,恕不另行通知。
Databricks自带的数据集在哪里?
Databricks自带的数据集就在dbfs根目录下:/databricks-datasets,在Databricks Workspace中打开任意一个Python的Notebook,可以使用下面的命令查看有哪些数据集:
display(dbutils.fs.ls("/databricks-datasets/"))

从结果来看,大概有50多个文件夹中有相关的数据集,上面前几个可以看到有新冠病毒感染的数据集、人口普查、航线相关以及亚马逊电商平台评论相关数据集。
Databricks提供的数据集有哪些格式?
从目前了解到的情况来看,Databricks提供的数据集包括了平时常见的数据格式:csv,txt,json,parquet,avro,MP4,jpg等等。
今天来看一个比较大而且种类比较多的数据集:Rdatasets。
“Rdatasets” 是 747 个数据集的集合,这些数据集最初与统计软件环境“R” 及其一些附加软件包一起分发。目标是让这些数据更广泛地用于教学和统计软件开发。
这个数据集在Databricks中的具体路径为:
display(dbutils.fs.ls("/databricks-datasets/Rdatasets/"))
可以看到数据应该都在data-001这个文件夹里,来进去看一下:
display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/"))

可以看到,所有数据集的格式全部是csv格式的数据。所以如果你在学习相关知识,需要csv格式的数据时,来这个文件夹里来找就没错了。
再进去看一下csv这个文件夹下有多少个种类吧:
display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/csv"))
结果显示有30个文件夹,随便找一个文件夹,进去再看一下,比如COUNT:
display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/csv/COUNT/"))
终于可以看到这个子文件夹下所有csv格式的数据文件了。具体里面都是什么,请大家参考下面这个网站,有详细的文档说明:
https://vincentarelbundock.github.io/Rdatasets/datasets.html
点击关注本公众号,避开Azure更多坑!
原文作者:BPShare;如有侵权,请联系管理员删除。