ITPub博客

首页 > 数据库 > 数据库开发技术 > Databricks自带数据集(1)

Databricks自带数据集(1)

原创 数据库开发技术 作者:招牌鸡蛋面 时间:2023-12-20 22:09:22 0 删除 编辑

对于想学习Databricks的同学,可能最关心两个问题:

  • 第一:是可否可以免费试用?

  • 第二:是否有现成的数据集来做上手练习?

    • Databricks自带的数据集有哪些?

    • 在哪里可以找到这些数据集?

    • 以及如何使用databricks自带的数据集

    • 答案也是有的。

今天就和大家来分享一下这方面的内容。

熟悉Databricks的同学都知道,Databricks是一个基于云的大数据智能平台,让数据分析师,数据工程师以及数据科学家在一个统一的平台上处理数据、分析数据和构建人工智能应用。它支持湖仓一体化(Lakehouse)的架构,为企业数据团队提供了一个协作式的工作环境,一个灵活的平台。

Databricks自带的数据集基本涵盖了从基本数据、学习示例,到复杂的计算机视觉、自然语言处理、金融和经济等主题。而且从官网对这些数据集的声明(见下图)可以看出来,这些数据集Databricks也会不定期更新。

注意:Databricks 数据集的可用性和位置如有更改,恕不另行通知。

Databricks自带的数据集在哪里?

Databricks自带的数据集就在dbfs根目录下:/databricks-datasets,在Databricks Workspace中打开任意一个Python的Notebook,可以使用下面的命令查看有哪些数据集:

display(dbutils.fs.ls("/databricks-datasets/"))

从结果来看,大概有50多个文件夹中有相关的数据集,上面前几个可以看到有新冠病毒感染的数据集、人口普查、航线相关以及亚马逊电商平台评论相关数据集。

Databricks提供的数据集有哪些格式?

从目前了解到的情况来看,Databricks提供的数据集包括了平时常见的数据格式:csv,txt,json,parquet,avro,MP4,jpg等等。

今天来看一个比较大而且种类比较多的数据集:Rdatasets。

“Rdatasets” 是 747 个数据集的集合,这些数据集最初与统计软件环境“R” 及其一些附加软件包一起分发。目标是让这些数据更广泛地用于教学和统计软件开发。

这个数据集在Databricks中的具体路径为:

display(dbutils.fs.ls("/databricks-datasets/Rdatasets/"))

可以看到数据应该都在data-001这个文件夹里,来进去看一下:

display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/"))

可以看到,所有数据集的格式全部是csv格式的数据。所以如果你在学习相关知识,需要csv格式的数据时,来这个文件夹里来找就没错了。

再进去看一下csv这个文件夹下有多少个种类吧:

display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/csv"))

结果显示有30个文件夹,随便找一个文件夹,进去再看一下,比如COUNT:

display(dbutils.fs.ls("/databricks-datasets/Rdatasets/data-001/csv/COUNT/"))

终于可以看到这个子文件夹下所有csv格式的数据文件了。具体里面都是什么,请大家参考下面这个网站,有详细的文档说明:

https://vincentarelbundock.github.io/Rdatasets/datasets.html

点击关注本公众号,避开Azure更多坑!

原文作者:BPShare;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论
干过测试,做过运维,还兼职过售前+投标+实施+售后+客户培训。前两年入坑大数据开发,熟悉Azure + Databricks大数据相关产品。 喜欢研究技术,所以搞了一个公众号:BPShare,分享一些经验和心得。欢迎骚扰~~~

注册时间:2020-02-17

  • 博文量
    90
  • 访问量
    44237