ITPub博客

首页 > 数据库 > 数据库开发技术 > Pandas 加载数据的方法和技巧

Pandas 加载数据的方法和技巧

原创 数据库开发技术 作者:咸鱼运维杂谈 时间:2023-05-29 17:40:00 0 删除 编辑

哈喽大家好,我是咸鱼


相信小伙伴们在学习 python 数据分析的过程中或多或少都会听说或者使用过 pandas


pandas 是 python 的一个拓展库,常用于数据分析


今天咸鱼将介绍几个关于 pandas 导入数据的方法和技巧



从 URL 获取 CSV 数据


关于 pandas 导入 csv 数据,使用的是下面这个方法

但是这个方法可以通过 HTTP 从 URL 来获取 CSV 数据


关于通过 HTTP 从 URL 来获取 CSV 数据,我在之前的文章《为什么访问同一个网址却返回不同的内容》有介绍过


例如下面的例子将展示如何通过 URL 获取 csv 文件



通过 URL 来获取 CSV 数据,可以省去了需要先将 CSV 文件保存在本地这一步骤



从网站获取 HTML table


pandas.read_html() 用于获取 HTML 文件中的 table 数据(即<table>标签的表格数据)


我们看下面的例子


通过 pandas.read_html() 可以实现简易爬虫


JSON 数据格式化


有时候我们在处理 JSON 数据的时候,会发现 JSON 数据通常都是嵌套好多层


如果我们想要将 JSON 数据转换成表格数据,使其扁平化,我们可以用下面的方法来实现


看下面的例子


结果如下


接下来,让我们尝试读取更复杂的 JSON 数据,该数据嵌套了列表和字典


结果如下


剪贴板获取数据


pandas 的 read_clipboard() 方法可以获取存储在剪贴板上的任何数据


假设你将数据从网上要复制粘贴到本地,那么用 pandas 的 read_clipboard() 方法可以直接读取剪贴板的内容


默认情况下采取正则表达式\s+ 作为分隔值的分隔符(即匹配一个或多个空格、制表符、换行符等空白字符作为分隔符),然后将剪贴板上的数据分割成表格数据


参考文章:

https://jrashford.com/2022/08/02/loading-data-into-pandas-5-tips-and-tricks-you-may-or-may-not-know/


感谢阅读,喜欢作者就动动小手[一键三连],这是我写作最大的动力

原文作者:咸鱼运维杂谈;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论
最新的技术文章首先发布在微信公众号:咸鱼运维杂谈 擅长Linux系统维护、开源软件维护、自动化运维等领域,博客主要偏向于学习笔记及经历分享

注册时间:2021-05-29

  • 博文量
    193
  • 访问量
    84245