ITPub博客

首页 > > > Python DataComPy 库实现Pandas DataFrame 差异比对

Python DataComPy 库实现Pandas DataFrame 差异比对

作者:hawkliu 时间:2019-12-03 16:29:12 0 删除 编辑

DataComPy是一个比较两个Pandas.DataFrame的第三方库。它最初是用来替代SAS的Pandas DataFrames的比较程序的,它的功能比Pandas.DataFrame.equals(DataFrame)更多,如支持打印详细的统计数据,并允许我们通过参数设置匹配的精确程度。同时将该功能扩展到了SparkDataframes,满足数据集巨大时的比对需求。

DataComPy 安装

我们在Windows10 Python3环境中使用pip进行安装,安装命令如下:

pip install datacompy

安装过程如下:

演示数据集

我们利用source、target 两个数据集,介绍如何使用datacompy 模块实现数据集之间的比较,为了方便查看,其中红色部分为两个数据集的差异部分,如下图:

DataComPy 使用

直接上代码,如下。datacompy.Compare() 方法使用简单,注释比较清楚,就不多做介绍了。

通过compare.report() 方法,我们可以非常清晰的看到两个数据集的差异,比如DataFrame 数据集概述,列、行比较结果概述以及详细差异描述如下:

除此之外,compare 也提供了另外一些比较方便的方法,如下

执行上述代码,输出结果为:

最后,compare 也有一定的局限性,在比较的数据集时需要数据加载到内存中,如果比对数据集非常大,这可能是一个限制。



来源: 软件测试开发技术栈

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/887/viewspace-3166043/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-07-29

  • 博文量
    274
  • 访问量
    1129