ITPub博客

首页 > 数据库 > 国内数据库 > 数据归约具体是指什么呢?

数据归约具体是指什么呢?

国内数据库 作者:候鸟之恋 时间:2023-05-09 16:07:27 0 删除 编辑

在实际应用中 , 数据仓库可能存有海量数据 , 在全部数据上进行复杂的数据分析和挖掘工作所消耗的时间和空间成本巨大 , 这就催生了对数据进行归约的需求。

 

数据归约可以从几个方面入手:

如果对数据的每个维度的物理意义很清楚 , 就可以舍弃某些无用的维度 , 并使用平均值、汇总和计数等方式来进行聚合表示,这种方式称为数据立方体聚合 。

 

如果数据只有有些维度对数据挖掘有益,就可以去除不重要的维度 , 保留对挖掘有帮助的维度 , 这种方式称为维度归约 ; 如果数据具有潜在的相关性 , 那么数据实际的维度可能并不高,可以用变换的方式 , 用低维的数据对高维数据进行近似的表示,这种方式称为数据压缩 。

 

另外一种处理数据相关性的方式是将数据表示为不同的形式来减小数据量 , 如聚类、回归等 , 这种方式称为数据块消减。

 

数据压缩是在尽量保存原有数据中信息的基础上 , 用尽量少的空间表示原有的数据。数据压缩分为有损压缩和无损压缩 ,

 

有损压缩后的数据信息量少于原有的数据,因而无法完全恢复成原有的数据,只能以近似的方式恢复。

 

无损压缩没有这限制 , 从压缩后的数据可以完全恢复原有数据。无损压缩一般用于字符串的压缩,被广泛应用在文本文件的压缩中。

 

在图像和音视频压缩中通常使用有损压缩,在图像压缩中常见的离散小波变换就是一种有损压缩,仅仅保存很少一部分较强的小波分量,可以在图像质量无明显下降的情况下获得相当高的压缩率。

 

主成分分析(PCA)是一种正交线性变换,它将数据通过正交变换到新的坐标系中 , 其中第一个分量有最大的方差,第二个分量有第二大的方差,依此类推,数据主要的能量集中在前几个分量中。

 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70014563/viewspace-2950994/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2022-03-02

  • 博文量
    189
  • 访问量
    127618