数据挖掘中常用的采样方法
近期看了一些关于数据采样的资料,顺便研究了一下SAS EM模块Sampling节点,SAS EM里提供了随机采样,等距采样,分层采样以及聚类采样等集中采样方法,这里分别介绍一下[@more@]在数据挖掘的数据分析阶段,数据量通常都很大,一般为几十万甚至上百万。通过数据分析,用户可以了解数据集的特征,变量特征,并对数据进行初步的处理,以便在建模阶段有导向的提取特征变量进行建模。但如果建模的数据量过大,一方面要对所有数据进行训练,时间上很难满足,另一方面,数据量过大,容易造成模型的过度拟合。因此在建模之前对数据进行采样在数据挖
SAS简介
SAS 是全球领先的商业智能软件供应商,致力于提供新一代的商业智能软件及服务,帮助客户实现真正的商业智能。SAS 的行业解决方案已在全球超过40,000家的企业中使用,其中包括全球财富500强90%以上的企业。使用SAS行业解决方案,客户能够更好、更准确地传达决策信息,提升决策能力和决策水平,开发出更具盈利性的客户关系和供应商关系,从战略管理和运营管理两个层面同时推动企业发展。SAS公司是全球唯一一家将领先的数据仓库技术、分析方法论和传统的商业智能应用完全集成在一起的厂商,能够帮助客户从海量数据中获取智能信息。近30年来,