ITPub博客

首页 > 大数据 > 数据分析 > 大数据技术包含哪些内容

大数据技术包含哪些内容

原创 数据分析 作者:大数据小知识 时间:2020-07-06 13:55:35 0 删除 编辑

  大数据之所以受到了广泛的关注,一个重要的原因就是大数据开辟了新的价值领域,这一点是非常关键的。新的价值领域就会打造一系列生态体系,而生态体系又会孕育出大量不同的商业模式,而这个过程也会伴随着大量的创新,所以当前基于大数据的创业项目也非常多。大数据让互联网(物联网)上源源不断的数据拥有了价值,让整个社会对于互联网有了新的认知。大数据技术的相关岗位需求也越来越大,而今天我们就简单来了解一下,大数据技术都包含了哪些内容。

大数据技术包含哪些内容

 

  大数据技术都包含了哪些内容

 

  一、数据采集

 

  ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

 

  二、数据存取

 

  关系数据库、NOSQL、SQL等。

 

  三、基础架构

 

  云存储、分布式文件存储等。

 

  四、数据处理

 

  自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguageUnderstanding),也称为计算语言学(ComputationalLinguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI,ArtificialIntelligence)的核心课题之一。

 

  五、统计分析

 

  假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(优尺度分析)、bootstrap技术等等。

 

  六、数据挖掘

 

  分类(Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinitygroupingorassociationrules)、聚类(Clustering)、描述和可视化、Des criptionandVisualization)、复杂数据类型挖掘(Text,Web,图形图像,视频,音频等)。

 

  七、模型预测

 

  预测模型、机器学习、建模仿真。

 

  八、结果呈现

 

  云计算、标签云、关系图等。

 

  大数据技术包含哪些内容.中琛魔方大数据分析平台()表示大数据技术主要围绕“数据价值化”这个核心来展开,涉及到数据采集、数据整理、数据存储、数据安全、数据分析、数据呈现和数据应用等技术。数据采集技术涉及到物联网技术,实际上物联网也是大数据主要的数据来源,所以大数据与物联网的关系也非常密切,也可以说没有物联网的发展就不会有大数据。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69936596/viewspace-2702685/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
中琛魔方大数据分析平台(www.zcmorefun.com)

注册时间:2019-07-01

  • 博文量
    1033
  • 访问量
    511491