ITPub博客

首页 > 大数据 > 数据分析 > 数据处理的步骤有哪些

数据处理的步骤有哪些

原创 数据分析 作者:大数据小知识 时间:2020-07-27 13:35:45 0 删除 编辑

  具体的大数据处理方法确实有很多,但是根据笔者长时间的实践,总结了一个普遍适用的大数据处理流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。大数据来源广泛,应用需求和数据类型都不尽相同,不过最基本的处理流程是一样的。而今天我们就一起来了解和学习一下,关于数据的处理都可以从哪些步骤来实现。

数据处理的步骤有哪些


  一个步骤叫数据的收集。先得有数据,数据的收集有两个方式:


  一、拿。专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的:它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。比如你去搜索的时候,结果会是一个列表,这个列表为什么会在搜索引擎的公司里面?就是因为他把数据都拿下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻,你拿百度搜出来,你不点的时候,那一页在百度数据中心,一点出来的网页就是在新浪的数据中心了。


  二、推送。有很多终端可以帮我收集数据。比如说小米手环,可以将你每天跑步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。


  二个步骤是数据的传输。一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用。可系统处理不过来,只好排好队,慢慢处理。


  三、存储。现在数据就是金钱,掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么?就是因为它有你历史的交易的数据,这个信息可不能给别人,十分宝贵,所以需要存储下来。


  四、数据的处理和分析。上面存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。


  五、对于数据的检索和挖掘。检索就是搜索,所谓外事不决问Google,内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎,因此人们想寻找信息的时候,一搜就有了。


  大数据时代,众人拾柴火焰高


  当数据量很小时,很少的几台机器就能解决。慢慢的,当数据量越来越大,牛的服务器都解决不了问题时,怎么办呢?这时就要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。


  对于数据的收集:外面部署这成千上万的检测设备,将大量的温度、湿度、监控、电力等数据统统收集上来;就互联网网页的搜索引擎来讲,需要将整个互联网所有的网页都下载下来。这显然一台机器做不到,需要多台机器组成网络爬虫系统,每台机器下载一部分,同时工作,才能在有限的时间内,将海量的网页下载完毕。


  对于数据的传输:一个内存里面的队列肯定会被大量的数据挤爆掉,于是就产生了基于硬盘的分布式队列,这样队列可以多台机器同时传输,随你数据量多大,只要我的队列足够多,管道足够粗,就能够撑得住。


  对于数据的存储:一台机器的文件系统肯定是放不下的,所以需要一个很大的分布式文件系统来做这件事情,把多台机器的硬盘打成一块大的文件系统。


  对于数据的分析:可能需要对大量的数据做分解、统计、汇总,一台机器肯定搞不定,处理到猴年马月也分析不完。于是就有分布式计算的方法,将大量的数据分成小份,每台机器处理一小份,多台机器并行处理,很快就能算完。例如著名的Terasort对1个TB的数据排序,相当于1000G,如果单机处理,怎么也要几个小时,但并行处理209秒就完成了。


  数据处理的步骤有哪些.中琛魔方大数据分析平台()表示大数据分析的前景是光明的,未来的发展方向是物联网、云计算、人工智能,这些科技发展方向将使用大数据,数据不断积累,数据越来越大,大数据的应用也越来越多。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69936596/viewspace-2707149/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
中琛魔方大数据分析平台(www.zcmorefun.com)

注册时间:2019-07-01

  • 博文量
    1024
  • 访问量
    507603