ITPub博客

首页 > 大数据 > 数据分析 > 大数据时代下监理工作思路的转变

大数据时代下监理工作思路的转变

数据分析 作者:abc8785891 时间:2013-08-23 15:36:55 0 删除 编辑

1 引言

随着大数据时代的到来,各行各业针对日益扩大的数据资源开始了量化进程,获取其中的管理和商业价值,提高业务效率和服务水平。这种进程带动了相关的新技术和新产品的出现,信息工程监理应该寻找这类项目的监理工作关注点,同时也要考虑如何利用大数据的价值,提高监理的服务水平和用户满意度。

2 大数据的特点

通俗的说,大数据就是规模非常庞大和结构非常复杂的数据集,通过传统的数据管理、分析和存储工具处理起来将面临很多问题。大数据与过去所说的海量数据相比较,除具备数据量大的特征外,还具有多样性、高速性和有价值性的特点。

1.数据量大(Volume)

2000年斯隆数字巡天(Sloan Digital SKY Survey)项目启动的时候,位于美国新墨西哥州的望远镜在短短几周内收集到的数据,已经比天文学历史上总共收集的数据还要多;预计2016年在智利投入使用的大型视场全景巡天望远镜(Large Synoptic survey Telescope)能在五天内就获得同样多的信息。Facebook成立不足十年,每天更新的照片量超过1000万张,每天人们在网站上点击“喜欢”(Like)按钮或者写评论大约有三十亿次。谷歌公司每天要处理超过24PB字节的数据,这意味着其每天的数据处理量是美国国家图书馆所有纸质出版物所含数据量的千倍以上。谷歌子公司YouTube每月接待8亿的访客,平均每秒钟就会有一段长度在一小时以上的视频上传。Twitter上的信息量几乎每年翻一番,截至到2012年,每天都会发布超过4亿条微博。我们所在的世界有多少数据,没有人知道,2013年初,一家美国咨询公司预测应该已超过200ZB。毫无疑问,大数据时代已经来临。

2.多样性(Variety)

数据的多样性主要表现在数据类型和来源方面。数据类型存在结构性数据、非结构性数据以及半结构性数据等复杂情况,如:表格数据(数据库)、分层数据、文件、电子邮件、计量数据、视频、静态图像、音频、股票行情数据、金融交易和其它更多种类;通过社交媒体和移动(情景感知)数据源,如:网络聊天与日志、通讯媒体、搜索引擎、通话记录以及网络感知等方式也产生多种数据类型。这就面临在处理大量的交易信息转化为管理决策信息同时,还有更多类型的信息需要分析,这些多类型的数据对数据的处理能力提出了更高要求。

3.高速性(Velocity)

高速性要求数据的创建和数据的处理速度要满足业务和应用的需求,这关系到记录创建、数据传输、数据访问以及数据交付的可用性。目前大数据中85%以上是非结构化和半结构化数据,而传统的关系数据库无法胜任这些数据的处理,因此必须寻找高扩展性的数据分析技术来满足大数据分析的需求。在如此海量的数据面前,处理数据的效率就是企业的生命。

所谓高速性主要是说明数据产生和传输的速度。在高速宽带网络时代,通过基于多核处理器且具有并发运行能力的服务器,可以创建远程实时数据流。各行业不仅要了解如何快速创建数据,还要了解如何快速处理、分析并提交用户,以满足他们业务的实时性需求。

4.价值性(Value)

大数据对我们意味着什么?通过大量案例证明,大数据使我们获得了当今社会所独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。大数据的核心就是预测,大数据的精髓在于我们分析信息时的三个转变,这些转变将改变我们理解和组建社会的方法。首先,我们获得了全数据的处理机会,而不是以前的抽样等小数据集样品分析;其次,由于分析的数据集巨大,近似于全数据集,使得即使不是最精确的数据也不会影响最终预测的结果(当然精度下降是相对于非大数据时代而言);最后,我们即使没搞清楚原因(因果关系),也可能正确预测出要发生的事件。大数据告诉我们的“是什么”而不是“为什么”。在大数据时代,我们不必知道现象背后的原因,不再把分析建立在早已设立的少量假设的基础上。我们只要让数据自己发声,就会注意到很多以前从来没有意识到的联系的存在。引用维克托?迈尔-舍恩伯格教授对大数据的诠释:“大数据是人们获得新的知识、创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。”[1]

大数据的价值性在于庞大数据中存在有价值的信息,可以帮助组织机构做出更好的商业决策。但其价值具备稀疏性、多样性和不确定性,如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

由于大数据还具有多层结构的特点,呈现出变化多端的形式和类型。与传统的业务数据不同,大数据具有不规则和不清晰的特性,导致很难采用传统的应用软件进行分析和处理。目前,各行业面临的问题就是如何处理并从各式各样的复杂数据中挖掘出有用的价值。

 

3 大数据的关键技术和研究方法

大数据技术是指从各式各样的海量数据中,快速有效地获得有价值信息的技术。大数据价值“发现”问题的关键点之一就是大数据技术。当前所谓的“大数据”不仅仅指数据本身的规模,也涵盖采集数据的工具、数据挖掘的工具和数据分析系统等。大数据技术研究的目的是解决海量数据处理问题,使我们通过对数据相关关系研究,发现新的商业价值或获得新的洞见。因此我以为,大数据时代带来的挑战是在如何从海量数据中获取有价值的信息。因此,必须加强大数据技术研发,才能跟上时代发展的脚步。

大数据将会对IT技术产生深远的影响。大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见,但云计算无疑是大数据时代的最重要的技术,甚至可以这么说,大数据与云计算是一个问题的两个方面:一个是提出的问题,一个是解决问题的方法。大数据不是一个很明确的概念,起初这个概念是指需要处理的信息量过大,以至超出了一般电脑在处理数据时的最大内存量,因此技术人员需要完善处理数据的工具。云计算的思想是将计算能力连接成网络,以这样的网络来提供外部需要的计算能力,而对大数据的处理需求,催生了分布式的云计算新技术的诞生,例如谷歌的MapReduce、起源于雅虎的开源Hadoop平台、分布式列数据库HBase/NoSQL、数据挖掘工具Hive等等。“有理由相信,当分析的数据量非常大的时候,云计算特别是Map-Reduce将会成为数据计算的常规做法”[2]。通过云计算平台对大数据进行深入挖掘、分析和预测,确保决策更为精准,开拓出更多的数据潜在价值。大数据这个宝藏的价值,正通过云计算被发现和征服。

大数据涵盖了众多社会生活的范畴——从金融交易到人类基因组,从汽车的遥测传感器到互联网上社会媒体日志。利用传统的数据库方式来处理和存储这些大数据是相当昂贵的。为了解决这个问题,利用开放源解决方案、商业硬件高效存储数据和并行工作负载,提供快速处理能力,已成为当今的主流技术。

大数据趋势代表了不断变化的处理大量数据的需求,需要新的技术解决方案,而不一定是老一代的数据库处理方式。

对于新出现的大数据需求,实现全部潜在大数据的交付过程,需要七个步骤:

1.收集:从数据源和分布在多个节点处收集数据;

2.流程:系统使用相同的高功率并行执行,对每个节点上的数据进行快速计算;

3.管理:对来自各系统的异构的大数据进行理解、定义、注释,并进行安全审核;

4.测量:根据业务的测量和持续跟踪类型的要求,测量数据的速率,与其他客户的行为或记录进行整合,并随时间的推移来决定是否对其进行整合或校正;

5.利用:所产生的使用数据应符合原要求的处理流程;

6.存储:由于“数据即服务”趋势的形成,越来越多的数据开始存储在单一位置,以便于进程的访问,根据数据的短期存储批处理或长期保留,谨慎提供存储解决方案;

7.数据管理:大数据需要根据其预期消费进行管辖。

 

4 监理工作的关注点

几乎所有信息管理工具制造商都在开发新的大数据功能、附件或者合作伙伴关系,以免错过在热门新市场销售产品的机会。随着越来越多的应用程序进入市场,越来越多的专有大数据分析和大数据集成产品的推出,大数据的局面可能会改变。

进入大数据时代,对信息工程项目的监理工作应着重关注以下四个层面,才能做到与时俱进。

第一个层面,充分理解大数据的内涵,关注和跟踪大数据带来的社会变革。大数据时代下,信息系统的社会属性将被更加凸显,许多社会元素将被打上量化的烙印,主动或被动的成为大数据的数据来源,同时,又有许多社会元素将自觉或不自觉的利用大数据,成为大数据的服务对象。信息系统的终极目的是为了用、好用、乃至非常好用,大数据时代下信息系统的触角将伸向社会生活的更多方面,因此,监理在管理工程建设时,充分理解大数据的内涵,关注和跟踪大数据带来的社会变革,有助于信息系统在新时代下发挥更好的作用。

第二个层面,充分理解大数据对IT技术带来的影响,跟踪、学习与大数据紧密相关技术的发展,掌握这类技术在监理项目中与项目范围、时间、成本的相关关系。大数据时代下,由于数据的充分覆盖性,信息系统所处理的问题往往是站在全局的高度之上提出的,这与现有的数据处理系统相比,不仅仅是一种量的改变,而是一种质的转化。于此相应,大数据时代的信息系统很难是仅凭现有IT技术就能实现的,而必须采用全新的IT技术来支持,同时,信息系统的设计也很可能需要全新的设计理念和设计思路。因此,监理工作需要及时跟踪和了解新出现的产品、技术、功能、设计理念和设计方法,具备对项目成果和交付物进行评估检验的能力,进而提高对项目的发展预判的准确性,提高对项目“四控、三管、一协调”的服务水平和执行力度。

第三个层面,以往信息技术变革的重点在“T”上,而不是在“I”上。大数据时代,聚光灯转而打向“I”,开始关注信息本身,从数据中挖掘价值,正是大数据时代的主旋律。监理也应将所有项目数据化,将隐性知识显性化,参照谷歌等公司的数据模型,尝试采用语义网(Semantic Web,伯纳斯-李)思想,即:“在语义网上,数据将像网页一样,成为组织资源的单位。一个数据,可以像万维网上的网页一样获得一个地址(即统一资源标识),同时,还有统一的语义对它进行描述。这样,语义网上的数据,就不再是一个死的数字,而是一个活的‘细胞’,它可以被定位,还拥有和其他数据语义一致的标签,这意味着它可以和其他数据相联” [3] 。由此建立可自学习的监理分析系统。随着监理项目的数据积累,通过对海量数据进行深入分析和挖掘,创造高价值的产品和服务。

第四个层面,充分了解大数据时代下,建设方和承建方的新特点。一个新生事物的产生,往往带来人们生产方式、生活方式、思维方式等方面的变化。几乎可以确定:大数据的产生,将带来信息系统由原来的业务实现向数据潜在价值挖掘的重大转变,进而必然引起信息系统在建设目的、建设过程等方面的调整和变化。监理作为工程的把关者之一,应充分分析大数据时代下建设方和承建方的新特点,对其中的关键因素(例如建设方建设意图的合理性、承建方开发人员的合理性)具有良好的把握,才能有的放矢的改进监理工作,使监理工作适应大数据时代的新要求。

5 结论

大数据时代的到来,引发的思维变革、商业变革、管理变革已经开始发生并将继续深入。这是我们需要迅速认识和深入研究的重要课题。借用北京云基地首席顾问、云华时代智能科技有限公司董事长郭昕的话作为结束语:“大数据正把我们变成新的物种。首先,大数据改变了我们的思维方式,让我们从因果关系的串联思维变成了相关关系的并联思维。其次,大数据改变了我们的生产方式,物质产品的生产退居次位,信息产品的加工将成为主要的生产活动。最后,大数据改变了我们的生活方式,我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术,更是一种全新的商业模型,它与云计算共同构成了下一代经济的生态系统,一切皆信息。”因此,信息工程监理的工作方式和方法也应该顺应大数据时代的到来而有所改变,充分体现出“信息”的内容。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/24226909/viewspace-1120903/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-07-11