首页 > 大数据 > 数据分析 > 【案例】河南移动数据架构和大数据应用方向
【IT168 评论】在快速舒适的高铁上能够观看视频、刷朋友圈、发微博……这种轻松惬意的旅途已成为现实。日前,河南移动召开4G高铁全覆盖新闻发布会,宣布移动4G全程覆盖境内高铁。迄今为止,河南移动已兑现了全省开通4.3万个4G基站的承诺,实现了全省18地市所有城区、县城和乡镇区域的连续覆盖,以及2.5万个行政村区域的有效覆盖。这些数字充分体现了河南移动对于IT系统的重视,也离不开一线技术人员的辛勤与高效互联网络的支持。近日,我们有幸采访到了河南移动业务支援中心资深技术专家郭强,听他谈谈对于InfiniBand高速互联网络的应用和未来发展方向。
曲折的网络优化之路
早在2003年,河南移动在业务应用中发现原有的千兆网络系统难以满足数据分析应用需求,在双节点系统应用中数据仓库经常遇到的问题;而随着数据量的增加,系统扩容和网络通信都成为了技术人员急需解决的问题。在这样的情况下,技术组紧急寻求全新的解决办法,但碍于当时的信息渠道单一,一时间难以找到合适的替代方案。几经辗转,技术组购买到2台基于SDR技术的24口InfiniBand网络交换机,但让所有当事者没想到的是,从此便与InfiniBand网络结下了不解之缘。
事实上,早在2000年郭老师便已经了解到InfiniBand网络的存在,而在这次亲身尝试之后他发现:相比传统的千兆以太网来说,InfiniBand网络交换机在性能上实现了大幅度的提升。同样进行30亿张话费表单的处理,使用InfiniBand网络之后理论性能提升了10倍以上,实际的处理时间也从原来的7-8个小时下降到2小时左右,大大提升了系统运行效率。
从此便一发而不可收拾。2008年底,为进行河南移动下属9个地市的数据处理,技术组使用x86刀片服务器组建了24节点的InfiniBand网络集群。别看只有24台服务器,这套设备已经是当时国内最大最先进的InfiniBand系统,能够支持近3000万个用户的数据分析。更重要的是,这套系统实现了用x86服务器对传统小型机的部分业务替代,在成本上也大大降低。按照郭老师的介绍,当时如果使用国外的某数据库设备大约需要投资3000万元以上,而使用这套系统的成本只有原来的五分之一,节省了一大笔投资。
如今,Mellanox公司提供的InfiniBand网络已经成为河南移动IT架构的重要组成部分之一,而除了网络系统之外,在服务器应用方面河南移动也进行了有效的尝试与改革。
去IOE大潮下河南移动的选择
正如刚刚我们提到的,早在2008年底河南移动便采用x86服务器部分替代了原有小型机的应用。经过多年的更替,目前小型机只占河南移动服务器数量的10%,而高达90%的份额都被x86服务器所占据,这个比率所对应的数字是1800台。
近几年,国产化和去IOE的声势越来越高,但是在郭老师看来,去IOE更重要的精髓还在于实现业务的真正替代性应用。正是基于可用性和性价比的原则,河南移动使用分布式计算系统Hadoop进行数据分析,这也是x86服务器最大规模的应用。而在核心的计费和交易帐务处理方面,小型机依然是应用的主力。
世事无绝对,小型机目前依然承载着河南移动最核心的应用系统,但这并不代表它不可替代。据统计,河南移动的数据量每年以30-40%的速度增长,而原有的小型机难以满足业务需求——河南移动原有的5台P780小型机只能够支撑200万用户的数据,如果按照这个比率来看要实现对于全省近亿用户的支持,单单在基础设施的投入上就已经是天文数字。为此,河南移动采用了x86服务器作为替代的解决方案,将越来越的应用部署在x86服务器平台上。据郭老师透露,未来有可能在x86平台上部署实施计费系统,通过InfiniBand网络低延迟的特性实现秒级计费。
在谈到这样做的好处时,郭老师表示,分布式系统虽然采用x86服务器,可能具备不可靠性,但从宏观角度考虑这种不可靠性只是针对单一的服务器而言,对于1800台服务器组成的集群来说依然可以实现业务的连续、不间断运行;而对于小型机这样的集中型系统来说,虽然在可靠性上相对x86要高一些,但因为运行的应用较多,一旦出现宕机将会带来难以估量的损失。从这一点来看,分布式与集中式各有优劣,不可一概而论。
膨胀的4G用户推动大数据业务发展
当移动互联网进入4G时代,也意味着中国移动进入了春天。作为中国第一的人口大省,河南移动的用户规模巨大,而其中的4G用户仅有几百万人,这个市场还远没有实现饱和,未来也将会有千万级别的用户从2G、3G转移到4G业务中来。由此看来,如何处理和挖掘4G业务的庞大数据也成为了未来河南移动新的业务增长点。对此郭老师显然是胸有成竹,他特别为我们列举了大数据应用的两个方向。
首先是用户行为分析。相比传统意义上我们在移动公司获取长长的通话记录和流量通知单,用户行为分析将会根据每个用户的应用特点推动定制化的账单系统,用户可以通过图表直观的看到通话、流量等不同业务的使用情况,并根据提供建议调整自己的套餐模式。
另一种应用则是舆情监控,并且这个应用已经有了实际的案例。运营商可以根据用户手机信号所在的基站确定用户的位置,这些数据可以作为政府部门的决策参考。郭老师表示,之前河南移动曾与省旅游局合作,在节假日或黄金周等固定时间段内,通过对各大景区内手机信号的计算实现精确的人流量统计,进而帮助政府提供市民的出行指导。同样,这种方式也可以用于智慧交通当中,并且提供比现在更精确的交通拥堵预测。
别以为这些应用很简单,其背后调动的数据量都以TB级计算。与个人的账单检索不同,这些应用需要在海量的数据中实时对比分析出每条检索内容的特性。对于用户来说可能只是敲击一下确定键,但在后台需要在当下的所有数据中找到对应的信息,这也对网络提出了更高带宽、更低延迟和更快响应时间的要求。正是借助于InfiniBand网络,才能让这些操作变得如此便捷与高效。
如今,河南移动的业务数据量已经达到了300TB以上,而且这个数字每天还在飞速的提升。借助于InfiniBand网络所具备的高带宽、低延时特性,河南移动不但有效避免了大容量单一数据库所带来的安全、维护等问题,还利用大数据分析实现了精准营销推送服务。“InfiniBand技术大幅度提升了数据库性能,在较低的成本上实现了性能的跨越。“,郭老师如是说。
上文不准确的地方标注:
1. 90%应用x86服务器,没有说明是OLTP集群还是OLAP分析集群,只说了90%不准确,分析侧去IOE还是有可能的。
2.目前河南移动全省用户远远没有1亿,6千多万在挡,计费用户更少。
3. 河南移动的业务数据量300T?? 远远不止。
4."正是借助于InfiniBand网络,才能让这些操作变得如此便捷与高效。" 处理TB级海量数据搜索查询,搞技术的都知道一方面是基于的数据库架构,另一方面是大数据分析算法,和网络有什么关系?用其他网络就做不了吗?
5. 请忽略InfiniBand的广告。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/14146064/viewspace-1653902/ ,如需转载,请注明出处,否则将追究法律责任。