ITPub博客

首页 > IT基础架构 > 服务器/存储 > 走进四川电信 揭秘核心计费系统改造的背后

走进四川电信 揭秘核心计费系统改造的背后

原创 服务器/存储 作者:陶然 时间:2019-02-11 10:32:41 0 删除 编辑

  数据,已成为这个时代的基调。当我们因为数据带来新的机遇而喜不自胜的时候,也常常会不可避免地遇到一些随之而来的困扰。与如何更好地使用数据相比,数据的存储和管理是更棘手的问题所在。甚至说,我们能够发挥数据多大的潜力,在某种程度上取决于我们所具备的数据存储和管理能力的大小,存储架构起着近乎于决定性的作用。

  前不久,笔者有幸来到了位于成都市贝森北路的中国电信成都枢纽中心,听四川电信资深技术专家胡杰,为我们详细讲述了四川电信核心计费系统改造背后的故事。

   面临的挑战与瓶颈

   胡杰在四川电信的企业信息化部工作,主要负责IT系统管理,据介绍,四川电信主要面临以下挑战:

  1,数据快速膨胀,四川电信拥有7000万用户,每个月各种话单处理量在千亿级别,确切数据是在900亿到1000亿之间的话单量;

  2,业务时效要求越来越高,1天之内完成整个系统出账;

  3,I/O成最大瓶颈。

  要知道,传统的运营商还是比较保守,他们对SSD还抱有一些疑议,对SSD可靠性会比较担忧,还是倾向于使用传统阵列,但是四川电信在这方面则比较开明,倾向用最简单、最能解决问题的技术,来解决面临的I/O瓶颈问题,因此四川电信的IT改造早就开始了。

   据胡杰介绍,四川电信和英特尔合作是2014年开始,英特尔当时介绍了很多相关的SSD一些分布式存储的产品。

  2014年,开始引入分布式存储和SSD,截止目前,四川电信的IT系统已经连续4年未采购集中存储;

  2016年,开始对核心系统进行分布式存储改造;

  2017年,开始对整个CRM的核心数据库全部做分布式+SSD存储改造;

  2018年上半年,所有的计费帐务的核心系统数据库全部完成了分布式+SSD存储改造。因计费系统I/O要求最极端,在这个过程当中我们引入了英特尔傲腾。

   对症下药找到存储挑战的解决之道

  俗话说:好钢用在刀刃上,花钱花在裉节儿上。意思就是要切中要害,抓住最主要的环节。

  很多人认为从集中式存储向分布式存储改造会存在很多风险,投资成本也会增加。但是为什么四川电信还要铤而走险呢?其实不然。在四川电信的实际测试中,发现集中式存储受架构限制,始终是存在一些瓶颈;当分布式存储加上SSD,可扩展性非常好,能解决目前面临的大部分I/O瓶颈。

  胡杰表示,在改造之前,我们DBA每天绝大部分时间在处理数据库和IO有关的优化工作,为了一点点性能提升要付出很大精力。自从SSD分布式存储改造以后,我们DBA现在的压力非常小,除了一些异常故障的处理,基本上不去关心IO性能。有些人认为SSD成本可能比较高,但是我们看一个数据库高级DBA的人力成本,一天就是几千美金,再加上系统造成的系统故障的损失,SSD的价格就显得微不足道了。

   为什么会引入傲腾?

  胡杰表示,之所以选择傲腾是因为四川电信目前的计费数据库,每天是海量的写入,库的写入量,最极端的部分一张SSD一天会被擦写十遍,如果传统的SSD,可能是一年左右就会被报销(DWPD数据比较好一点应该是5左右),但是如果用傲腾(DWPD30)以后,在整个生命周期当中我们不会再担心寿命问题。

  其次,胡杰认为傲腾最大的优点就是高I/O的情况下,长期进行大数据量的写入后,傲腾依然能保持极其稳定的时延。因为大家知道NANDSSD有一个后台回收空间机制,如果是数据量特别巨大、频繁的写入,这个部分会看到过一段时间后台回收以后对性能的影响非常之大,我们目前已经遇到普通SSD这种机制造成的系统宕机,傲腾SSD由于存储颗粒的革命性升级,不存在这种回收机制,因此不会出现上述问题。

  通过对比观察,在同一台机器上同时插傲腾和普通的SSD,傲腾的部分未出现过任何问题,出问题的部分始终是出现在传统的SSD那部分。而稳定则是企业用户最看重的,从傲腾其他数据,像带宽,IOPS,它和传统SSD来看并没有数量级的优势,但是在时延稳定性方面优势特别明显。

   目标:实现完全去E,在性能上没有任何瓶颈,能够灵活满足多种业务需求

  目前绝大部分运营商的数据库还是基于传统的集中式存储的架构。四川电信根据目前参考Oracle一体机的架构,使用RDMA+NVMe SSD的这种架构,在没有完成整个系统的分布式架构改造之前,解决数据库极高I/O的问题,是目前比较理想的架构。

  目前四川电信在和英特尔合作当中,使用了NVMe over Fabrics,从目前来看对性能有40%到60%的提升,随着NVMe over Fabrics的成熟,四川电信还会大规模使用NVMe over Fabrics这种技术,对潜力进一步挖掘。

  写在最后,笔者认为大数据时代,存储挑战不断出现,且愈发严峻。传统的应对挑战的方式固然稳定可靠,但正如大家在讨论中所传达出的那样,力求稳定是必要的,但绝不能固步自封。行业需要不断有新的技术、新的产品才能更好地应对未来挑战。对新的东西保持理性态度,同时又能不落窠臼、勇于尝试,也许就是一个合理的道路。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31545803/viewspace-2617673/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-09-19

  • 博文量
    54
  • 访问量
    76084