ITPub博客

首页 > 数据库 > > Mongoing中文社区年终盛会嘉宾专访--东航数据架构师黄翀

Mongoing中文社区年终盛会嘉宾专访--东航数据架构师黄翀

作者:浪花小雨滴 时间:2020-05-18 15:10:09 0 删除 编辑

Mongoing中文社区年终大会将于2018年1月7日在北京举办,为了帮助大家进一步了解这场盛会的内容,我们采访了部分嘉宾,希望大家充分利用本次机会和专家们互动。


受访

嘉宾

黄翀     东方航空数据架构师

REC

议题:东方航空运价缓存架构的实现

简介:时至今日,东方航空的运行,旅客,运价数据都保存于MongoDB之中,如何更充分更高效的利用这部分数据,助力机票销售,客户服务成为重点课题。

我将以运价缓存的架构为例子,介绍如何利用MongoDB Connector for Spark,以Spark为运算平台的基础架构搭建。





专访


耀星:黄翀你好,请先向大家介绍下自己吧。

黄翀:大家好,我是东方航空数据架构师,从事金融,民航it业10年。


耀星:你是怎么开始接触到MongoDB的呢?

黄翀:2009年在复旦大学读硕士时,接触到NoSql,个人认为NoSql将对大数据时代产生巨大的影响。在实践中,对MongoDB产生重大兴趣,灵活的模式设计,强大的功能,高可用的架构是一款革命性的创新产品。


耀星:请问演讲中这个项目最大的挑战是什么?

黄翀:数据倾斜的问题,简言之,就是任务分配不均匀,造成某些结点完成过多任务,耽误总完成时间。


耀星:这个项目当初的所有可选方案中,是什么促使你选择了MongoDB + Spark?

黄翀:spark作为主流的数据处理工具自不必说,MongoDB提供的高速读写速度可以使得执行效率大为提升。


耀星:使用MongoDB+Spark方案中是否遇到过挑战,你们是如何解决的呢?

黄翀:正如一位大拿所说,新时代数据库的瓶颈将是网络瓶颈。在此项目的实践中,MongoDB的架构需要多结点之间同步数据,网络的传输速度一度成为瓶颈,我们只能通过优化schema设计的方法解决。


耀星:你觉得这个项目中你最满意和最不满意的地方分别是什么?

黄翀:满意之处在于,充分利用机器的资源,调度任务也变的简单,可维护性也提高很多。不满意之处在于,当集群机器少时不能体现对多线程的优势,只有在一个庞大集群一起工作时,优势特别明显。


耀星:回顾学习MongoDB的历程,有什么是你想对初学者讲的?

黄翀:近几年MongoDB的版本更新很快,一定要多关注社区,关注官方文档,不能错过一些重要的更新。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3132892/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40525