在此讨论和业务无关的纯粹技术平台的工作;
各位同行欢迎和希望一起探讨;欢迎加盟;联系zhuchao#gmail;
Infrastructure:
- Q1 全部ETL迁移到Hadoop平台, Hadoop扩容;
- hadoop 2.0/CDH5/hive 0.11升级;
- 分析平台:H2 IDE开发增强和完善;Tableau
实施和部署;
- 实时计算平台storm稳定,便于二次开发
- Yarn支持/Shark/Spark的研究和支持:
- 抽取,调度升级;
- 数据安全和数据分享的细化和完善;
- 数据质量:工具,流程和人
- 宽表的建设:
- 数据应用portal建设:元数据管理系统,报表,自助报表,DWAPI支持,手机数据仪表盘,
- Databus: (类似flume/kafka的对于数据库交易的solution)
- Fraud Detection/Security offline computation platform
- Get rid of impala if shark works well;
在接下来的2个礼拜里面,里面每个会逐个完善;
<!-- 正文结束 -->
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/21595907/viewspace-1120287/
,如需转载,请注明出处,否则将追究法律责任。