项目背景

山东联通大数据项目为新建大数据平台，初步完成大数据支撑平台搭建，并进行B域数据整合。同时，具备对B域各类数据源的采集、分析、处理能力，具备数据聚合和数据标准化能力，具备数据服务和数据管控能力，增强对外服务及支撑水平。山东联通通过构建大数据平台，实现资源整合优化、节省整体投资、统一数据采集及数据加工、统一数据共享及服务、提高企业运营效率、最大化释放数据价值，最终实现“ 一点存储、统一管控、多点应用、体现价值”的目标。

需求分析

通过本次山东联通大数据平台建设，初步完成大数据支撑平台搭建，具备对B域各类数据源的采集、分析、处理能力；具备的数据聚合和数据标准化能力，具备数据服务和数据管控能力，增强对外服务及支撑水平。具体体现在以下几点需求的实现上：

1. 大数据平台搭建：构建分布式计算与存储平台，包括数据采集、数据转换、数据装载、实时数据处理模块、准实时数据处理模块以及批量处理模块；
2. 数据整合：核心BSS数据汇总，整合现网系统中BCV、市分数据池、前置机、数据集市以及cBSS系统数据至大数据平台；
3. 接口整合：统一省内、集团数据传递接口。省内接口整合，包括BSS与经分、网格、客服等系统间的接口整合；集团接口整合，包括BSS对集团B-BSS、ECS、总部CRM、总部PRM以及经分对总部经分的统一接口整合；
4. 平台应用及管理功能：计算能力、数据能力对内部各系统实现共享，结合大数据平台存储量大、处理能力强的特点，完善经分客户画像；建立数据质量监控平台，通过对采集层数据、处理层数据及关键指标等有效监控，实现数据质量闭环管理。

系统架构

本次系统利用BDI统一ETL平台，进行数据的抽取和统一清洗和加工，BDI经过清洗后的数据统一载入到由GBase 8a MPP构建的MPP分布式数据库平台内，MPP作为各种数据的收集和整合中心，保存从各种业务平台收集的数据，并提供给6个厂家，和17个地市作为大数据供给者，这些厂家和地市在MPP数据库上执行各自的业务。扩容前MPP的日增数据量为1.6T，数据量是60TB，8个节点，3台加载机。经过1次系统扩容，目前为20个节点，3台加载机，扩容后数据总量为150TB。

在 BDI统一ETL平台之下，包含具有云化ETL能力的Hadoop平台，此Hadoop平台存储所有接口数据文件，BDI每两小时扫描一次数据文件是否到位，如到位从HDFS中取出数据到GBase 8a MPP加载机，同时BDI执行加载机上的加载脚本，进行入库操作，通过此方式实现BDI的Hadoop平台和MPP平台之间的能力接口。

价值体现

1. 高 扩展：通过GBase 8a MPP的扩展能力，构建分布式计算与存储平台，集成和整合了B域的各类数据源，为厂商和地市应用提供了强大的可扩展的数据共享平台；
2. 高 集成：通过BDI统一ETL平台和GBase 8a MPP数据库能力集成，同时实现MPP数据库与Hadoop的处理能力的混搭，实现了从数据采集、数据转换、数据装载、数据处理的一系列的共享的集合；
3. 高 并行：通过GBase 8a MPP数据库的列式存储，智能索引等专门为大数据处理实现的存储机制，以及GBase 8a MPP加载机高效并行的加载能力，实现了各类接口数据对MPP共享数据平台的准实时的数据入库能力；
4. 高 混搭：通过基于Hadoop + MPP的分布式计算架构的混搭，使平台的计算能力、数据存储能力得到可扩展的显著提升，实现了各类海量数据的无丢失共享，结合大数据平台存储量大、处理能力强的特点，完善经分客户画像。