首页 > 大数据 > 数据分析 > 大数据应用研发实验室暨培训中心部署方案
<<***大数据应用研发实验室暨培训中心>>部署方案
第一章:平台达到的目的和作用
一、提供真实的大数据应用研发和测试平台环境。
二、提供科研、人才培训的基地。
三、成为开发销售的演示平台。
第二章:平台架构方案
一、总体架构与组成部分:
|
大数据高速分析平台 |
|
大数据可视化展现查询 |
|
数据抽取整合 |
|
数据库存储与运算 |
|
Hadoop优化平台
|
|
行业大数据分析应用 |
|
服务器网络硬件平台
|
|
|
|
二、软件架构图
三、方案架构图(举例)
四、物理架构图(举例)
第三章:平台功能和用途
平台建立后可做为测试、POC、应用开发、演示、培训等目的
一、Hadoop优化+集群+快速部署+安全密码管理测试应用研发培训
二、数据抽取整合测试应用研发培训
1、WEB数据抽取监控发布测试应用研发培训:
全文抽取监控与企业相关的网站微博数据
2、对非结构化数据、结构化数据、半结构化数据的抽取整合
三、数据存储与运算测试应用研发培训:
1、对以高频交易数据为主体的数据存储测试应用研发培训:
用于高频交易数据的存储运算分析场景
2、对以文件形式为主的数据存储测试研发培训:
用于以文件数据的数据存储运算分析场景
3、对以图形为主体的数据存储测试应用研发培训:
用于复杂数据关系的数据存储运算分析场景
四、高速数据分析平台测试应用研发培训:
用于大数据的高速高性能分析平台
五、大数据可视化展现分析测试应用研发培训:
用于大数据分析的可视化展现
六、海量数据超高速查询分析平台测试应用研发培训:
用户拥有海量数据的行业单位的数据超高速查询
第四章:平台搭建推荐方案
一、原则:
1、性能功能指标能完全满足营运商、金融、政府企事业单位大数据应用平台需要。
2、国际最顶尖一流的最流行的平台和产品构建;指标高于通常水平40%以上.
3、没有安全和知识产权问题。
4、完全工业级的真实运行平台。
5、完全的冗余和可扩展性、模块化。
6、教学科研性质最低成本。
二、总体规划分布搭建:
第一套方案:最基本的大数据可视化分析平台
作用功能用途:大数据的分析(对结构化非结构化半结构化数据的分析)应用开发
1、硬件:一台PC服务器或工作站或服务器
2、软件:Datameer
3、价格:8万元:利旧服务器+8万元/年软件许可及服务技术费
第二套方案:基于多节点hadoop上的大数据分析
hadoop+Datameer
作用功能用途:多节点分布式hadoop上做大数据分析应用开发
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:hadoop+Datameer
3、价格:10万元:利旧服务器+8万元/年Datameer软件许可及服务技术费+2万元hadoop部署服务费
第三套方案:高频大数据分析平台
(hadoop+VoltDB+Datameer)高频交易大数据分析平台
作用功能用途:高频交易系统OLTP的分析以及高频交易与hadoop探索性分析的事件分析处理
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:hadoop+VoltDB+Datameer
3、价格:16万元:利旧服务器+8万元/年Datameer软件许可及服务技术费+2万元hadoop部署服务费+6万元/年VoltDB软件许可及服务技术费
第四套方案:hadoop优化集群及安全密码管理
Hadoop+HPPCSystem+Zettaset
作用功能用途:Hadoop集群和安全密码管理开发
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:Hadoop+HPPCSystem+Zettaset
3、价格:13万元:利旧服务器+6万元/年HPPCSystem软件许可及服务技术费+5万元/年Zettaset软件许可及服务技术费+2万元hadoop部署服务费
第五套方案:大数据抽取整合
Hadoop+Syncsort
作用功能用途:各类数据的抽取整合加载到Hadoop
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:Hadoop+Syncsort
3、价格:8万元:利旧服务器+6万元/年Syncsort
软件许可及服务技术费+2万元hadoop部署服务费
第六套方案:WEB数据抽取监控发布大数据分析平台
作用功能用途:WEB数据的自动抽取监控分析发布
1、硬件:一台以上PC服务器或工作站或服务器
2、软件:Connotate
3、价格:12万元:利旧服务器+12万元/5个网站年软件许可及服务技术费
第七套方案:海量数据的超高速查询
28 io+MongoDB
作用功能用途:海量数据的超高速查询
1、硬件:二台以上PC服务器或工作站或服务器
2、软件: 28 io+ MongoDB
3、价格:14万元:利旧服务器+13万元/年28 io软件许可及服务技术费+1万元mongoDB部署服务费
第八套方案:复杂数据关系的分析处理
Neo 4j
作用功能用途:海量数据的超高速查询
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:Neo 4j
3、价格:2万元: 2万元Neo 4j部署服务费
第九套方案:大数据高速分析
Hadoop+Action
作用功能用途:大数据的超高速分析,比传统数据库快几十倍,升级优化传统数据库和数据中心,提高速度
1、硬件:二台以上PC服务器或工作站或服务器
2、软件:Hadoop+Actian
3、价格:8万元:利旧服务器+36万元/年Actian
软件许可及服务技术费+2万元hadoop部署服务费
第十套方案:dashboard管理驾驶舱分析
Arcplan
作用功能用途:数据高可视化视图分析
1、硬件:一台以上PC服务器或工作站或服务器
2、软件:arcplan
3、价格:8万元:利旧服务器+8万元/年arcplan
软件许可及服务技术费
1、满足设计需求的基本共享架构设备清单表:
|
设备 |
实现功能用途 |
推荐排第一的 产品平台 |
费用模式 |
|
服务器 |
分布式基础平台 |
浪潮、华为、曙光 |
赞助或成本价格付费 |
|
网络等 |
基础平台 |
华为等 |
|
|
Hadoop平台 |
构建分布式环境 用于Hadoop优化、培训、开发、应用部署、研究、测试 |
Hadoop最新版本 |
开源免费 部署调优 |
|
WEB数据抽取 |
与企业相关网站数据的自动抽取监控,转化成企业自己的数据库 |
Connotate |
按年教学科研版付费 10个网站版 |
|
数据抽取整合 平台 |
抽取整合结构化、非结构化、半结构化数据 用于大数据抽取整合的研发培训 |
Syncsort |
按年教学科研版付费 1cpu版 |
|
数据库 |
NOSQL和NEWSQL |
||
|
图形数据库 |
专注存储运算图数据 用于把复杂关系数据的建模分析研发、培训 |
Neo4j |
开源版免费 工业商用版按年教学科研版服务费 |
|
文件数据库 |
专注文件数据运算 用于建模分析研发、培训 |
MongoDB |
开源版免费 工业商用版按教学年科研版服务费 |
|
高频交易数据库 |
专注高频交易数据运算分析 用于高频交易OLTP建模分析研发、培训 |
VoltDB |
按年教学科研版服务费 |
|
高速分析平台 |
高速运算分析提供速度性能 用于分析应用开发、培训 |
Actian
|
按年教学科研版服务费 |
|
可视化展现平台 |
大数据可视化展现 用于最快速大数据分析应用开发部署、培训 |
Datameer Tableau |
按年教学科研版服务费 |
|
海量数据展现 平台 |
海量数据超高速查询 用于海量数据分析查询应用开发部署、培训 |
28 io |
按年教学科研版服务费 |
以上方案仅供构建大数据分析标准功能应用工业级平台建议稿
大数据厂商联盟提供:http://www.bigdataunion.org/peixun.php?act=news&lngid=16
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29643084/viewspace-1184119/ ,如需转载,请注明出处,否则将追究法律责任。