ITPub博客

首页 > 大数据 > 数据分析 > 大数据应用研发实验室暨培训中心部署方案

大数据应用研发实验室暨培训中心部署方案

原创 数据分析 作者:爆哥 时间:2014-06-16 18:00:01 0 删除 编辑

<<***大数据应用研发实验室暨培训中心>>部署方案

                 

第一章:平台达到的目的和作用

一、提供真实的大数据应用研发和测试平台环境。

二、提供科研、人才培训的基地。

三、成为开发销售的演示平台。

 

第二章:平台架构方案

一、总体架构与组成部分:

            大数据高速分析平台

          大数据可视化展现查询

                 数据抽取整合

              数据库存储与运算

               Hadoop优化平台

 

             行业大数据分析应用

              服务器网络硬件平台

 




二、软件架构图


三、方案架构图(举例)

 

四、物理架构图(举例)

 

 

第三章:平台功能和用途

平台建立后可做为测试、POC、应用开发、演示、培训等目的

一、Hadoop优化+集群+快速部署+安全密码管理测试应用研发培训

二、数据抽取整合测试应用研发培训

1、WEB数据抽取监控发布测试应用研发培训:

全文抽取监控与企业相关的网站微博数据

2、对非结构化数据、结构化数据、半结构化数据的抽取整合

 三、数据存储与运算测试应用研发培训:

1、对以高频交易数据为主体的数据存储测试应用研发培训:

   用于高频交易数据的存储运算分析场景

2、对以文件形式为主的数据存储测试研发培训:

   用于以文件数据的数据存储运算分析场景

3、对以图形为主体的数据存储测试应用研发培训:

用于复杂数据关系的数据存储运算分析场景

四、高速数据分析平台测试应用研发培训:

  用于大数据的高速高性能分析平台

五、大数据可视化展现分析测试应用研发培训:

    用于大数据分析的可视化展现

六、海量数据超高速查询分析平台测试应用研发培训:

   用户拥有海量数据的行业单位的数据超高速查询

 

            第四章:平台搭建推荐方案

一、原则:

    1、性能功能指标能完全满足营运商、金融、政府企事业单位大数据应用平台需要。

    2、国际最顶尖一流的最流行的平台和产品构建;指标高于通常水平40%以上.

    3、没有安全和知识产权问题。

    4、完全工业级的真实运行平台。

    5、完全的冗余和可扩展性、模块化。

    6、教学科研性质最低成本。

 

 

二、总体规划分布搭建:

    第一套方案:最基本的大数据可视化分析平台

作用功能用途:大数据的分析(对结构化非结构化半结构化数据的分析)应用开发

1、硬件:一台PC服务器或工作站或服务器

2、软件:Datameer

3、价格:8万元:利旧服务器+8万元/年软件许可及服务技术费

 

第二套方案:基于多节点hadoop上的大数据分析

hadoop+Datameer

作用功能用途:多节点分布式hadoop上做大数据分析应用开发

1、硬件:二台以上PC服务器或工作站或服务器

2、软件:hadoop+Datameer

3、价格:10万元:利旧服务器+8万元/年Datameer软件许可及服务技术费+2万元hadoop部署服务费

 

第三套方案:高频大数据分析平台

(hadoop+VoltDB+Datameer)高频交易大数据分析平台

作用功能用途:高频交易系统OLTP的分析以及高频交易与hadoop探索性分析的事件分析处理

1、硬件:二台以上PC服务器或工作站或服务器

2、软件:hadoop+VoltDB+Datameer

3、价格:16万元:利旧服务器+8万元/年Datameer软件许可及服务技术费+2万元hadoop部署服务费+6万元/年VoltDB软件许可及服务技术费

 

第四套方案:hadoop优化集群及安全密码管理

        Hadoop+HPPCSystem+Zettaset

作用功能用途:Hadoop集群和安全密码管理开发

1、硬件:二台以上PC服务器或工作站或服务器

2、软件:Hadoop+HPPCSystem+Zettaset

3、价格:13万元:利旧服务器+6万元/年HPPCSystem软件许可及服务技术费+5万元/年Zettaset软件许可及服务技术费+2万元hadoop部署服务费

 

第五套方案:大数据抽取整合

                 Hadoop+Syncsort

作用功能用途:各类数据的抽取整合加载到Hadoop

 1、硬件:二台以上PC服务器或工作站或服务器

2、软件:Hadoop+Syncsort

3、价格:8万元:利旧服务器+6万元/年Syncsort

软件许可及服务技术费+2万元hadoop部署服务费

第六套方案:WEB数据抽取监控发布大数据分析平台

作用功能用途:WEB数据的自动抽取监控分析发布

1、硬件:一台以上PC服务器或工作站或服务器

2、软件:Connotate

3、价格:12万元:利旧服务器+12万元/5个网站年软件许可及服务技术费

 

第七套方案:海量数据的超高速查询

                  28 io+MongoDB

作用功能用途:海量数据的超高速查询

 1、硬件:二台以上PC服务器或工作站或服务器

2、软件: 28 io+ MongoDB

3、价格:14万元:利旧服务器+13万元/年28 io软件许可及服务技术费+1万元mongoDB部署服务费

 

第八套方案:复杂数据关系的分析处理

                  Neo 4j

作用功能用途:海量数据的超高速查询

 1、硬件:二台以上PC服务器或工作站或服务器

2、软件:Neo 4j

3、价格:2万元: 2万元Neo 4j部署服务费

 

第九套方案:大数据高速分析

                 Hadoop+Action

作用功能用途:大数据的超高速分析,比传统数据库快几十倍,升级优化传统数据库和数据中心,提高速度

 1、硬件:二台以上PC服务器或工作站或服务器

2、软件:Hadoop+Actian

3、价格:8万元:利旧服务器+36万元/年Actian

软件许可及服务技术费+2万元hadoop部署服务费

 

第十套方案:dashboard管理驾驶舱分析

                  Arcplan

作用功能用途:数据高可视化视图分析

 1、硬件:一台以上PC服务器或工作站或服务器

2、软件:arcplan

3、价格:8万元:利旧服务器+8万元/年arcplan

软件许可及服务技术费

 

1、满足设计需求的基本共享架构设备清单表:

设备

实现功能用途

推荐排第一的

产品平台

费用模式

服务器

分布式基础平台

浪潮、华为、曙光

赞助或成本价格付费

网络等

基础平台

华为等

 

Hadoop平台

构建分布式环境

用于Hadoop优化、培训、开发、应用部署、研究、测试

Hadoop最新版本

开源免费

部署调优

WEB数据抽取

与企业相关网站数据的自动抽取监控,转化成企业自己的数据库

Connotate

按年教学科研版付费

10个网站版

数据抽取整合

平台

抽取整合结构化、非结构化、半结构化数据

用于大数据抽取整合的研发培训

Syncsort

按年教学科研版付费

1cpu版

数据库

NOSQL和NEWSQL

图形数据库

专注存储运算图数据

用于把复杂关系数据的建模分析研发、培训

Neo4j

开源版免费

工业商用版按年教学科研版服务费

文件数据库

专注文件数据运算

用于建模分析研发、培训

MongoDB

开源版免费

工业商用版按教学年科研版服务费

高频交易数据库

专注高频交易数据运算分析

用于高频交易OLTP建模分析研发、培训

VoltDB

按年教学科研版服务费

高速分析平台

高速运算分析提供速度性能

用于分析应用开发、培训

Actian

 

按年教学科研版服务费

可视化展现平台

大数据可视化展现

用于最快速大数据分析应用开发部署、培训

Datameer

Tableau

按年教学科研版服务费

海量数据展现

平台

海量数据超高速查询

用于海量数据分析查询应用开发部署、培训

28 io

按年教学科研版服务费

 

以上方案仅供构建大数据分析标准功能应用工业级平台建议稿

大数据厂商联盟提供:http://www.bigdataunion.org/peixun.php?act=news&lngid=16

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29643084/viewspace-1184119/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2014-05-05

  • 博文量
    8
  • 访问量
    23609