ITPub博客

首页 > > > 原来是这个原因,HPC 才真正走向普及

原来是这个原因,HPC 才真正走向普及

作者:u_453e1a12781dea 时间:2017-11-15 15:25:04 0 删除 编辑
点击蓝色字关注"CU技术社区" 一起玩耍哦~

文末有福利!

欢迎各位客官下载最新《戴尔助力高性能计算走向普及》白皮书


“ 

高性能计算

(High Performance Computing,HPC)

早已不是阳春白雪,

正在以令人惊讶的普及程度,

近年来在多个行业领域迅速铺开。 

这一切,戴尔功不可没。


并且在全球 HPC 市场排名中,

戴尔一直位居前列。

”

行业应用落地加快 HPC 普及


全球第三方权威调研机构 IDC 在 2015 年有关 HPC 的报告显示:全球 HPC 市场 2014 年约为 210 亿美元,预计到 2019 年将增长为 312 亿美元,年复合增长率为 8.3%。



HPC 按照 IT 组成部分来看,2015-2019 年期间,存储部分的增长率最快,为 9.4%,其次,中间件部分增长为 7.8%,服务器和应用部分的市场增长速率为 7.7%,服务部分的增长速率为 6.7%。


这组数据说明了,HPC 因为用户在数据领域的增长变化,已经呈现出来了新的态势,特别是 HPC 与大数据结合的模式,已经备受业界所关注。


当然,来自服务器和关键应用部分的增长虽然比存储部分要低 1 个多百分点,但这也足够证明服务器和关键应用部分的重要性。高性能计算强调的首位是计算,然后针对 HPC 的普及又必须强调应用。因为应用的增长,也必然在加速 HPC 的行业落地。


不仅如此,在国家国策的驱动下,HPC 在中国市场的发展更为活跃。2016 年 7 月, 国务院印发了《十三五国家科技创新规划》,其中 HPC 与云计算、人工智能、物联网等同时被列为 “十三五” 期间重点发展的新一代信息技术。有了国家国策的指导作用,在很大程度上可以起到引导和促进 HPC 相关产业的健康发展与兴盛,HPC 技术和应用在中国诸多行业领域的落地与普及也就有了更大的动力。


特别是在一些新兴的学科和领域,HPC 已经成为了科学研究的必备工具。


随着计算技术的发展,尤其是开放架构和开源的日渐成熟,CPU 从单核向多核演变,以及 GPU 在加速计算方面的给力表现, 推动着 HPC 不断向平民化演进,应用领域也迅速扩展。


可见,从阳春白雪到下里巴人,HPC 的普及化趋势也是其技术力量的促进。HPC 技术的进步自然带来了应用的更加广泛和深入。


比如近年来兴起的基因组测序,与人们生活生产密切相关的气象预报,制造业中的仿真设计,应用于大数据分析的 HPC 更是迅速发展,像互联网应用中的客户行为分析,医学流行病预测、深度学习、人脸识别等等。


总的来看,HPC 不仅在科学计算、天文、能源、军事等方面继续发挥着重要的作用,同时在基因测序、气象科学、制造业创新、大数据分析、医疗医学、深度学习、人脸识别等等领域,HPC 正在越来越普及化、平民化,并服务于大众,与我们大家的日常生活越来越息息相关。


HPC 之所以可以发展到今天这样的普及化程度,这与戴尔这样专注通过开放、 经济的解决方案,提升了中小企业将 HPC 作为挑战传统行业布局和业务模式利器的有关。


因此,普及 HPC 应用不仅仅是可以触及到大众的生活,更要能让千千万万中小规模的企业用户从中获得自我创新的 “新能力”。


事实上,中国真的步入了 HPC 的普及化应用期了吗?


来自中桥调研咨询对于中国企业部署 HPC 的情况的调查发现,分别在 2015 年 8 月和 2016 年 4 月进行过两次相关的调查,并就调查结果进行了比较。结果显示,在受访企业中,“已经部署” 和 “未来 12 个月内部署” 两个选项 的 2016 年调查比率 (10.2% 和 15.1%) 都明显高于 2015 年的结果 (7.3% 和 11.0%)。这就充分证明了中国用户对于 HPC 的应用需求程度在明显逐年提升。


HPC 进入应用普及期


尤其值得注意的是,选择 “正在评估 HPC” 的企业 2016 年 (34.2%) 是 2015 年的 (15.3%) 两倍以上。而相应地,“不会部署” 和 “不知道” 的比率则大大下降。


这就说明了 HPC 在企业用户中的地位提升了,大家对于 HPC 的认知早就不同于从前了,如何能有效利用和应用 HPC,并与业务有机结合,成为了用户关心的重点。


比如,来自中桥调研咨询针对受访企业中的典型代表进行了深访,多数企业 CIO 表示:企业在进行数字化转型过程中,数据量迅速增长,而这些数据无疑是企业的 “命脉”, 企业已经或计划通过 HPC 实现大数据分析,从而提升企业的竞争力。


同时在虚拟现实 、增强现实、商情 / 舆情分析、人工智能等领域的新技术和新应用,成为了 HPC 新的增长点。


中国企业对于 HPC 的接受程度获得了前所未有的提升,在面临自身业务创新的现实情况下,HPC 所能发挥出的作用越辣越明显,也带动 HPC 进入一个应用的普及期。


既然来自 IDC 和中桥调研咨询的两大分析机构对 HPC 的增长趋势十分看好,也通过实际调研表明了 HPC 正在走向普及化。那么,是什么力量在驱动 HPC 走向了普及化?


HPC 市场发展的重要驱动力


戴尔认为,这一切的主要驱动力来自应用数量、大数据、新兴应用和 HPC 门槛降低四个方面。

在应用数量和形态驱动力方面。中桥调研咨询 2017 年 IT 趋势调研数据显示,80% 以上受访的中国用户已经或未来 24 个月内将要把数字化转型作为战略重点。在数字经济时代,IT 应用开发部署直接决定着企业通过数字化创新的能力,触发应用量的急剧增加。同时,应用的多线程和高并发技术走向,催生出更多的 HPC 需求。此外, 在 C2B 的数字化新模式中,数据成为企业业务新引擎,系统处理能力决定着用户体验和增长空间,带动 HPC 的市场需求不断增加。

  • 在大数据驱动力方面,前瞻性、迅捷响应、高效协作成为决定企业竞争力的软资源。通过前后台打通,实现全业务数字化,保证业务各环节数据交互和分析速度,是形成数字经济个性化生产服务效率的关键。

  • 大数据与 HPC 的结合衍生出了 HPDA(High Performance Data Analysis, 高性能数据 分析) 技术。据 IDC 数据显示:目前有 67% 的 HPC 资源用于 HPDA,而机器学习 / 深度学习、欺诈检测的需求就是其中较为典型的应用。大数据时代的到来将使 HPDA 应用成为 HPC 的下一个强力增长点。

  • 在新兴应用驱动力方面,HPC 应用正从过去主要传统科研领域计算密集型为主,逐渐向新兴的大数据、人工智能以及深度学习等方向进行融合和演进。虽然传统的 HPC 应用的刚需继续存在,但是数字时代无论是智能制造、智慧医疗、智慧城市、智能家居,高性能计算都将成为核心技术。特别是近两年备受关注的人工智能领域,如自动驾驶汽车、无人机、人脸识别、医疗诊断、智能家居、购物推荐, 以及金融分析和商业决策等,其核心是大数据支持,HPC 成为人工智能模型训练的重要支撑平台。

  • 在 HPC 门槛降低加速普及方面,首先,标准化的 HPC 方案, 降低了高性能成本门槛。在处理器方面,微处理器大举进入 HPC 市场,CPU 从单核演变到多核,性价比优势日益凸显。在 HPC 市场上占据相当份额的英特尔至强融核处理器和英特尔全新高速互连技术架构 Omni-Path,以及 GPU 计算加速卡进一步推动着 HPC 向更多领域普及。其次,针对典型行业 HPC 的蓝图参考架构、高性能生态联盟、高性能应用框架,降低了 HPC 架构部署管理难度和应用开发强度,使 HPC 的技术门槛进一步降低,加速 HPC 市场的普及。

三大战略 Hold 住 HPC 应用


正因为 HPC 的发展已进入应用普及阶段,由此产生了更多的新机遇与挑战。构建经济高效、高性能、扩展性强、灵活且易于管理的 HPC 平台,进一步拓展 HPC 应用领域成为当下 HPC 发展面临的挑战和需求。


“在中国,为中国”,戴尔中国 4.0 战略不断深化下,戴尔为实 HPC 普及化、平民化的愿景,与合作伙伴、社区共同推动 HPC 平台生态圈的构建,加速 HPC 在中国的应用和普及进程。


戴尔通过创新、高性价比的解决方案组合,不仅满足科学计算领域包括基因工程、能源、国防、航空、气象等行业对 HPC 的需求,还满足新 IT 应用包括云计算、大数据分析、深度学习、人工智能等方面对 HPC 的需求。全面致力于 HPC 的市场化、商用化、普及化,以满足各种层次各行业用户的应用需求,帮助更多的企业和机构实现创新驱动发展。


况且,戴尔多年来在 HPC 方面一直在为世界上一些先进的学术和研究机构提供支持,并积累了丰富的经验,这部分经验和技术也可以通过戴尔立足中国的 HPC 三大策略得到很好的落地。


在此基础上,戴尔又为多个垂直行业提供了高度灵活、设计精准的 HPC 系统。借助戴尔 HPC 解决方案,用户可以更快速、更经济地部署 HPC 系统,这无疑将有助于加快创新速度,实现业务的创新发展。


其一,携手科研机构,共建 HPC 平台和实验室。这也是戴尔在 HPC 方面的全球策略之一。


在中国,戴尔与清华大学、上海交大等合作建立了 HPC 中心。戴尔与中科院自动化所展开合作, 共建 “人工智能与先进计算联合实验室”,为中科院搭建基于 HPC 的 “人工智能” 和深度学习的研发和服务平台。


其二,联手合作伙伴共同构建 HPC 生态圈。并针对与 HPC 相关的硬件、软件、咨询、服务、运维、应用等多个领域,与业界领先的技术厂商如英特尔、NVIDIA、Mellanox、Bright Computing、Altair PBSworks 等长期合作,为用户构建易部署、易管理性的端到端 HPC 解决方案。


戴尔与 Bright Computing 在 Hadoop、OpenStack 以及深度学习等开源领域展开全面合作。同时,戴尔还与众多厂商和大学科研机构积极参与 Open HPC 开源项,为 HPC 创建一个开源框架, 以降低 HPC 成本。


其三,出台 HPC 简化方案以适合各种规模的企业。


阳春白雪一样的传统 HPC 解决方案,功能强大而复杂,未必适合所有的企业。因此,戴尔在全球推出了简化版的 HPC 系统产品组合,既可提供定制的 HPC 系统的灵活性,又具备预配置型系统的速度、简便性和可靠性。


针对特定的科学、制造和分析类工作负载,戴尔工程师和领域专家设计并优化了全新的 HPC 系统,便于用户更快捷应用、部署 HPC 方案。


方案助落地,构建 HPC 应用最佳执行力。


既然提到了 HPC 解决方案,这里不妨再继续往下看,我们来点更详细的内容。

经过验证和认证的 HPC 解决方案

目前,戴尔在 HPC 方面, 从产品组合到行业解决方案, 从优化服务到合作伙怑,戴尔提供了经过验证和认证的 HPC 解决方案。


面向生命科学、制造、科研等领域,戴尔根据行业用户 HPC 典型应用场景,提供了 HPC 参考架构和解决方案,以及戴尔 HPC NFS 存储方案、基于英特尔 Lustre 的戴尔 HPC 高性能存储方案、戴尔深度学习方案等。



值得一提的四大解决方案,覆盖了 HPC 领域用户的主要需求。


1

研究领域 HPC 方案

用于科学研究的 HPC 系统不仅需 要高性能的计算能力、较强的扩展能力,还需要高速存储、 万兆以太网交换机、并行文件系统、集群管理系统等应用。开放、高性能、易管理的 HPC 平台,这是研究领域 HPC 方案的三元素。


戴尔推出的适用于研究领域的 HPC 方案,为用户提供出色的性能和灵活性,支持多种不同的结构、计算、 加速器和存储选项,其模块化设计可根据用户的具体工作负载自定义系统。


2

生命科学 HPC 方案

戴尔针对生命科学领域对 HPC 的需求,基于全球最佳实践,推出了戴尔生命科学 HPC 方案,可帮助生物信息学中心和遗传学中心根据临床要求经济快捷将基因分析转为临床治疗方案。同时确保合规并保护机密数据。该方案集成了包括高性能网络、 PowerEdge 高性能服务器和高性能存储方案等戴尔 HPC 产品和服务组合。


3

制造业 HPC 方案

戴尔针对制造业的需求,提供多种工作站,满足 3D 设计、虚拟现实设计,结合集群或两者并用,简化制造场景和客户模拟设计,通过结构分析和计算流体力学分析,提高设计效率和生产质量。戴尔为用户提供灵活高性能技术选择,以及端到端方案和服务,助力中国制造智能升级。


4

深度学习 HPC 方案

深度学习涉及数据准备处理、特征工程、建模、调参等环节。戴尔建立端到端的深度学习 HPC 平 台,简化从数据准备到分析训练结果的完整深度学习流程。针对深度学习,戴尔提供了灵活 的 HPC 技术框架、产品、服务和专业技能。为满足用户对开源软件的新需求,戴尔继续强化了与 Bright Computing 公司的合作,简化深度学习 IT 架构的部署管理。针对在深度学习广为采用开源技术 Hadoop、Openstack、Lustre,戴尔提供蓝图方案,简化架构部署运维难度,提高深度学习业务创新速度。可选的机器学习框架有 Caffe、Torch、Tensorflow、Theano;可选的机器学习库包括 MLPython、cuDNN、DIGITS 和 CaffeOnSpark。


另外还有三个方案和产品引起了业界的重点关注。一是,基于英特尔 Lustre 并行文件系统的分布式存储,二是 DSS 7000 高密度存储服务器,三是戴尔 HPC NFS 存储解决方案。


基于英特尔 Lustre 并行文件系统的分布式存储,不仅降低了高性能存储的开支,而且满足 HPC 容量和性能线性升级扩展,以及单一域名海量存储需求。采用 PowerEdge 作为服务器节点、PowerVault MD3 作为存储节点、通过高速 100Gb OPA 或 Infiniband 保证低延迟。


DSS 7000 高密度存储服务器,满足未来百万兆级存储需求。增强并优化了硬件设计,能够精准地给用户提供定制化的服务器,满足用户对业务大规模扩展的需求,同时避免了数据中心体积的无限扩展。DSS 7000 能在一个 4U 机箱中提供最高 720TB 的存储容量,为对象和块存储提供云构建模块比较低廉的每 GB 成本。


戴尔 HPC NFS 存储解决方案基于 NFS 标准,被广泛用于 Linux 的 HPC 集群存储。提供包括硬件、软件、蓝图指南、支持和部署服务的存储解决方案,具备极其稳定的可靠性,采用高可用性故障转移配置。该方案可以选择 PowerEdge R630 服务器作为文件管理、PowerVault MD 直连存储作为存储节点,结合万兆网络实现故障切换,保证高可用。


普及化,HPC 势不可挡



不管因为技术进步,还是因为产品组合丰富,还是因为方案更为切合应用,还是因为整体性价比在不断降低,种种原因最终促使 HPC 普及化趋势出现的根本,还是源自用户在数字化迈进过程的需求变化。


但是用户分大规模部署和中小规模部署,类型不同,应用对于 HPC 性能和技术支撑的力度会有所不同,加上 “隔行如隔山” 的行业应用独特性。最终也会促成 HPC 解决方案具备一定的行业属性。


但这一切,都会因为 HPC 厂商提供坚强的技术支持与服务得以有力保障。


而像戴尔这样,积极联合领先的合作伙伴,并采纳社区标准,推动高性能计算平台生态圈的建立, 全方位将 HPC 市场化、商用化、普及化,以满足行业用户的应用需求为 HPC 推进的根本,自然能在未来赢得更大的行业发展机会,从而实现用户基于 HPC 基础上的更广泛、更全面、更彻底的应用,为创新发展获得强大的动力。


因此,普及化,HPC 势不可挡。


点击 “阅读原文” 到文章底部下载文中提到的《戴尔助力高性能计算走向普及》白皮书。

原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2019-07-17

  • 博文量
    1982
  • 访问量
    17876