ITPub博客

首页 > 人工智能 > 人工智能 > AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

人工智能 作者:dicksonjyl560101 时间:2019-09-11 14:09:50 0 删除 编辑

欧凯 发自 凹非寺

量子位 报道 | 公众号 QbitAI

AI发展和竞争,已经来到2.0时代。

这是一个 落地为王关键的阶段。

在2019上海世界人工智能现场,谈论最多的话题也是AI落地和实践经验。

或许不同的行业位置和角色,对该问题会有不同的答案。

但当英特尔给出经验总结和实践分享时,可能相对更具参考,因为作为算力担当、行业基石。AI落地进程中的英特尔见得更多、视野更广,遭遇的挑战和问题亦更具共性。

那么英特尔的AI落地经验是什么呢?

他们给出4大经验,并用了7个案例来说明。

经验一:推理需求超训练需求

就像手机厂商早期竞争时的比跑分,算力提供方在AI 1.0时代里的竞争,也往往以模型训练的速度来说话。

然而在真实场景中,风向早已变化,推理需求早已超过训练需求。

在AI应用和落地部署中,更为务实,技术价值兑现,核心是业务效能有直接提升,而推理就成为关键所在。

比如视频平台 爱奇艺,AI实践和落地中,推理效率提升可以带动生产力提升。

在这家中国头部视频内容公司的产品中,实时弹屏显示、面部识别应用、鉴黄内容检测,以及文本检测应用的推理性能,都是影响用户体验和平台效益的关键项目。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

英特尔方面分享称,为了实现视频服务实现全流程智能化,爱奇艺导入英特尔架构软硬件组合,优化深度学习云平台:Jarvis。

而基于英特尔架构处理器,爱奇艺还引入了MKL/MKL-DNN对云平台进行系统级优化。加入OpenVINO工具套件,提升Jarvis平台的推理效率。

最后,一系列部署完成后,效果对比显著:

实时弹屏显示的推理速度提升达5倍。面部识别应用的推理效率提升达4倍。涉黄内容检测的推理效率提升达6倍。文本检测应用中的推理性能提升达11倍。

不过,爱奇艺本身就是科技互联网公司,AI应用中有基础。

所以在加速推理并效果明显的落地实践中,英特尔还举出了 美的的项目心得。

美的,国内再熟悉不过的家电制造企业,在整个流程中涉及大量的工业视觉检测需求,像快速、敏捷、自动地识别出待测产品的诸多缺陷,例如螺钉漏装、铭牌漏贴、LOGO 丝印缺陷等问题。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

更重要的是,相关AI模型能够对非标准变化因素有良好的适应性,即便检测内容和环境发生变化,也能很快地予以适应,省去了冗长的新特征识别、验证时间。

于是与英特尔合作中,双方打造了一个基于“大数据+AI”端到端解决方案,实现敏捷、高性能通用化缺陷检测能力。

通俗来讲,为美的制造流程增添“眼”和“脑”。

实际上,利用机器视觉进行工业检测,也是传统工业制造中目前最核心的需求之一。

但传统机器视觉方案面临着诸多问题:一方面,复杂的生产环境带来大量非标准化特征识别需求,导致定制化方案开发周期长、成本高。

另一方面,检测内容多样化也造成参数标定繁琐,工人使用困难。

而且传统方案往往需要机械部件配合定位,因此占用产线空间大,对工艺流程有影响。

美的的固有条件是拥有来自生产一线的海量数据资源,并且春江水暖,早就开始进行全力构建基于AI技术,集数据采集、模型训练、算法部署于一体的工业视觉检测云平台。

但除了具备工件标定、图像定位及校准等功能外,美的还希望通过部署优化的深度学习训练模型和预测模型,来缩短开发周期和成本,并提高设备的易用性与通用性。

于是针对美的这一需求,英特尔为其提供了基于Apache Spark的Analytics Zoo大数据分析和AI 平台,以端到端的方式,帮美的工业视觉检测云平台快速、敏捷地构建从前端数据预处理,到模型训练、推理,再到数据预测、特征提取的深度学习全流程。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

值得一提的是,Analytics Zoo在模型重定义阶段,不仅可以执行参数调整,并可加速模型推理速度,通过与英特尔至强可扩展处理器的配合,数据显示,云平台的模型推理时间已从 2秒缩短到124毫秒4。

最后,Awwnalytics Zoo还对命令行模式与 Web Service 模式提供了良好支持,这使得云平台可与美的其他应用系统实现平滑的对接。

整体结果上,项目部署周期缩短了57%,人工成本减少70%,推理时间从2秒缩短至124毫秒。

美的方面也反馈称,效益显著,正着手复制到所有产线。

经验二:需要软硬件一体化支持

美的工业视觉检测系统打造中,一方面是软件如Awwnalytics Zoo平台的能力,另一方面也有英特尔至强平台的计算加持。

而这种软硬件一体化支持,也是英特尔在AI+传统行业落地中的另一大经验,在所有落地案例中均有涉及,但在AI+医疗方面,或许更能说明问题。

这家名为 西安盈谷的医疗公司,就是代表例证。

他们基于英特尔软硬件,打造了一套医疗智能化辅助诊断系统。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

近年来,医学影像技术蓬勃发展,有助于医生对患者的病情进行更为细致和精确的检查,堪称医患双方共同的福音。

但依然面临资源配置、影像技术系统和专业医师人才方面的挑战。

比如海量医学影像数据的读片和分析还只能依靠人力,数量有限的专家级医生,为此消耗大量时间和精力,且无法在长时间工作时保持理想的效率和准确率。

所以西安盈谷网络,就是将其专业医学影像核心技术和产品,与云计算、大数据和人工智能等技术结合起来,凝聚成高效智能的医疗智能化辅助诊断能力,来助力广大医疗机构提升诊疗效率及质量。

在西安盈谷的计划中,智能化辅助诊断系统在未来将针对人体的各个生理系统,具备数百种人工智能检测模型。目前,其人工智能医学图谱初稿中就已定义了约 984 种疾病与医学检测数据的关联关系。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

同时,该系统还基于自然语言处理能力,创建了报告智能助手,可协助医生更加高效地撰写高质量检查报告。

整个合作落地中,英特尔的技术加持,分为两方面。

一方面,输出了英特尔至强可扩展处理器。作为英特尔最新一代处理器产品,英特尔至强可扩展处理器不仅拥有强大的通用计算能力,还为智能化辅助诊断系统提供并行计算能力。

系统中涉及的大量影像处理、人工智能处理,都对并行计算能力有严苛要求,而至强可扩展处理器集成的英特尔高级矢量扩展512,正是增强单指令多数据流(Single Instruction Multiple Data,SIMD)执行效率的关键技术。

而英特尔至强可扩展处理器对通用计算能力和并行计算能力的兼顾,非常有助于系统应用负载的整合。

测试结果显示,在处理能力上,两台基于该处理器的服务器所支撑的虚拟机数据量,可以达到原先平台的 2.5 倍,这可大大降低用户的总拥有成本(Total Cost of Ownership, TCO)。

盈谷方面也分享说,原先系统渲染用一种GPU板卡,人工智能计算用另一种GPU板卡,业务处理则用通用处理器,成本很高且维护复杂。现在只需部署至强就可全部搞定。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

当然,硬件加持的另一面是软件架构优化助力。

英特尔对Caffe、Tensorflow等人工智能框架的优化,也进一步提升了西安盈谷智能化辅助诊断系统的功效。

以针对英特尔技术优化的RFCN模型为例,模型优化裁剪融合带来了近30%的性能提升,而进一步优化 OpenMP多线程实现方案后,其性能还能再提升40%-50%。

此外,面向深度神经网络的英特尔数学核心函数库(英特尔 MKLDNN)的加入,也帮助该系统向全面人工智能化迈出了更加坚实的一步。这一工具主要通过以下三个方面来提升人工智能模型的性能:

  • 使用 Cache Blocking技术优化数据缓存,提高数据命中率。
  • 对神经网络中的常用算子进行并行化与向量化优化。
  • 使用Winograd算法级优化。

英特尔这些软、硬件技术的配合和调优,让西安盈谷智能化辅助诊断系统具备了更为理想的性能表现,并赢得了用户的一致好评——有来自一线部署的测试数据表明:以单幅胸部 Dicom 数据执行 RFCN 模型为例,使用至强金牌6148处理器时,可比使用主流GPU的耗时降低10%。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

经验三:用AI活用传统场景大数据

在把AI带入传统行业过程中,最不缺的是“数据”,但最考验技术的也是大数据的分析应用。

比如快递物流,整个系统运转过程中,每一个流程节点都有大量的数据需要分析处理,一旦应用得当,就能让效率显著提升。

韵达的合作中,英特尔就利用软硬件产品组合,实现了三大关键流程上的AI优化:

  • 在分拨中心实现大小件测量的全流程AI处理。
  • 在资源配置上实施更精准的AI件量预测。
  • 在数据中心内实现基于AI分析的数据中心异常检测。
AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

如果不深入该领域,可能不会关注到“大小件”带来的数据优化和效能提升可能。

在物流快递行业中,快递件的体积测量是韵达各分拨中心的核心工作内容之一。

通过对快件的体积进行预判,分拨中心工作人员可以给出更为合理的分拣、装车和配送规划,来降低单件配送时长及单公斤成本。

传统的方式,是分拨中心采用人工方式来进行判别,不仅费时费力,还可能出现较大误差。

于是如果加持AI,利用机器视觉技术来提升测量的效率与质量——通过装备在分拨中心输送系统上的高拍仪,AI 应用会采集快件的图像信息,并传送到后端服务器进行测量,就能更好分析数据实现优化。

比如在测量完成后,分析后数据返回至输送系统,指导决策,按不同大小的快件送至合适的分拣和装车处。

英特尔分享,在该过程中,Analytics Zoo平台提供的图像分类技术在其中起到了关键作用。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

利用该平台内置的图像识别模型,AI应用首先能够提取出待测量的快件轮廓,进而通过平台提供的 TensorFlow等深度学习框架,结合英特尔至强可扩展处理器提供的算力,完成从模型训练、模型重定义到模型推理的AI处理全流程,最终获得准确的大小件测量数据。

基于此,韵达还在进一步地利用深度学习算法来进行运筹优化。

例如其将装车过程抽象为经典的“切箱问题”,也就是当不同大小的快件到来之际,要规划好摆放的次序、朝向和位置,来使装件量最大化,从而尽可能降低运输成本。

在英特尔的协助下,韵达AI团队利用深度学习的结构来表述这一问题的各个状态,并在其后加上强化学习的方法,将这一启发式的策略学习出来,其应用效果,甚至优于传统的运筹优化方式。

在件量预测、数据中心异常检测等方面,英特尔提供的软硬件一体化支持,也同样在发挥作用,特别是大数据分析技术和至强提供的算力,还具备了规模化迁移部署的能力。

并且对于韵达这样的快递公司来说,之前的“死数据”,现在都能被“活用”。

还因为关键流程上的AI化,带动了更多流程进一步降本增效,并且为更高层级的自动化提供了前提。

此外,在AI赋能的过程中,被关注最多的是模型训练和推理过程,往往忽略了数据存储也已成为不容忽视的前奏一环。

身处电商核心一环的 京东,是英特尔分享的另一个重要案例。

京东的核心场景是图像分析和处理。从京东的完整产品目录中提取图像特征,目录中涵盖电脑、玩具和服饰等多种类别,产品数量多达数亿件。

这就需要为图像分析创建高性能的基础设施,该基础设施需要可扩展以应对不断增长的数据库。

在此基础上,还得进一步构建易于开发、且可用于创建新图像分析应用的云分析平台。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

起初,京东使用了GPU进行部署。

但挑战也很快出现。一方面,在存储设备和GPU分析集群之间复制数据占用了总处理时间的一半。其次,开始尝试使用GPU进行加速时,发现难以进行开发和执行。

具体是在集群环境中,京东遇到了常见的内存不足错误,以及因GPU内存不足而导致的程序崩溃。

事实证明,在集群中以GPU卡为单位的资源管理和分配工作非常复杂,容易出现错误。在多GPU服务器情况下,京东的开发人员不得不手动管理数据分区、任务均衡和容错。另外还存在诸多依赖性(如CUDA),使生产部署变得十分困难。

在GPU中执行图像处理时,还会出现延迟——由于将数据从分布式大数据存储库复制到GPU进行分析,然后再将结果复制回来需要花费时间。

这部分流程所耗费的时间占特征提取总时间的一半。

而目前图像预处理也具有很大的挑战性,因为目前还没有软件框架可支持资源管理、数据处理和容错。

因此,京东需要一个能够以可扩展和可持续的方式,为图像数据库的特征提取流水线提供支持的基础设施。

于是几经辗转后,京东用CPU代替GPU,在基于至强Spark集群上,它可以横向扩展至数百或数千台服务器。

然后通过BigDL——面向Apache Spark的分布式深度学习库,能够加载之前已使用GPU资源训练好的Caffe模型,并在现有CPU图像存储架构上重新部署这个模型。

最终,性能提高了3.83倍。

无独有偶,随着AI进一步与更多行业结合,为AI训练和超算定制高性能存储,也成为越来越多公司的需求和机遇。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

比如 百度智能云,在云服务推进中,打造了一套全闪对象存储方案,导入QLC固态盘+傲腾固态盘组合,专攻AI训练、大数据和高性能计算。

并且效果也能拿数据说话:

  • 文件数据增加10倍、QPS和延迟波动保持在5%以内。
  • TCO降低60%。
  • 用户业务效率提升1-3倍。

经验四:新领域探索,AI ≠ 深度学习

第四大经验,AI落地不仅要解决当前的痛点,也要基于现状着眼长远。

英特尔最后分享的实践经验中,特别强调的是与 南京大学周志华教授团队在 深度森林方面的合作成果。

在过去数年中,由于深度学习的空前成功,很多人已经将深度神经网络和AI划上了完全等号。

然而实际上,囿于神经网络算法的特性,深度学习在离散的、非连续可微的数据集上的训练效果并非最优。

同时,它也存在需要海量标注数据、理论分析困难以及过于依赖超参数等短板。

为此,专攻AI的科学家们正推陈出新,积极探寻更多、更新的AI研究方法。

深度森林方法,就是其中较为知名且不断展现成果的新探索。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

周志华教授团队提出的深度森林方法,以多层级决策树森林集合的方式另辟蹊径。

通过实验室及真实应用场景的论证,深度森林被证明在金融数据分析、情感分类等需要离散建模、混合建模或符号建模的应用场景中,可取得比深度神经网络更优异的效果。

并且由于深度森林对并行计算的需求远大于矩阵计算,而这正是拥有众核、高频特性的英特尔架构处理器的擅长之处。

因此深度森林从发轫之初,就跟英特尔的AI算力迅速相辅相成。后者提供算力支持,也通过吸收周志华团队的结果反馈,对软件、编译器等实施持续优化。

虽然深度森林相比深度学习是更前沿的探索和研究,但落地也已经开始。

通过与蚂蚁金服进行的合作,深度森林再次被验证可在大规模金融风控任务处理上取得良好效果,进而帮助用户避免不必要的经济损失。

之前还有专门研究成果论文,介绍双方团队在“现金支付欺诈的自动检测”这一任务上,对深度森林的训练效果的验证。

此外,相比深度学习,深度森林在模型可解释性方面也更优秀和高效,于是在要求极高的互联网金融领域,开始得到更多应用和试水。

对于英特尔和CPU来说,深度森林展现的潜力,也是其未来更大可能性的表现之一。

随着深度学习日渐走向“圆满”,而AI落地中需求不断增加,伴随深度森林从“幼苗”开始的CPU,可能会在下一阶段放出更大光亮。

这或许也是英特尔与南京大学在2018年9月正式成立“人工智能联合研究中心”的原因,推动前沿探索,进一步助力AI技术落地,帮助中国AI产业实现真正意义上的“质变”。

AI发展进入2.0时代!英特尔在落地中总结4大经验、分享7个案例

总结:落地见真章

最后,概括而言,对于AI计算的关注,是时候从跑分、性能参数的比较,进入到效能变革幅度的对比。

因为AI发展,已经进入了落地为王的竞争,而且只有真正落地,才能最终兑现AI价值。

落地中见问题,落地中见真需求,落地中也才能见真章。

AI计算的竞争,已经来到了2.0时代。

— 完 —

https://www.toutiao.com/i6734525145307693571/

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-2656736/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
行万里路,读万卷书,阅无数人。 吃货一枚,爱吃湘菜,川菜,粤菜与杭帮菜,尝遍天下美食。 摄影爱好者,游遍名川大山,江河胡海,赏遍人间春色。 爱看影,尤其是港片,好莱坞大片。英文名:DicksonJin, 网名:风一样的BOY。精通SAP供应链咨询。2017年开始研习人工智能。

注册时间:2014-08-27

  • 博文量
    2135
  • 访问量
    3243984