ITPub博客

首页 > 人工智能 > 机器学习 > 接入Tengine,让你的AI应用飞起来

接入Tengine,让你的AI应用飞起来

机器学习 作者:dicksonjyl560101 时间:2019-06-06 09:48:35 0 删除 编辑


随着 AI 在技术发展中的不断突破和使用,越来越多的AI公司投入大量资源开发工具,芯片公司花大量精力做上层开发环境和平台,AI应用/算法公司投入大量人力做底层适配优化,这无疑是重复造轮子,消耗大量资源且整体效率低。而现有软件框架不能满足AIoT需求,训练框架依赖库众多,版本间兼容性差,效率低下,不适合嵌入式部署 ;AI框架与嵌入式芯片双重碎片化阻碍AIoT应用开发。

接入Tengine,让你的AI应用飞起来


如何创造性解决这些问题,加速产业协作,助力更多企业进入AI行业呢?


OPEN  AI LAB开发了一款轻量级模块化的高性能神经网络推理引擎-Tengine,专门针对Arm嵌入式设备优化,提供超过所有已知开源框架的无与伦比的性能,可跨平台使用支持Android,Linux。

并且Tengine框架不依赖于专用AI芯片,现有的成熟芯片通过Tengine框架可以把算力挖掘出来,在本地进行一些AI应用的处理,从而提高了芯片性能,并降低成本。


接入Tengine,让你的AI应用飞起来

Tengine -开放AIoT应用级别操作系统


2018年9月,与非网发布了一篇名为《Tengine,可能是最好用的Arm嵌入式系统AI框架了!》的文章,业内人士持续转发并引起巨大反响。 OPEN  AI LAB全体Tengine团队经过半年多的努力,现在我们可以坚定的说, “可能” 这两个字可以去掉了, Tengine是最好用的Arm嵌入式系统AI框架!

以下是原文(有修改):

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

☉有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼;

☉有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼;

☉有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼;

☉公司有几档产品采用不同芯片,每个芯片都有一套自己的接口,维护应用很烦。

OPEN  AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN  AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,是Arm中国周易平台的软件框架,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,周易AIPU,第三方DSP, 堪称兼容“全能王”

开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。 此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。

Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。


接入Tengine,让你的AI应用飞起来

嵌入式前端深度学习框架Tengine


Tengine的“发动机”——HCL计算库

HCL (Heterogeneous Compute Library) 是由 OPEN  AI LAB研发的异构计算库,专门加速Arm平台NN计算。


接入Tengine,让你的AI应用飞起来

HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变, 相比于开源届非常优秀的框架NCNN,最快还能带来2-3倍的性能提升,内存使用减少为三分之一。


接入Tengine,让你的AI应用飞起来

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试 NCNN数据为2018年9月7日

HCL INT8量化计算精度变化

Tengine独创的混合精度计算模式,带来用户体验和性能的最佳平衡。 开发者不需要对原始浮点模型做任何修改,只需要打开Tengine的量化计算开关,Tengine自动在运行时对进行量化和计算,大幅度提升推理性能。同时得益于混合精度计算,大多数模型的精度保持不变,非常实用。

接入Tengine,让你的AI应用飞起来

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果

Tengine + HCL,不同人群的量身定制

Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。

因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。

作为 OPEN  AI LAB为边缘AI应用部署开发的两大利器, Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。

查看与非网发布的原文《Tengine,可能是最好用的Arm嵌入式系统AI框架了!》https://www.eefocus.com/mcu-dsp/421293

OPEN  AI LAB 于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、算力、算法、应用和数据等产业链各层次的深度协作,加速人工智能产业化应用部署和应用场景边界拓展,为最终实现万物智能贡献力量。更多:


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-2646901/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
行万里路,读万卷书,阅无数人。 吃货一枚,爱吃湘菜,粤菜与杭帮菜,尝遍天下美食。 摄影爱好者,游遍名川大山,江河胡海,赏遍人间春色。 爱看电影,尤其是国产大片,好莱坞大片。英文名:Dickson Jin, 网名:风一样的BOY。精通SAP供应链咨询。2017年开始研习人工智能。

注册时间:2014-08-27

  • 博文量
    2559
  • 访问量
    4105360