GPU模型推论效能升级 边缘运算装置AI更强大

分享到:
188
下一篇 >
GPU模型推论效能不断提升,各种边缘运算装置上所内建的人工智能(AI)能力也变得更加强大。 NVIDIA旗下软件目前已可协助客户做8位与16位的神经网络运算优化,不仅让GPU模型的推论(Inference)更形完善,同时对硬件资源的需求也明显降低,只需要一小块电路板就能支持AI算法。

针对边缘运算日益渐增的需求,NVIDIA近期推出了新款开发版Jetson TX2,将整套人工智能系统缩小在一块电路板之上,为商用无人机、工业机械、智能型摄影设备等领域,提供进阶的导航、影像与语音识别功能。 相较前一代产品Jetson TX1,Jetson TX2的效能提升了两倍,耗电量则不到7.5瓦,能源效率提升了两倍多。 这让Jetson TX2可在终端装置上运行更大、更深的神经网络,进而开发出更高智能化的装置,并提升影像分类、导航以及语音识别等作业的精准度与反应速度。

NVIDIA技术营销经理苏家兴表示,对于训练好的模型,NVIDIA也提供Tense RT软件来协助客户做模型优化、缩小化,其支持整数8位与浮点数16位的运算。 目前的主流是以32位的运算去做训练,该16位运算也就减少了一半,增加了一倍的效能,8位则增加了四倍的效能,因此在模型推论上能运作的更好。

苏家兴进一步表示,无论是软件还是硬件公司,都需要对训练好的深度学习模型进行优化,除了边缘设备会采用缩小化的模型,在服务器与数据中心端,也会有某些情境需要采用这些优化过的模型去做推论。 举例而言,Facebook、百度在做语音识别的推论时,若能透过优化的模型让运作更快,势必能让消耗的功耗越少。

不过,也并不是所有的应用都适合做前端边缘运算。 以AlphaGo来看,其是以32台服务器在做运算,因AlphaGo运算量非常大,所以就不太可能进行边缘运算,因1台服务器与32台服务器运算的精准度,**是有差异的。 若以语音识别来看,即便可以同时采用在线与脱机的方式进行,但精准度也势必会有落差。

苏家兴指出,应用开发商必须尽快分辨出哪些运算任务适**用边缘运算,哪些部分还是得留在服务器端执行。 举例来说,当无人机飞到有些没有网络的地方,便必须运用边缘运算,设计出可承载范围内的推论。 NVIDIA相信,未来数据中心与边缘运算将会并存,但在瞄准的应用上必定会有所不同。

你可能感兴趣: 业界新闻 GPU AI NVIDIA 语音识别
无觅相关文章插件,快速提升流量