深度学习平台的模型部署一般具体如何实施,还有就是都需要注意哪些?
NVIDIA中国首席解决方案架构师罗华平:
这个问题可以这么来看,NVIDIA刚才也介绍了,可以提供一个端到端的解决方案,从训练到线上的推理,特别是在训练平台上,我们有自己的一体机。DGX系列有DGX-1的服务器以及DGX Station工作站系列,这个系列最大好处就是已经预装了操作系统,预装了针对GPU优化好的各种框架,Caffe、TensorFlow等等。这样用户部署起来就会非常简单,只需要简单的开启设施就可以选择你使用的深度学习框架,比如Caffe、TensorFlow等等,通过DOC的方式,只需把这个框架拉下来,就可以进行深度学习。
在训练的时候选择什么样的网络模型,要根据自己的实际情况来看,可以选择Google Net、AlexNet等网络模型上进行一些修改来适应你的深度学习目标。同时需要准备相应的数据才能够去进行训练。
除此之外,我们还提供一个叫做DIGITS,基于web UI的图形训练平台,它也可以在DGX服务器上运行。它可以通过图形界面的方式来选择你的神经网络模型,选择你的数据,你可以采用几个GPU来做训练,非常方便,训练的过程也可以通过图形化的方式显示出来。对于在训练这一端,如果用户对于这些框架的部署不是特别熟悉,建议你采用DGX一体机来做深度学习的训练。对于训练好的模型,可以用我们的TensorRT来进行优化以及部署到不同的GPU平台上去,我们可以支持嵌入式的平台DIGITS、TSPACTS2,也可以支持低功耗的GPU P4或者是其他的大功耗GPU等等。