首页 > 最新资讯 > Google Cloud全面推出NVIDIA T4 GPU 实现机器学习的高效拓展
Google Cloud全面推出NVIDIA T4 GPU 实现机器学习的高效拓展

Google Cloud全面推出NVIDIA T4 GPU 实现机器学习的高效拓展

2019-05-09 09:00

#深度学习


近日起,google cloud 面向全球各地推出nvidia t4(立即免费试用) gpu,为包括高性能计算(hpc)、机器学习训练及推理、数据分析和图形处理等在内的各类云工作负载提供加速。今年1月,google cloud宣布推出了nvidia t4 gpu公测版,帮助客户以更快的速度和更低的成本运行推理工作负载。今年四月早些时候,在google next \'19上,google cloud宣布在八个地区率先推出nvidia t4,使google cloud成为全球第一家基于nvidia t4提供服务的主要供应商。

 

注重速度与成本效益

 

每个t4 gpu都拥有16 gb的gpu内存,提供多精度(或数据类型)支持(fp32,fp16,int8和int4),具有可为训练提供加速的nvidia tensor核心,以及可用于更快速的光线追踪rtx硬件加速平台。用户可以使用四个t4 gpu、96个vcpu、624 gb主机内存和高达3 tb的服务器本地ssd,来搭建最能满足其需求的自定义vm配置。

 

自发布之时,在抢占式vm实例上,t4实例的售价仅为每gpu每小时0.29美元。按需实例的售价为每gpu每小时0.95美元起,而且持续使用还可享受高达30%的折扣。

 

可用于训练和推理的tensor 核心

 

凭借nvidia turing架构,t4 gpu引入了第二代tensor核心。tensor 核心首次亮相于nvidia v100 gpu之上(google cloud平台(gcp)也提供基于nvidia v100 gpu的服务),支持混合精度,可以为在机器学习工作负载中普遍采用的矩阵乘法运算提供加速。如果您的训练工作量还未达到需要使用功能更加强大的v100的程度,那么t4将能够以更低的价格为您提供tensor 核心的加速优势。t4非常适合应用于大规模训练工作负载中,特别是当您扩展更多资源来加快训练或训练更大的模型的时候。

 

tensor核心也可以为推理提供加速,或运用机器学习模型加速生成预测,以实现低延迟或高吞吐量。当以混合精度启用tensor核心时,与仅以fp32运行相比,借助于tensorrt, gcp上的t4 gpu可以将resnet-50的推理速度提高10倍以上。受益于全球供货和谷歌的高速网络,gcp上的nvidia t4能够以高性价比,为那些需要高效运作的全球性服务供应商提供服务。例如,snap inc. 就在使用nvidia t4为其全球用户群创建更有效的算法的同时,保持了低成本。

 

“snap的货币化算法对我们的广告客户和股东有着最显著的影响。借助于gcp上由nvidia t4赋能的gpu,我们提高了我们的广告效率,与仅使用cpu的方式相比,成本也得到了降低。”

— nima khajehnouri, sr. director, monetization, snap inc.

 

gcp 的机器学习基础设施让google与nvidia强强联手。

 

借助于google cloud上的深度学习vm镜像(deep learning vm images),可以在nvidia t4 gpu上快速启动和运行机器学习模型的训练和服务推理工作负载。这些应用包括了您需要的所有软件:驱动程序,cuda-x ai库,以及主流ai框架,如tensorflow和pytorch。此外,google cloud会为您进行软件更新,使您不必再为了兼容性和性能优化的问题额外费心。您只需创建一个新的compute engine实例,选择您的镜像,单击start,几分钟后,您就可以访问和启用您的由t4赋能的实例。您也可以在google cloud的ai平台上启动您的实例,这是一个端到端的开发环境,可帮助机器学习开发人员和数据科学家在任何地方构建、共享和运行机器学习应用程序。一旦准备就绪,只需几行代码,您就可以借助于tensor核心的自动混合精度实现加速。

 

规模效益

 

nvidia t4 gpu还能为hpc批量计算和渲染工作负载带来卓越的性能和效率,将大规模部署的效用价值最大化。一位来自于普林斯顿大学(princeton university)的神经科学研究人员对t4的独特价格和性能有着这样的说法:

 

“我们很高兴能够与google cloud合作,为神经科学带来了一项里程碑式的成就:重建立方毫米新皮层的连接组。能够使用数千个由kubernetes engine驱动的t4 gpu是件令人十分兴奋的事情。凭借这些计算资源,我们能够追踪长达5公里的神经元布线,并在微小体积范围内识别十亿个突触。”

— sebastian seung,普林斯顿大学

 

gcp上的quadro虚拟工作站

 

t4 gpu也是运行虚拟工作站的绝佳选择,能够为工程师和专业创意人员提供支持。借助于gcp marketplace中的nvidia quadro虚拟工作站,用户可以运行基于nvidia rtx平台的应用程序,能在任何地方体验新一代计算机图形技术,包括实时光线追踪和ai增强型图形,以及视频和图像处理。

 

“通过google cloud访问nvidia quadro虚拟工作站,使得我们的客户在任何地方都能快速部署并开始使用autodesk软件。对于某些工作流程,运用nvidia t4和rtx技术的客户能在渲染场景、创建逼真的3d模型和仿真的时候看到很大的不同。我们很高兴继续与nvidia和google合作,为艺术工作流程带来更高的效率和速度。”

—eric bourque, senior software development manager, autodesk

相关新闻