NVIDIA vGPU赋力京东智联云，满足多种应用场景
2020-09-03 21:43
分享到微信
分享到微博
作为云计算的基础服务单元，云主机基于CPU虚拟化技术实现了CPU计算能力的多虚机共享，而借助虚拟GPU（vGPU）技术，则进一步实现了GPU计算能力的多虚机共享。二者结合，可提供更丰富的计算实例类型，用户在云上可以根据负载选择算力匹配的实例规格，满足多种异构计算场景，降低云上GPU使用成本。
NVIDIA vGPU借助软件通过分片虚拟化技术将物理GPU卡重新划分，分割后的vGPU具有相应划分比例的计算能力和显存，同一块GPU卡经虚拟化分割后可分配至不同的云主机使用。比如，具有24GiB显存的NVIDIA Tesla P40，在以1:6的比例分割时，虚拟化后的vGPU具有接近整卡1/6算力的计算能力和4GiB显存。
京东智联云：
基于NVIDIA vGPU，满足多种负载场景
京东智联云（JD Cloud & AI）是京东集团旗下的智能技术提供商，现已推出基于NVIDIA vGPU的虚拟化型GPU云主机实例，提供面向图形工作站和计算密集型负载两类主要场景的vGPU实例规格。
Q类型（Quadro vDWS）适用于游戏影视行业的实时渲染、图形图像处理和建筑工业设计等专业图像处理场景，C类型（Virtual Compute Server）适用于AI、深度学习、高性能计算等场景。
每种vGPU类型均搭载NVIDIA® Tesla® P40，支持1/2、1/4、1/6 三种划分粒度，并提供多种CPU、内存配置组合。vGPU实例具有丰富的算力粒度，用户可根据应用负载情况按需灵活选择，极大的节约使用成本。
Q类型（Quadro vDWS）vGPU实例规格：
C类型（Virtual Compute Server）vGPU实例规格：
详细产品规格请前往京东智联云官方文档查阅。
NVIDIA vGPU：多种类型，灵活授权
与物理GPU卡不同的是，NVIDIA vGPU面向不同的场景，提供四种类型产品。每种类型vGPU运行时需要相应的软件授权（License），对操作系统的要求也有所区别。
除此之外，不同类型的vGPU产品在诸多功能特性上也有所差异，详细说明可以前往NVIDIA官网查阅。
在授权方式上，vGPU云主机运行后会向预先配置的License Server服务器发起授权请求，成功获取License后会以标准性能运行，如获取License失败将会在性能受限的模式下运行直至获得授权。vGPU云主机只有在运行时才会消耗License，主机停止或释放时，License会被License Server自动回收。
vGPU License需要向NVIDIA申请购买，购买后登录https://ui.licensing.nvidia.com进入管理控制台，通过配置MAC地址为指定的License Server分配特定数量的License并生成许可证文件，将文件导入至License Server中即可完成配置。
针对场景按需选择，
合理利用GPU资源
直通模式下受限于物理GPU卡的使用限制，单台云主机至少搭载一块GPU，物理服务器GPU的数量又决定了CPU和内存的分配比例，因此对于轻量型GPU业务来说会存在大量的计算资源浪费。
在vGPU技术面世以前，云上GPU云主机大多采用直通模式（GPU passthrough），直通模式下GPU绕过操作系统，作为物理设备直接提供给虚拟机使用，由于没有设备的模拟和转换过程因此性能损失极小，能够满足多数大规模并行计算场景。
但是，直通模式下受限于GPU卡的物理使用限制，单台云主机至少搭载一块GPU，物理服务器GPU的数量又决定了云主机CPU和内存的分配比例，如业务在多数运行时间对GPU算力需求较少，会存在大量的计算资源浪费。因此，GPU核心平均使用率较低的轻量型GPU应用，非常适合选用vGPU规格主机来进行部署。
轻量型模型推理服务
深度学习场景下，在线推理所需的GPU资源往往少于离线训练，但是工作负载受线上业务影响会存在一定波动，高峰时期会有大量并发。此类业务部署时可以根据工作负载选择合适的vGPU规格主机作为集群的最小部署单元，以使得集群计算能力更贴合实际计算力需求曲线，提高GPU资源的使用率，优化成本。
京东商城线上卡证识别业务（OCR）从单卡规格主机迁移至1/4卡规格主机后，极大的提高了GPU主机的使用率，每月云上GPU费用节省2/3，有效降低了资源消耗成本。
教学、开发场景
高校及教学机构在开展AI相关课程时，需要提供搭载GPU的服务器作为基础教学实践环境，参与课程的人员研究方向和业务水平各异，对GPU资源算力的需求也不尽相同，在云上根据教学任务按需申请不同规格的vGPU云主机和GPU云主机，既能满足各种场景下的资源需求，又可以节省教学资源。
京东智联云和贪心学院联合打造的 “自然语言处理实战训练营”，后端就采用了P40*1/2规格云主机作为训练集群，训练营吸引了包含哈佛、剑桥、清华、北大等多名顶尖高校学员在内的近200名AI领域的从业者和爱好者加入，为每位学员提供企业级的AI项目资源和基于京东真实场景的实战演练平台。
在NVIDIA vGPU虚拟化技术的助力下，京东智联云将继续依托京东集团在人工智能、大数据、云计算、物联网等方面的业务实践和技术积淀，提供包含公有云、私有云、混合云、专有云在内的多云、安全、可信赖的基础云服务，打造服务于数字企业、数字政府的多维场景解决方案，为客户创造价值。
NVIDIA vGPU借助软件通过分片虚拟化技术将物理GPU卡重新划分，分割后的vGPU具有相应划分比例的计算能力和显存，同一块GPU卡经虚拟化分割后可分配至不同的云主机使用。比如，具有24GiB显存的NVIDIA Tesla P40，在以1:6的比例分割时，虚拟化后的vGPU具有接近整卡1/6算力的计算能力和4GiB显存。
京东智联云：
基于NVIDIA vGPU，满足多种负载场景
京东智联云（JD Cloud & AI）是京东集团旗下的智能技术提供商，现已推出基于NVIDIA vGPU的虚拟化型GPU云主机实例，提供面向图形工作站和计算密集型负载两类主要场景的vGPU实例规格。
Q类型（Quadro vDWS）适用于游戏影视行业的实时渲染、图形图像处理和建筑工业设计等专业图像处理场景，C类型（Virtual Compute Server）适用于AI、深度学习、高性能计算等场景。
每种vGPU类型均搭载NVIDIA® Tesla® P40，支持1/2、1/4、1/6 三种划分粒度，并提供多种CPU、内存配置组合。vGPU实例具有丰富的算力粒度，用户可根据应用负载情况按需灵活选择，极大的节约使用成本。
Q类型（Quadro vDWS）vGPU实例规格：
C类型（Virtual Compute Server）vGPU实例规格：
详细产品规格请前往京东智联云官方文档查阅。
NVIDIA vGPU：多种类型，灵活授权
与物理GPU卡不同的是，NVIDIA vGPU面向不同的场景，提供四种类型产品。每种类型vGPU运行时需要相应的软件授权（License），对操作系统的要求也有所区别。
除此之外，不同类型的vGPU产品在诸多功能特性上也有所差异，详细说明可以前往NVIDIA官网查阅。
在授权方式上，vGPU云主机运行后会向预先配置的License Server服务器发起授权请求，成功获取License后会以标准性能运行，如获取License失败将会在性能受限的模式下运行直至获得授权。vGPU云主机只有在运行时才会消耗License，主机停止或释放时，License会被License Server自动回收。
vGPU License需要向NVIDIA申请购买，购买后登录https://ui.licensing.nvidia.com进入管理控制台，通过配置MAC地址为指定的License Server分配特定数量的License并生成许可证文件，将文件导入至License Server中即可完成配置。
针对场景按需选择，
合理利用GPU资源
直通模式下受限于物理GPU卡的使用限制，单台云主机至少搭载一块GPU，物理服务器GPU的数量又决定了CPU和内存的分配比例，因此对于轻量型GPU业务来说会存在大量的计算资源浪费。
在vGPU技术面世以前，云上GPU云主机大多采用直通模式（GPU passthrough），直通模式下GPU绕过操作系统，作为物理设备直接提供给虚拟机使用，由于没有设备的模拟和转换过程因此性能损失极小，能够满足多数大规模并行计算场景。
但是，直通模式下受限于GPU卡的物理使用限制，单台云主机至少搭载一块GPU，物理服务器GPU的数量又决定了云主机CPU和内存的分配比例，如业务在多数运行时间对GPU算力需求较少，会存在大量的计算资源浪费。因此，GPU核心平均使用率较低的轻量型GPU应用，非常适合选用vGPU规格主机来进行部署。
轻量型模型推理服务
深度学习场景下，在线推理所需的GPU资源往往少于离线训练，但是工作负载受线上业务影响会存在一定波动，高峰时期会有大量并发。此类业务部署时可以根据工作负载选择合适的vGPU规格主机作为集群的最小部署单元，以使得集群计算能力更贴合实际计算力需求曲线，提高GPU资源的使用率，优化成本。
京东商城线上卡证识别业务（OCR）从单卡规格主机迁移至1/4卡规格主机后，极大的提高了GPU主机的使用率，每月云上GPU费用节省2/3，有效降低了资源消耗成本。
教学、开发场景
高校及教学机构在开展AI相关课程时，需要提供搭载GPU的服务器作为基础教学实践环境，参与课程的人员研究方向和业务水平各异，对GPU资源算力的需求也不尽相同，在云上根据教学任务按需申请不同规格的vGPU云主机和GPU云主机，既能满足各种场景下的资源需求，又可以节省教学资源。
京东智联云和贪心学院联合打造的 “自然语言处理实战训练营”，后端就采用了P40*1/2规格云主机作为训练集群，训练营吸引了包含哈佛、剑桥、清华、北大等多名顶尖高校学员在内的近200名AI领域的从业者和爱好者加入，为每位学员提供企业级的AI项目资源和基于京东真实场景的实战演练平台。
在NVIDIA vGPU虚拟化技术的助力下，京东智联云将继续依托京东集团在人工智能、大数据、云计算、物联网等方面的业务实践和技术积淀，提供包含公有云、私有云、混合云、专有云在内的多云、安全、可信赖的基础云服务，打造服务于数字企业、数字政府的多维场景解决方案，为客户创造价值。
