2018年9月13日,NVIDIA推出首款基于新一代图灵架构打造的GPU——Tesla T4,采用多精度 Turing Tensor Core和全新 RT Core,用于机器学习和数据推理。
Tesla T4配备16GB GDDR6,带宽达到300GB/S。GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core,支持4 种不同精度等级的各类 AI 工作负载。性能方面,Tesla T4的FP32单精度浮点计算性能8.1TFlops(每秒8.1万亿次),FP16/32半精度和单精度混合计算性能65TFlops,INT8、INT4整数计算性能则是130Tops、260Tops。在此之前,NVIDIA曾推出过类似的 Tesla P4 ,但Tesla T4可在相同的功耗下,提供高达 12 倍的性能。
NVIDIA还提供了围绕 T4 的一系列技术,比如 TensorRT Hyperscale (人工智能数据中心平台)、专门针对图灵架构优化的CUDA 10。T4还支持 PyTorch、TensorFlow、MXNet、以及 Caffee2 等主流的深度学习框架。
12月7日晚8点,智东西联合NVIDIA推出超级公开课NVIDIA专场第16讲,由NVIDIA 中国区HPC/DL 解决方案架构师程帅主讲,主题为《基于图灵架构的Tesla T4如何让AI推理更高效》。
课程信息
主题:基于图灵架构的Tesla T4如何让AI推理更高效
时间:12月7日
地点:「深度学习」社群、智东西公开课小程序
课程内容
主题:基于图灵架构的Tesla T4如何让AI推理更高效
讲师:NVIDIA 中国区HPC/DL 解决方案架构师程帅
提纲
1.当前线上推理端的困境
2.新一代硬件推理平台T4 GPU架构剖析
3.线上自动优化工具TensorRT5特性介绍
4.TensorRT Inference Server如何提高线上推理服务部署效率
讲师介绍
程帅,NVIDIA 中国区HPC/DL 解决方案架构师,在HPC和DL领域有多年的架构方案经验,支持过国内多个大型HPC 数据中心以及多家大型CSP中DL集群设计。
入群路径
本次课程我们将设置主讲群,讲师将亲自入群交流。希望进入主讲群与老师认识和交流的朋友,扫描海报上的二维码添加智东西公开课联络员“动动(zhidxzb)”为好友,添加时请备注“姓名-公司-职位或姓名-学校-专业”,申请进入主讲群。
社群规则
1、智东西社群坚持实名学习、交流和合作,入群后需要修改群昵称为:姓名-公司-所在领域,违者踢群;
2、禁止在群内广告和发送二维码等无关信息,违者踢群。