ISC 2020 | NVIDIA树立了大数据分析新标杆
2020-06-22 20:37
NVIDIA所展示的标准大数据分析基准(TPCx-BB)性能是此前纪录的近20倍。
采用RAPIDS开源数据科学软件库套件,并使用由16台NVIDIA DGX A100系统组成的集群赋力,NVIDIA仅用了短短14.5分钟就完成了基准测试,而目前在CPU系统上运行的记录是4.7小时。该DGX A100集群系统共配置了128块NVIDIA A100 GPU,并配有NVIDIA Mellanox网络功能。
30个TPCx BB基准测试查询结果。RAPIDS在16台DGX A100系统上运行,为每个10TB测试查询提供上述相对性能提升。
所有系统齐头并进:
软件和硬件双管齐下,全面提升性能
如今,领先的企业机构使用AI获得洞见。TPCx-BB基准测试的特点是将SQL与结构化数据的机器学习、自然语言处理和非结构化数据相结合的查询,反映了现代数据分析工作流中的多样性。
这些非官方的结果指向了一个新的标准,而这一新标准背后所实现的突破是通过NVIDIA软件和硬件生态系统得以实现。
为了运行该基准测试,NVIDIA采用RAPIDS用于数据处理和机器学习,Dask用于水平扩展,使用UCX开源库进行超快速通信,所有这些软件工具都在DGX A100上得到了增强。
DGX A100系统能够高效地支持单一软件定义平台上的分析、AI训练和推理。DGX A100将NVIDIA最新一代基于Ampere架构的NVIDIA A100 Tensor Core GPU和NVIDIA Mellanox网络功能整合到一套易于扩展的完整系统中。
通过并行处理实现无与伦比的性能
TPCx-BB是用于实际ETL(提取、转换、加载)和机器学习工作流程的企业大数据基准测试。该基准测试的30个查询项目包含多种大数据分析用例,例如库存管理、价格分析、销售分析、推荐系统、客户细分和情绪分析。
尽管分布式计算系统都在稳步改进,但在CPU上运行时,运行如此大的数据工作负载仍会遇到瓶颈。在DGX A100上使用RAPIDS展示了GPU支持的TPCx BB基准的突破潜力,而这项基准测试过去一直只在CPU系统上运行。
在该基准测试中,RAPIDS软件生态系统和DGX A100系统可加速计算、通信、网络和存储基础设施。这一集成为数据科学工作负载的大规模运行树立了新的标杆。
高效的大数据级基准测试
在SF10000 TPCx-BB级别,NVIDIA测试可得出10 TB以上数据工作负载的结果。
在这种规模下,查询的复杂策划高难度会迅速增加执行时间,从而增加数据中心的支出,例如空间、服务器设备、电源、散热和IT专业知识等。而具有弹性的DGX A100架构可以解决这些问题。
借助来自NVIDIA硬件合作伙伴的全新NVIDIA A100 Tensor Core GPU系统,数据科学家们将甚至能够选择通过A100的突破性性能加速工作负载。
开源加速与协作
RAPIDS TPCx-BB基准是一个由众多合作伙伴和开源社区共同参与的项目。
TPCx-BB查询通过一系列Python脚本实现,这些脚本使用RAPIDS数据帧库、cuDF、RAPIDS机器学习库、cuML、CuPy、BlazingSQL和Dask作为主库。Numba被用于在用户定义的函数中实现自定义逻辑,spaCy被用于命名实体识别。
如果没有RAPIDS和整个PyData生态系统,就不可能取得这些结果。
采用RAPIDS开源数据科学软件库套件,并使用由16台NVIDIA DGX A100系统组成的集群赋力,NVIDIA仅用了短短14.5分钟就完成了基准测试,而目前在CPU系统上运行的记录是4.7小时。该DGX A100集群系统共配置了128块NVIDIA A100 GPU,并配有NVIDIA Mellanox网络功能。
30个TPCx BB基准测试查询结果。RAPIDS在16台DGX A100系统上运行,为每个10TB测试查询提供上述相对性能提升。
所有系统齐头并进:
软件和硬件双管齐下,全面提升性能
如今,领先的企业机构使用AI获得洞见。TPCx-BB基准测试的特点是将SQL与结构化数据的机器学习、自然语言处理和非结构化数据相结合的查询,反映了现代数据分析工作流中的多样性。
这些非官方的结果指向了一个新的标准,而这一新标准背后所实现的突破是通过NVIDIA软件和硬件生态系统得以实现。
为了运行该基准测试,NVIDIA采用RAPIDS用于数据处理和机器学习,Dask用于水平扩展,使用UCX开源库进行超快速通信,所有这些软件工具都在DGX A100上得到了增强。
DGX A100系统能够高效地支持单一软件定义平台上的分析、AI训练和推理。DGX A100将NVIDIA最新一代基于Ampere架构的NVIDIA A100 Tensor Core GPU和NVIDIA Mellanox网络功能整合到一套易于扩展的完整系统中。
通过并行处理实现无与伦比的性能
TPCx-BB是用于实际ETL(提取、转换、加载)和机器学习工作流程的企业大数据基准测试。该基准测试的30个查询项目包含多种大数据分析用例,例如库存管理、价格分析、销售分析、推荐系统、客户细分和情绪分析。
尽管分布式计算系统都在稳步改进,但在CPU上运行时,运行如此大的数据工作负载仍会遇到瓶颈。在DGX A100上使用RAPIDS展示了GPU支持的TPCx BB基准的突破潜力,而这项基准测试过去一直只在CPU系统上运行。
在该基准测试中,RAPIDS软件生态系统和DGX A100系统可加速计算、通信、网络和存储基础设施。这一集成为数据科学工作负载的大规模运行树立了新的标杆。
高效的大数据级基准测试
在SF10000 TPCx-BB级别,NVIDIA测试可得出10 TB以上数据工作负载的结果。
在这种规模下,查询的复杂策划高难度会迅速增加执行时间,从而增加数据中心的支出,例如空间、服务器设备、电源、散热和IT专业知识等。而具有弹性的DGX A100架构可以解决这些问题。
借助来自NVIDIA硬件合作伙伴的全新NVIDIA A100 Tensor Core GPU系统,数据科学家们将甚至能够选择通过A100的突破性性能加速工作负载。
开源加速与协作
RAPIDS TPCx-BB基准是一个由众多合作伙伴和开源社区共同参与的项目。
TPCx-BB查询通过一系列Python脚本实现,这些脚本使用RAPIDS数据帧库、cuDF、RAPIDS机器学习库、cuML、CuPy、BlazingSQL和Dask作为主库。Numba被用于在用户定义的函数中实现自定义逻辑,spaCy被用于命名实体识别。
如果没有RAPIDS和整个PyData生态系统,就不可能取得这些结果。