探智立方利用GPU实现高效模型自动设计,降低AI应用门槛
2018-12-07 01:00
探智立方是一家开发人工智能模型自动设计平台的公司,旨在降低人工智能的应用门槛,大量减低人工智能建模耗时耗力的过程。使各行业的IT人员,行业专家能更便捷的将人工智相关技术落地于各种适合并需要的场景中,减低企业所面临的人工智能人才及能力不足的普遍问题。其开发的DarwinML人工智能模型自动设计平台目前支持在CPU集群和NVIDIA GPU集群上进行分布式部署,并行效率超过90%,快速高效地实现大规模数据集的自动化模型。同时使用基于NVIDIA GPU加速的科学数学库RAPIDS进行数据预处理、清洗的加速,实现数据处理性能的提升。
探智立方主要基于AutoML理念,开发人工智能模型自动设计平台:DarwinML。利用DarwinML平台,可以降低人工智能的应用门槛,让各行业的IT人员,行业专家能更便捷的将人工智相关技术落地于各种需要的场景中,解决广大企业所面临的人工智能人才及能力不足的问题。
DarwinML是以机器学习及基因演化理论为基础的人工智能模型自动设计平台。该平台以演化的方式进行机器学习与深度学习模型的自动设计和优化,具备极佳模型生成与模型调优能力,可从“零”开始自动设计模型,图1是一个示例,描述了利用DarwinML产品对一个业务场景进行模型自动设计的过程,演化的过程会朝着越来越优化的方向发展。
图1
在传统的机器学习、深度学习模型的设计、开发过程中,流程如图2所示,其中在数据的特征提取、模型设计、训练及优化步骤需要消耗大量的人力,并且还需要专业的人员来进行处理,单个模型的设计、开发时间一般需要按月来进行规划。
图2
在采用DarwinML产品之后,这几个步骤可以由DarwinML产品自动完成,利用其强大的计算力来帮助用户轻松实现模型的设计、开发和验证的工作,如图3所示。
图3
DarwinML拥有自我学习的能力,在不断的模型演化过程中,可以保存发现的好的模型基因和高效的模型演化路径,在不断积累的过程中,提高模型演化的效率和所演化出模型的质量。
DarwinML自动演化模型的场景包括多个机器学习、深度学习的场景,如图4所示:
图4
在深度学习场景方面,目前包括了图像分类、图像识别、图像目标检测、图像分割、图像检索等,在对这些场景的数据进行模型演化过程中,利用NVIDIA Tesla P100、 V100 GPU的强大的计算力和稳定可靠的特性,能大大加快演化的过程,一般比CPU环境要快几十甚至更多倍;另外,可部署分布式GPU服务器环境,利用高效的集群通讯技术来加快演化的速度。如图5所示,在一个图片分类场景中,部署了4个节点,每个节点安装了4个Tesla P100 GPU,一共16个GPU参与模型设计。
图5
在该场景中,大约有50万张图片,8个分类;DarwinML在48小时内通过演化算法评测了超过200个网络,获得准确率、召回率都较高的网络,排名前4的模型网络显示如图6所示;对这些网络训练出来的模型进行评估,准确率和召回率都在95%以上。如果用CPU,DarwinML需要超过2周多的时间才能完成。另外经过用户对比,DarwinML自动生成模型的性能与Resnet50模型的性能基本一致,但DarwinML生成模型的大小只有5.1MB,而Resnet50模型的大小是180MB。
图6
DarwinML除了在模型演化过程中可以利用NVIDIA GPU的性能来加速,在模型确定后,部署到DarwinML Inference平台中,利用NVIDIA P4 GPU来提供高效的模型预测能力,同时借助Inference平台的集群式管理,提供方便的横向扩展能力,以实现模型预测的高吞吐、低延迟性能要求,同时DarwinML也支持高可用的HA部署方式。为满足客户的实时、高可用的预测业务需求保驾护航。