关于Easy AI Workflow Solution,其中以下几点是否有专门的设计用意?PaddlePaddle使用kuberbetes容器,Inget task使用hadoop和mongodb,Pre&Eval task使用Spark框架。
百度AI技术生态部高级算法工程师赵鹏昊:
关于Easy AI Workflow Solution的设计,我们主要考虑到稳定性、可扩展性以及成熟性等方面。在数据存储上,我们用的是hdfs,mongodb,这些都是在分布式系统和分布式DB中比较公认的,而且有很多实践经验的系统,在数据处理方面,spark也是这样的一个分布式系统。我们之所以使用Kubernetes和PaddlePaddle,是由于它们有很成熟的解决方案,同时也非常稳定和易用。