如何快速进行服务器并行架构环境搭建?有什么好的教程?
西安交通大学人工智能与机器人研究所博士陶小语:
1,最快就是做数据并行,对数据分片,系统直接做多个副本;
2,选取易用的DL框架,像mxnet-gluon / pytorch;
3,先写个串行系统,测算各模块存储、带宽、资源利用率等,再根据服务器硬件平台结构设计并行方案。关于教程可以参照各DL框架的并行API,主要部分还是要针对专用任务设计。