在实验开始之前,怎样有效的评估试验所需要的现存大小?如何有效的调整网络结构,降低算力成本?
复旦大学类脑智能科学与技术研究院青年研究员罗畯义:
在实验开始之前必须知道你的data 长什么样子,也就是说没有一个具体的评估方式,主要跟计算参数的量有关系,包含整体的一个搭建的网络结构,以及我们所使用这些网络的结构的这些参数的一个精度,希望能够计算阅读的东西,但是内存与合数又有限的情况下,会降低神经网络的一个能力,所以建议在设计网络结构的时候,先了解硬件的资源,但还要保证网络能够有足够多的参数,要保证能够得到过拟合的一个结果来进行参数的选取量。同时我们要尽量简化这个网络结构,针对data的特征,会有什么样的特征去逼近这个结果,很多时候是猜想到这个数据能够带给我们什么信息而去搭建网络的架构。