输出为FP32的话，那么下个layer的输入时，是要再从FP32转成FP16吗？

阿里巴巴高级算法工程师王梦娣：

是的，本质上人为改写模型时会出现大量的这种结构，比如前一层用的是FP32，后一层用的是FP16，你需要cast节点。如果设计的不够好，会产生大量的cast节点，这时可能整个性能都不太好，所以才触发了自动图改写的工作来保证图改写之后的性能。

问题来源