Cast Fusion是前后两个op都是fp16所以可以fusion?
阿里巴巴高级算法工程师王梦娣:
总体上主要有两个维度,一个是Cast Elimination,一个是Cast Fusion。Cast Elimination是指前后两个节点正好可以从FP16转化为FP32的节点,同时有FP32转化为FP16的cast,这两个cast节点是相连的,类似于负负得正可以抵消,是这样的消除概念。Cast Fusion是指可能会有多出的一些cast节点,而前后的OP可以融合这些cast节点的Kernel实现,所以可以做一定的Fusion来减少额外访存开销。