短视频场景中的广告推荐,如何利用T4的特性来设计和优化算法以提升推理效率?如何有针对冷启动场景的案例就更好了?
NVIDIA数据科学家徐添豪:
在整个pipeline当中视频会去被模型理解,然后输出一些内容来提供给推荐系统,这样其实就分两部分,一部分是关于视频理解的,可以去做基于T4的推理,然后是关于推荐系统,其实推荐系统我们也有一套方案。我们早先北京的团队做了一个叫数据CTR,用于广告推荐的,你可以去Github了解一下这个项目,它可以在CPU和GPU的异构情况下去做embedding还有nlp这样子加速。这里的加速其实包含了IO部分计算效率的提升。可以参考一下这个方案,我理解冷启动的场景的话,其实是跟你的业务比较绑定。这边的话我也没有太多系统性的案例来介绍。