连续关键帧人物行为分析的特点以及深度学习在视频编解码方面的应用
西安交通大学人工智能与机器人研究所博士陶小语:
1,单纯对行为识别而言,简化了问题,一段视频包含一段确定的动作,label唯一确定,缺少环境干扰。难点在于如何自动识别关键帧,如何得到具有判别力的特征,如何编码并融合temporal和spatial的信息,基本套路是two-stream (rgb+optical flow/motion vector),CNN-LSTM做长序列,video segment,detection proposal,3D conv,还有近期的non-local nn
2,深度学习在视频编解码方面主要做图片、视频的压缩。