2883.
目的 多示例学习是解决弱监督视频异常事件检测问题的有力工具。异常事件发生往往具有稀疏性、突发性以及局部连续性等特点,然而,目前的多示例学习方法没有充分考虑示例之间的联系,忽略了视频片段之间的时间关联,无法充分分离正常片段和异常片段。针对这一问题,提出了一种长短期时间序列关联的二阶段异常检测网络。
方法 第 1 阶段是长短期时间序列关联的异常检测网络(long-and-short-term correlated mil abnormal detectionframework,LSC-transMIL),将 Transformer 结构应用到多示例学习方法中,添加局部和全局时间注意力机制,在学习不同视频片段间的空间关联语义信息的同时强化连续视频片段的时间序列关联;第 2 阶段构建了一个基于时空注意力机制的异常检测网络,将第 1 阶段生成的异常分数作为细粒度伪标签,使用伪标签训练策略训练异常事件检测网络,并微调骨干网络,提高异常事件检测网络的自适应性。
结果 实验在两个大型公开数据集上与同类方法比较,两阶段的异常检测模型在 UCF-crime、ShanghaiTech 数据集上曲线下面积(area under curve,AUC)分别达到82. 88% 和 96. 34%,相比同为两阶段的方法分别提高了 1. 58% 和 0. 58%。消融实验表明了关注时间序列的 Transformer 模块以及长短期注意力的有效性。
结论 本文将 Transformer 应用于时间序列的多示例学习,并添加长短期注意力,突出局部异常事件和正常事件的区别,有效检测视频中的异常事件。… …
相似文献