预训练混合架构模型的电影场景分割方法

目的随着电影内容的复杂化与多样化，电影场景分割成为理解影片结构和支持多媒体应用的重要任务。为提升镜头特征提取和特征关联的有效性，增强镜头序列的上下文感知能力，提出一种混合架构电影场景分割方法（hybrid architecture scene segmentation network， HASSNet）。方法首先，采用预训练结合微调策略，在大量无场景标签的电影数据上进行无监督预训练，使模型学习有效的镜头特征表示和关联特性，然后在有场景标签的数据上进行微调训练，进一步提升模型性能；其次，模型架构上混合了状态空间模型和自注意力机制模型，分别设计Shot Mamba镜头特征提取模块和Scene Tr... View More