侯静怡
- 作品数：3 被引量：5H指数：1
- 供职机构：北京理工大学计算机学院智能信息技术北京市重点实验室更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于隐任务学习的动作识别方法被引量：1
- 2017年
- 提出一种基于多分类隐任务学习的动作识别方法.将多个动作共享的一组子动作作为隐任务,通过对隐任务的联合学习来建模动作之间的关联,从而训练动作分类器并对视频中人的动作进行识别.利用基于softmax的多分类模型学习多个动作之间的隐任务,能够有效防止动作识别过程中的二义性,同时计算简单,节省了模型训练时间.在UCF sports和Olympic sports数据集上的实验结果表明,本文提出的多分类隐任务学习方法在迭代一次的时间上从130s缩短至0.5s,并且能更有效地识别视频中的动作.
- 侯静怡刘翠微吴心筱
- 一种利用多分类隐任务学习的动作识别方法
- 本文提出一种利用多分类隐任务学习的动作识别方法，有效提高动作识别性能，加快计算速度。采用基于softmax分类器的多分类模型来学习多个动作类之间的隐任务，从而训练动作的分类器，对图像序列中人的动作进行识别。在UCF sp...
- 侯静怡刘翠微吴心筱
- 关键词：多任务学习
- 跨语言知识蒸馏的视频中文字幕生成被引量：4
- 2021年
- 视频字幕生成(video captioning)在视频推荐、辅助视觉、人机交互等领域具有广泛的应用前景.目前已有大量的视频英文字幕生成方法和数据,通过机器翻译视频英文字幕可以实现视频中文字幕的生成.然而,中西方文化差异和机器翻译算法性能都会影响中文字幕生成的质量.为此,本文提出了一种跨语言知识蒸馏的视频中文字幕生成方法.该方法不仅可以根据视频内容直接生成中文语句,还充分利用了易于获取的视频英文字幕作为特权信息(privileged information)指导视频中文字幕的生成.由于同一视频的英文字幕与中文字幕之间存在语义关联关系,本文方法从中学习到与视频内容相关的跨语言知识,并利用知识蒸馏将英文字幕包含的高层语义信息融入中文字幕生成.同时,通过端到端的训练方式确保模型训练目标与视频中文字幕生成任务目标的一致性,有效提升中文字幕生成性能.此外,本文还对视频英文字幕数据集MSVD扩展,给出了中英文视频字幕数据集MSVD-CN.
- 侯静怡齐雅昀吴心筱贾云得
