王晗 作品数:13 被引量:20 H指数:2 供职机构: 北京林业大学信息学院 更多>> 发文基金: 中央高校基本科研业务费专项资金 国家自然科学基金 国家林业公益性行业科研专项 更多>> 相关领域: 自动化与计算机技术 文化科学 机械工程 天文地球 更多>>
针对用户兴趣的视频精彩片段提取 2018年 目的 视频精彩片段提取是视频内容标注、基于内容的视频检索等领域的热点研究问题。视频精彩片段提取主要根据视频底层特征进行精彩片段的提取,忽略了用户兴趣对于提取结果的影响,导致提取结果可能与用户期望不相符。另一方面,基于用户兴趣的语义建模需要大量的标注视频训练样本才能获得较为鲁棒的语义分类器,而对于大量训练样本的标注费时费力。考虑到互联网中包含内容丰富且易于获取的图像,将互联网图像中的知识迁移到视频片段的语义模型中可以减少大量的视频数据标注工作。因此,提出利用互联网图像的用户兴趣的视频精彩片段提取框架,方法 利用大量互联网图像对用户兴趣语义进行建模,考虑到从互联网中获取的知识变化多样且有噪声,如果不加选择盲目地使用会影响视频片段提取效果,因此,将图像根据语义近似性进行分组,将语义相似但使用不同关键词检索得到的图像称为近义图像组。在此基础上,提出使用近义语义联合组权重模型权衡,根据图像组与视频的语义相关性为不同图像组分配不同的权重。首先,根据用户兴趣从互联网图像搜索引擎中检索与该兴趣语义相关的图像集,作为用户兴趣精彩片段提取的知识来源;然后,通过对近义语义图像组的联合组权重学习,将图像中习得的知识迁移到视频中;最后,使用图像集中习得的语义模型对待提取片段进行精彩片段提取。结果 本文使用CCV数据库中的视频对本文提出的方法进行验证,同时与多种已有的视频关键帧提取算法进行比较,实验结果显示本文算法的平均准确率达到46.54,较其他算法相比提高了21.6%,同时算法耗时并无增加。此外,为探究优化过程中不同平衡参数对最终结果的影响,进一步验证本文方法的有效性,本文在实验过程中通过移除算法中的正则项来验证每一项对于 王晗 俞璜悦 滑蕊 邹玲关键词:视频检索 视频分析 知识迁移 一种端到端的对抗生成式视频数字水印算法 被引量:2 2021年 提出了一种端到端的对抗生成式视频盲水印嵌入提取算法。该算法主要由编码器和解码器组成,编码器用于生成包含水印信息的视频,解码器用于提取视频中所包含的水印信息。不同于传统的基于频域或空域的视频水印方法,用端到端的训练方式的同时优化编码器和解码器网络。在编码器训练过程中模拟不同的信号和几何攻击类型,生成对抗样本,优化整个网络,以保证所生成水印样本的不可感知性和鲁棒性。实验结果表明:该算法对缩放、平移、裁剪等几何类攻击和压缩、噪声等信号类攻击都具有较强的鲁棒性;同时,该算法独立地训练每一个关键帧,因此还可以抵抗视频中的时间同步攻击。 崔凯元 申静 李叶凡 王晗 王忠芝关键词:视频数字水印 编码器 解码器 生成式知识迁移的SAR舰船检测 2024年 为解决基于深度卷积神经网络进行SAR舰船检测网络训练过程中数据获取、数据标注等问题,本文提出一种生成式知识迁移的SAR舰船检测框架,该框架由生成式知识迁移网络和舰船检测网络两部分组成。通过知识迁移网络生成与有标注的光学遥感图像空间分布一致且包含SAR图像特征的带标注模拟图像;使用所生成的带标注模拟图像,进一步优化舰船检测网络,以提高基于深度卷积神经网络的舰船检测的泛化性能。SARShip-Detection-Datasets(SSDD)和AIR-SARShip-1.0两个公开数据集上的实验结果表明,该框架有效提高了在仅包含少量标注SAR图像样本情况下的舰船目标检测效果,可显著降低舰船在复杂背景图像中漏检和误检的概率。 娄欣 王晗 卢昊 张文驰关键词:SAR 目标检测 图像生成 “数字图像处理”课程教学改革探索 被引量:12 2019年 "数字图像处理"是数字媒体专业的核心专业基础课程。针对"数字图像处理"课程特点和数字媒体专业要求以及该课程教学中存在的问题,对"数字图像处理"课程教学进行了一系列改革探索:第一,优化课程教学内容,适应图像处理技术的发展趋势;第二,采用多种教学方法,开展理论知识教学;第三,增加综合性和创新性实验,开展实践教学;第四,完善考核方法,综合评价学生学习效果。教学实践经验表明,改革措施在教学中取得了良好的教学效果,培养了学生理论联系实际以及解决实际问题的能力,提高了学生的学习兴趣。 王忠芝 刘文萍 王晗 付慧关键词:数字图像处理 课程教学 实践教学 教学改革 结合轻量化骨干与多尺度融合的单阶段检测器 被引量:1 2022年 目的基于卷积神经网络的单阶段目标检测网络具有高实时性与高检测精度,但其通常存在两个问题:1)模型中存在大量冗余的卷积计算;2)多尺度特征融合结构导致额外的计算开销。这导致单阶段检测器需要大量的计算资源,难以在计算资源不足的设备上应用。针对上述问题,本文在YOLOv5(you only look once version 5)的结构基础上,提出一种轻量化单阶段目标检测网络架构,称为E-YOLO(efficient-YOLO)。方法利用E-YOLO架构构建了E-YOLOm(efficient-YOLO medium)与E-YOLOs(efficient-YOLO small)两种不同大小的模型。首先,设计了多种更加高效的特征提取模块以减少冗余的卷积计算,对模型中开销较大的特征图通过下采样、特征提取、通道升降维与金字塔池化进行了轻量化设计。其次,为解决多尺度特征融合带来的冗余开销,提出了一种高效多尺度特征融合结构,使用多尺度特征加权融合方案减少通道降维开销,设计中层特征长跳连接缓解特征流失。结果实验表明,E-YOLOm、E-YOLOs与YOLOv5m、YOLOv5s相比,参数量分别下降了71.5%和61.6%,运算量下降了67.3%和49.7%。在VOC(visual object classes)数据集上的平均精度(average precision,AP),E-YOLOm比YOLOv5m仅下降了2.3%,E-YOLOs比YOLOv5s提升了3.4%。同时,E-YOLOm的参数量和运算量相比YOLOv5s分别低15.5%与1.7%,mAP@0.5和AP比其高3.9%和11.1%,具有更小的计算开销与更高的检测效率。结论本文提出的E-YOLO架构显著降低了单阶段目标检测网络中冗余的卷积计算与多尺度融合开销,且具有良好的鲁棒性,并优于对比网络轻量化方案,在低运算性能的环境中具有重要的实用意义。 黄健宸 王晗 卢昊关键词:目标检测 多尺度融合 基于用户兴趣语义的视频关键帧提取 被引量:2 2017年 目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语义模型,这些图像数据内容丰富、同时涵盖大量事件信息;然而,从互联网获取的图像知识多样且常伴随图像噪声,使用蛮力迁移将大幅影响视频最终提取效果,提出使用近义词联合权重模型衡量互联网中存在差异但语义相近的图像组,并利用这些图像组构建语义模型。通过联合权重学习获取语义权重,每一图像组在知识迁移中所起的作用由权重值决定。使用来自不同视频网站的多段视频对所提方法进行验证,实验结果表明对用户感兴趣的内容进行联合权重语义建模能更加全面、准确地获取信息,从而有效指导视频关键帧提取。 俞璜悦 王晗 郭梦婷关键词:视频检索 关键帧提取 视频分析 知识迁移 无人机松林图像早期松材线虫病害检测 2024年 【目的】针对无人机松林图像中早期松材线虫病害特征不明显、尺度多变导致的目标漏检、误检问题,提出一种基于深度学习的早期松材线虫病害检测方法。【方法】首先,为达到在无人机机载端的模型部署需求,提出一种降低计算量和参数量的松材线虫病害检测方法;其次,为获取早期松材线虫病害更准确的特征,采用多种方式同时提取特征并融合以增强对有效特征的学习能力;然后,为进一步提高不同尺度特征的融合能力,添加注意力机制对齐相邻两级特征;最后,以辽宁抚顺大伙房试验林场无人机拍摄的早期松材线虫病害为研究对象,利用LablImg开源软件标注拍摄高度为100~240 m的图像,构建无人机早期松材线虫病害图像(EPI)数据集。【结果】在EPI数据集上的测试结果表明,本研究方法的平均精度(AP)最高达95.2%,相比YOLOv5s、YOLOX-s和YOLOv6s的AP分别提高3.1%、4%和0.9%;该模型体积仅12.8 M,分别是YOLOv5s、YOLOX-s和YOLOv6s模型体积的23.6%、17.8%和8.9%。【结论】本研究方法具有较高识别精度,同时模型体积较小,可为无人机在机载端识别早期松材线虫病害提供可能。 谢婉滢 刘文萍 王晗关键词:松材线虫病 目标检测 基于用户兴趣的视频片段提取方法 被引量:1 2018年 视频精彩片段提取是视频摘要、检索等领域的热点研究问题。若自动提取视频片段能考虑用户个性化需求,将能在电影推荐、新闻摘要等实际应用场景中发挥巨大作用。针对基于用户兴趣的视频片段提取问题,提出了使用互联网图像的用户感兴趣视频精彩片段提取框架,使用近义语义联合组权重模型权衡由不用的描述词检索得到的存在差异但语义相近的图像组,根据图像组与视频内容的相关性为不同的图像组分配不同的权重。实验结果表明了所提出的方法对提取用户感兴趣内容的有效性。 邹玲 俞璜悦 王晗关键词:视频检索 视频分析 知识迁移 面向物联网的C语言程序设计教学探索 2015年 C语言程序设计是物联网相关专业广泛开设的一门编程类基础课程。文章立足于物联网人才培养的需求,根据不同专业课程体系的特点,以C语言程序设计在物联网中的应用及跨专业分工合作为主线,对该课程的教材和开发环境选择、课堂教学组织、考核环节改革等进行探讨,提出根据各专业在物联网中的分工,对不同专业的C语言课程进行差异化教学,使学生参与跨专业的物联网设计工作时具有熟练的编程技能。 孙钰 王晗 张海燕 赵方 陈志泊关键词:C语言程序设计 物联网 教学内容 授课方式 基于空间转换网络的视频盲水印方法 被引量:1 2020年 提出并实现了一种基于空间转换网络(STN)的视频盲水印方法。针对目前视频水印不能同时抵抗噪声、压缩等信号处理攻击和缩放、剪切等几何攻击的问题,设计一个子块水印嵌入机制,并依赖STN确定水印嵌入子块区域以及空间变换系数。选择变换域中的中频系数作为嵌入通道,通过空间变换系数矫正旋转和缩放后的图像已获得鲁棒视频水印方法。实验结果表明,基于STN的视频盲水印方法具有较高的视觉隐蔽性以及较强的稳定性和鲁棒性,同时嵌入水印容量达到256位以上。 胡海 李叶凡 王晗 邹玲关键词:版权保护 数字水印 离散余弦变换