红外小目标的相关研究在军事领域的制导、预警和边防间谍无人机检测中极其重要。针对红外小目标的跟踪研究,本文提出了一种基于超分辨率增强与在线检测DSST(Discriminative Scale Space Tracker)的小目标跟踪算法。首先,基于融入红外图像特征的超分辨率重建算法对原始图像进行更新,增强了弱小目标,然后,增强的图像被用作基于在线检测DSST算法的输入,得到响应映射,估计目标位置。实验结果表明,与几种最新算法相比,该算法在准确性方面表现出色。
预训练模型(PTM)通过利用复杂的预训练目标和大量的模型参数,可以有效地获得无标记数据中的丰富知识。而在多模态中,PTM的发展还处于初期。根据具体模态的不同,将目前大多数的多模态PTM分为图像‒文本PTM和视频‒文本PTM;根据数据融合方式的不同,还可将多模态PTM分为单流模型和双流模型两类。首先,总结了常见的预训练任务和验证实验所使用的下游任务;接着,梳理了目前多模态预训练领域的常见模型,并用表格列出各个模型的下游任务以及模型的性能和实验数据比较;然后,介绍了M6(Multi-Modality to Multi-Modality Multitask Mega-transformer)模型、跨模态提示调优(CPT)模型、VideoBERT(Video Bidirectional Encoder Representations from Transformers)模型和AliceMind(Alibaba’s collection of encoder-decoders from Mind)模型在具体下游任务中的应用场景;最后,总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。
