国家自然科学基金-青年科学基金项目：混合粒度标注数据条件下的RGB-T多模态显著性排序方法研究

本项目的研究从“骨干网络的充分表征”、“任务网络的准确预测”、“全网络模型的有效监督学习”三个阶段性任务入手，解决RGB-T多模态显著性排序方向存在的关键科学问题，提升预测准确性和鲁棒性，减少模型对强标注数据的过度依赖。各研究内容之间的关系及项目流程如下图所示：

研究内容一：基于多尺度表征自嵌入跨模态Transformer的RGB-T多模态表征

本研究拟建立基于多尺度表征自嵌入跨模态Transformer的RGB-T多模态表征方法，解决RGB-T多模态融合不充分问题以及融合特征描述能力不足的问题，实现多目标场景下的RGB-T多模态充分融合。

研究内容二：基于非结构化感知图神经网络的显著性排序

本研究拟建立基于非结构化感知图神经网络的显著性排序方法，解决复杂的多目标场景中显著性全局语义线索未能深入挖掘问题以及优先级混淆问题，实现多显著实例的更有效检测和更准确排序。

研究内容三：基于显著性知识协同蒸馏的混合粒度监督学习

本研究拟建立基于显著性知识协同蒸馏的混合粒度监督学习方法，解决多模态显著性排序模型对细粒度的强标注数据过度依赖的问题，实现更准确、更鲁棒的RGB-T多模态显著性排序。