近日， IDIP实验室在Pattern Recognition（SCI一区Top, IF=7.6）发表了题为“Neural Spatial-Temporal Tensor Representation for Infrared Small Target Detection”（以下简称NeurSTT）的学术论文。实验室2023级博士生伍风翼为该论文第一作者，彭真明教授为唯一通讯作者。电子科技大学信息与通信工程学院为第一作者单位。
一、 论文简介
红外小目标检测(ISTD)技术凭借其全天候工作的高可靠性，在多个应用领域发挥着重要作用。论文提出了神经表示的时空张量模型NeurSTT。创新点在于：通过非线性神经网络增强背景建模中的时空特征关联，在低秩先验指导下实现对序列背景的精准建模；引入神经三维全变分(Neur3DTV)，有效优化背景平滑性，显著抑制序列中的静态伪目标干扰；此外，在损失函数中巧妙融合传统稀疏性约束，既保留了潜在目标特征，又通过深度学习更新策略替代了传统复杂求解过程。实验验证，NeurSTT展现出显著优势：在检测精度方面，平均性能提升达22.44%；在模型效率方面，仅需基线模型16.6%的参数量。
二、主要内容
针对红外小目标检测，目前主要采用两种思路：传统模型驱动方法和深度学习方法。传统方法如鲁棒主成分分析(RPCA)有着良好的可解释性，但在处理复杂场景时，传统矩阵运算往往难以准确建模背景与目标的关系。而深度学习方法虽然通过神经网络解决了这个问题，却又面临着"黑盒"结构和缺乏理论约束的挑战。如何将两者的优势结合，构建既有理论支撑又能发挥深度学习潜力的检测框架，成为当前的研究热点。
多帧方法通过时间维度建模提升了目标分离能力，但像高维张量优化这类方案往往在精度和效率之间难以平衡，计算成本较高。现有深度学习方法大多只关注目标本身，忽略了对红外背景的描述，导致环境变化时容易出现误检或漏检。更关键的是，这些方法通常需要大量标注数据和计算资源，在多帧训练时开销尤其明显。
图1 NeurSTT与传统张量表征方法和其他相关方法比较
针对这些挑战，我们的研究提出了以下创新方案：
1. 引入低秩先验的背景估计网络：通过引入非线性神经层增强背景的时空表征能力，并创新性地将核范数引入损失函数，实现对背景的精准约束。
2. 提出Neur3DTV连续表示机制：用深度神经网络建模时空相关性，突破传统离散正则项的表达局限。
3. 目标更新策略优化：结合软阈值算子，同时在损失函数中引入稀疏性约束，实现了对目标区域的高效建模。
4. 无监督更新框架：通过多模块损失函数的协同优化，显著提升了检测性能，而且不需要依赖大量标注数据。
该方法流程图如下图2所示。
图2 NeurSTT模型在红外小目标检测中的整体流程
该方法通过神经函数表示背景时空张量并引入低秩先验，结合三维神经全变分正则项（Neur3DTV）优化平滑性，同时使用软阈值算子求解目标张量，各模块通过特定损失约束统一融合为总损失函数，最终采用Adam优化器进行参数迭代更新。
三、实验结果
图3展示了NeurSTT网络在迭代过程中既能有效提取目标又能显著抑制背景虚警，并通过消融实验验证了Neur3DTV模块和稀疏性约束损失函数在提升收敛速度和检测性能方面的有效性。
图3不同损失组合的效果对比如下：(a)随着训练轮数增加，NeurSTT能显著减少误检率，同时更好地保留真实目标；(b)和(c)则进一步表明，NeurSTT在训练早期就能快速恢复背景信息。
论文将NeurSTT与其他多种SOTA方法进行数值和可视化结果的对比，如图4所示。NeurSTT不仅在检测效果和背景抑制上表现出色，相比于基线方法，还保持了较低的参数量。
图4 NeurSTT与SOTA在数值与可视化结果的上对比
四、总结
实验室寻找经典视觉模型与深度学习有机结合的突破口，试图解决现有深度学习可解释性差、检测性能严重依赖数据样本的痛点。
NeurSTT模型则创新性地将实验室多年积累的传统张量模型与隐式神经表征相结合，采用无监督学习方式，在多帧红外弱小目标检测任务中取得了卓越效果。该研究将张量分解全网络化，并首次在红外小目标检测中的应用，不仅为张量系列方法提供了新的发展方向，也为这个面临瓶颈的研究领域注入了新的活力。
论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0031320325005898
开源代码：https://github.com/fengyiwu98/NeurSTT