近日，IDIP实验室在IEEE Transactions on Geoscience and Remote Sensing（SCI一区, IF=7.6）发表题为“Saliency at the Helm: Steering Infrared Small Target Detection with Learnable Kernels”（以下简称：L²SKNet）的学术论文。实验室2023级博士生伍风翼为该论文第一作者，清华大学张天放博士为合作作者，彭真明教授为唯一通讯作者。电子科技大学信息与通信工程学院为第一作者单位，清华大学自动化学院为第二作者单位。

       一、论文简介

       受益于近些年涌现的数据集，深度ISTD模型获得了优秀的检测精度。然而，这些通用网络通常难以感知“小目标”的敏感性，采用复杂结构来保留潜在目标特征。在忽略了红外领域知识的同时，缺乏解释性。我们的工作旨在通过重新审视红外小目标固有的显著性，开发一种可学习的局部显著性核网络（L²SKNet）来解决这些问题。该方法实现了一个可学习的局部显著性核模块（LLSKM），体现了“中心差分邻域”的概念，引导网络捕捉显著性特征（点或边缘）。通过Dilation和层次化网络结构增强LLSKM，在提高其捕捉多尺度红外特征能力的同时避免参数爆炸。此外，文章还将LLSKM分解为两个正交的一维核，将其精简为更紧凑的轻量化形式。可视化和严格的定量分析证实了局部显著性引导网络的有效性。 

       二、主要内容

       复杂场景红外小目标检测具有极大的挑战。在不同场景下的大多数红外小目标符合高斯分布，如图1所示。因此，大多数以视觉显著性为主的红外小目标检测方法使用一个显著性模板进行目标提取，如图所示的倒置LoG核。离散化后，这些核能够快速有效地提取红外弱小目标，广泛应用于该领域。然而，实现准确的目标提取需要精确的参数设置，这启发了作者利用自适应神经网络模拟经典算子，试图解决这一挑战性任务。

图1 不同场景红外小目标示意图

       如图2所示，文章阐述了L²SKNet的工作原理：

       1）重构显著性滤波核模板，使其便于网络模拟。

       2） 将重构模板进行深度网络化，形成LLSKM。

       3） 将LLSKM进行空洞卷积和层次化操作，使其成为“即插即用”的模块，嵌入主流分割检测网络中进行ISTD任务。

图2 LLSKM模板重构，网络模拟，在主流分割网络中“即插即用”的示意图 

       文章通过可视化每个网络层的输出，展示了网络在提取目标显著性特征的同时，有效抑制背景虚警源，如图3所示。

图3 复杂场景下的网络逐层可视化结果及比较（ L²SK-UNet为例） 

        三、实验结果

       此外，文章还将L²SKNet系列网络与其他多种SOTA方法进行数值和可视化结果的对比，如图4所示。L²SKNet系列不仅在检测效果和背景抑制上表现出色，同时还保持了较低的参数量。

图4  L²SKNet系列网络与领域SOTA在数值与可视化结果的上对比 

       四、成果总结

       一直以来，实验室寻找经典视觉模型与深度学习有机结合的突破口，试图解决现有深度学习可解释性差、检测性能严重依赖数据样本的痛点。在红外小目标检测领域，开展了大量卓有成效的研究。其中，“深度展开”网络为这一想法的落地提供了思路。 

       第一项工作“RPCANet: Deep Unfolding RPCA Based Infrared Small Target Detection，已发表于WACV2024国际会议。该项研究是PRCANet的延申，试图对经典视觉显著性核进行重构，通过简洁且高效的网络模拟，取得了令人振奋的预期效果。同时，保持了模型驱动带来的可信度。 

       同时，我们也希望该系列工作能启发业界研究人员突破现有思路，迎接任务需求日益变革带来的挑战，有效解决红外小目标检测领域的痛点。 

 

       论文链接：https://ieeexplore.ieee.org/document/10813615

       开源代码：https://github.com/fengyiwu98/L2SKNet

供稿：伍风翼

审核：彭真明