Occluded Prohibited Items Detection: an X-ray Security Inspection Benchmark and De-occlusion Attention Module

省流

  • 第一个用于安检的高质量目标检测数据集OPIXray Benchmark，由专业人员人工标注，且测试集分为三个遮挡级别，以更好的了解不同模型的性能。
  • 提出了去遮挡注意模块(DOAM)，即插即用。DOAM利用违禁物品的外观信息生成注意力图，有助于改进通用检测器的特征图。

背景

以往不同的工作做的基本都是类内遮挡(同一类的物体互相遮挡)，而X光安监大部分都是类间遮挡(不同类的物体相互遮挡)。到目前为止，没有针对X光被遮挡的违禁物品检测的数据集。（由于安检的特殊性，目前公布的X-ray数据集非常少）

  • GDXray包含灰度图像（背景非常简单，与真实环境不符）
  • SIXray仅包含不到 1% 的图像具有注释的违禁项目

DOAM利用两个子模块，即边缘引导（EG）和材料意识（MA），同时特别强调违禁物品的边缘信息和材料信息。利用上述两个信息生成注意力分布图作为每个输入样本的高质量掩码，以生成高质量的特征图，为一般检测器提供可识别信息。

  • 提高检测方法性能
  • 显著优于其他注意力机制

OPIXray benchmark

OPIXray benchmark的每个违禁物品都由国际机场的专业检查员手动标注，并通过带有边界框的框级标注进行定位。包含 5 类刀具的 8885 张 X 射线图像，即折刀、直刀、剪刀、美工刀、多刀。

  • 每个样本至少有一个违禁物品，而有些样本有更多（训练集30，测试集5）。
  • jpg，1225*954，80%训练集，20%测试集
  • 遮挡程度三种等级：OL1-3
  • 模拟真实性：随机堆叠，品类分布统一不一致（折叠刀多，OL3<OL1）
  • 能说明检测方法以及改进的有效性

9c38efc356bfff9fa179c3ab62bc9aa.png

带来的挑战：

  • 对象遮挡：模拟了与真实场景类似的测试环境，其中项目随机相互重叠
  • 区分困难：不同类别的刀具通常具有相似的形状外观，例如折叠刀和多功能刀

DOAM

由于 ，所以DOAM利用两个子模块（边缘引导EG和分辨材料的MA），由以上两个信息生成注意力分布图作为每个输入样本的高质量掩码，以生成高质量的特征图，为一般检测器提供可识别信息。

工作原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
input: X-ray x(C*H*W)
Sobel: 生成水平边缘图像Eh和垂直边缘图像Ev
Eh+Ev => 边缘图像E
多次进行fe(E)得到细化的特征图Fe
E+x => 连接图像P
多次进行fr(P)得到细化的特征图Ftmp1

一些没太看懂的迭代全连接操作，得到te'zheng'tuS

使用Gated CNN从S中选出合适的特征图Fm
操作Fm和Fe得到Ff
根据Ff生成注意力图S
S*P得到最终的特征图F
output: feature-map F(C*H*W)

实验

  • DOAM优于所有其他注意力机制
  • 消融实验(控制变量法)评估DOAM有效性
  • DOAM在不同体系结构中的普遍适用性（即插即用）
  • 可视化

均在OPIXray数据集上跑

cc932359ae2647f7f78317640243fbc.png

db8f2bbafda66ca5c7b7ac1dd1ed7b0.png

e0e660e497f6dd00f7d483e7a61f0a9.png

2dd6b5f536ec95d9928bce14432201e.png