Dai et al. - 2021 - UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

About

UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

UP-DETR: 针对目标检测的无监督预训练Transformer

CVPR 2021 Oral

Zhigang Dai ：华南理工大学

Bolun Cai ：腾讯微信AI

Yugeng Lin ：腾讯微信AI

Junying Chen* ：华南理工大学

是一种用来目标检测的transformer编码-解码结构，含有：

1）预训练的CNN（ResNet50 with 23.2M parameters）

2）没有预训练的Transdormer from scratch（Vanilla transformer with 18.0M parameters）

通过对不同的对象查询（object queries）学习专属空间，得到不同的对象查询的坐标和盒子大小

比如 BERT（NLP）的masked language model、MoCo（CV）的instance discrimination，通过一定的方式，从样本中无监督的构造一个 label

关键点：设计合理的pretext task

既然CNN可以是无监督训练的，那么transformer能不能也做个无监督预训练呢

现存的用于CNN的pretext task不能直接应用于预训练DETR的transformers

主要原因是DETR中的transformer主要是用来做空间信息上的定位而MoCo的pretext主要是用来提高CNN的物体鉴别能力

受无监督学习在NLP领域中的极大成功的启发，我们的无监督预训练也用超大的训练集（ImageNet），把目标检测作为我们的下游任务（downstream task），提出了新的pretext task —— random query patch detection

随机框若干个patch下来，把这些patch输入到decoder，原图输入到encoder，整个任务就变成了给定patch找他们在图中的位置。

对于一个无监督训练好的DETR，只要输入patch，他就能做到无监督定位patch的功能（不需要额外的NMS后处理），这个patch还能支持数据增强和尺度变换。

两个难点：

多任务学习 Multi-task learning
- 对象检测是对象分类和定位的耦合（两个task）
- 为了避免query patch检测破坏分类特征，我们引入了”冻结预训练主干网络“（frozen pre-training backbone）和”patch特征重建“（patch feature reconstruction）
- 冻结预训练主干网络：固定预训练的CNN的权重
- patch特征重建：使经过transformer的特征能保持和经过CNN后的特征保持一致的分类判别性
多查询定位 Multi-query localization
- 一张图内可能有多个对象，当对象查询object query太大时会很难收敛
- 随机设置M个query patch，并分配至100个embedding
- 提出了一个放在解码器上的attention mask，以确保query之间框的预测独立
- 提出了object query shuffle方法，以确保embedding和query patch的随机性

Signle-query Patch

将输入图像输入CNN主干神经网络中获得图像特征，加入位置编码输入tranformer
随机抓一块query patch，通过全局池化的CNN网络得到patch的特征，展平后分别加上object query形成N对预测框
计算N对预测框的相同匹配代价（same match cost），使用匈牙利算法计算真值（ground-truth）
损失函数（Hungarian loss）：交叉墒误差（match or not）+ （if match）\(l_1\) with IoU + （if match）重建损失