RT-DETR：端到端实时目标检测

DETR 将目标检测建模为集合预测，通过一一匹配直接输出固定数量的目标。RT-DETR 在这一框架上优化多尺度特征处理和查询选择，使端到端检测更接近实时应用。

1. DETR 的集合预测

传统检测器通常产生大量候选框，再使用 NMS 去重。DETR 使用目标查询直接预测一组结果，并通过匈牙利匹配让预测与真实目标一一对应，从训练目标上避免重复框。

2. RT-DETR 的实时化思路

• 将高层语义特征的同尺度交互与跨尺度融合分开处理。
• 减少对高分辨率特征执行完整注意力的计算成本。
• 使用更高质量的查询初始化，提高解码器收敛与预测质量。
• 通过调整解码器层数改变速度与精度平衡。

3. 与 YOLO 类检测器的区别

YOLO 系列通常基于密集预测，工程生态成熟、速度高；DETR 系列强调集合预测和端到端训练。两者不能只按 mAP 比较，还要考虑输入尺寸、硬件、后处理、部署算子和实际目标尺度。

4. 训练时的注意点

匹配代价、分类损失和边界框损失共同决定正样本分配。数据集中若小目标占比高，应关注多尺度特征质量、输入分辨率以及增强策略是否破坏小目标。

参考资料

• DETR: End-to-End Object Detection with Transformers.
• RT-DETR: DETRs Beat YOLOs on Real-time Object Detection.