此外,集装箱、建筑物或路标等令人困惑的物体的出现可能会增加误报的可能性。此外,在准确性和延迟时间之间进行合理的权衡是必要的。主流的目标检测器需要大量内存,通常只能在集中式高性能平台中执行。特别地,two-stage检测器不适合实时检测,而单级检测器仅在强大的资源上提供实时性能。它们中没有一个是为小目标检测而充分定制的。此外,由于数据处理成本更低、速度更快、与远程服务器的数据交换不可靠或存在安全和隐私问题,许多工业应用程序要求在靠近数据源的边缘设备上本地部署CNNs,然而这种设备的特征通常是在性能、成本等方面硬件资源有限,并且不包括GPU。因此,快速和轻量级的CNNs是强制性的,同时即使在小目标上也能保持令人满意的准确性。Tiny-YOLOv3不能保证足够的性能,因为其主干提取的特征很差,并且其输出尺度很粗糙。
其他研究工作则以准确性换取速度。在[Research on Airplane and Ship Detection of Aerial Remote Sensing Images Based on Convolutional Neural Network]中,第四个输出尺寸104×104被添加到YOLOv3中,以减少感受野,在DOTA(航空图像中对象设计的数据集)的基础上获得了3%的mAP改进,尽管推理较慢。由于YOLOv3主要检测规模为52×52的小目标。[.In Proceedings of the International Conference on AI and Big Data Application]提出了基于两个输出52×52和104×104的YOLO-E,并实现了一个双向残差子模块,以减少网络深度。它们还通过用GIoU取代并集交集(IoU)度量,并在YOLOv3损失函数中添加新的项1-GIoU,提高了对目标位置的敏感性。在VEDAI上,它获得了91.2%的mAP,几乎比YOLOv3准确五分之一,慢6.7%。在[Robust Vehicle Detection in Aerial images Based on Cascaded Convolutional Neural Networks]中,提出了一种基于VGG16架构的级联检测器,其在VEDAI和Munich数据集上的性能优于Faster R-CNN,但推理速度要慢20-30%。此外,低分辨率航空图像由于其外观模糊性和与背景的相似性,使从车辆中提取有意义的特征变得更加困难。在[Joint-SRVDNet: Joint Super Resolution and Vehicle Detection Network]中,证明了两个超分辨率和检测网络的联合学习可以在超分辨率图像中实现更有意义的目标和更高的感知质量,这又导致检测任务的精度提高,并且在低分辨率航空图像上的性能接近于用相应的高分辨率图像馈送的现有技术方法。为了解决这个问题,其提出了一种联合超分辨率和车辆检测网络(Joint SRVDNet),该网络利用了两个相互关联的超分辨率和检测任务的互补信息。联合SRVDNet由两个主要模块组成:用于4×上采样因子的图像超分辨率的多尺度MsGAN和用于车辆检测的YOLOv3。具体而言,作者证明了两个网络的联合学习允许在超分辨率图像中获得更有意义的目标和更高的感知质量,这反过来又提高了探测任务的准确性,并提高了低分辨率航空图像的性能,接近于用相应的高分辨率航空图像提供的现有最先进的方法。
03 新框架详细分析
研究者介绍了AIRES(cAr detectIon fRom-hElicopter imagesS),这是一个新的车辆数据库,由1920×1080分辨率的航空全高清(FHD)图像组成,由WESCAM MX-15 EO/IR成像系统传输,该系统放置在多传感器四轴陀螺稳定炮塔系统中,安装在载人警用直升机AW169的前端。直升机在近300米至1000米的不同高度飞行,不同的摄像机角度从约5°至80°不等。这些图像是2019年6月至9月在两个不同的地理区域拍摄的:意大利北部的伦巴第大区和挪威的奥斯陆市。该数据集由1275张用LabelImg软件[36]注释的图像组成,包含15247个注释的地面实况(GT)对象,分为八类:面包车、卡车、汽车、摩托车、人、其他、船和公共汽车。统计数据汇总在表1中:大多数类别是汽车,而人口较少的类别是摩托车,占0.5%,其他类别占0.8%,后者包括推土机和建筑工地使用的其他地面移动车辆。
Some images of the AIRES dataset
在这项工作中,提出了两种新的类YOLO架构:YOLO-L和YOLO-S,其架构如下图所示。
关于所提出的CNN的全部细节见下表,其中还报告了每层的感受野和累积步幅。假设输入图像的大小调整为默认大小416×416。YOLO-L由于推理速度有限,仅适用于高功率硬件上的离线处理,因此主要用于基准测试。YOLO-S,或YOLO-small,是为在边缘设备上部署高效、轻量级和精确的网络而提出的。