图2 PR曲线
平均精度和mAP平均精度(Average Precision,AP)就是PR 曲线下面的面积。通常来说一个越好的分类器,AP值越高。mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP求平均,得到的就是mAP的值,mAP的大小一定在[0,1]区间,越大越好。该指标是目标检测算法中最重要的一个。
ROC曲线接受者操作特性曲线(receiver operating characteristic curve,简称ROC曲线),得此名的原因在于曲线上各点反映着相同的感受性,它们都是对同一信号刺激的反应,只不过是在几种不同的判定标准下所得的结果而已。
图3 ROC曲线
ROC曲线的横轴是假正率(False positive rate, FPR),FPR = FP / [ FP TN] ,它代表所有负样本中错误预测为正样本的概率,假警报率。
ROC曲线的纵轴是真正率(True positive rate, TPR),TPR = TP / [ TP FN] ,它代表所有正样本中预测正确的概率,命中率。
ROC曲线的对角线坐标对应于随机猜测,而坐标点(0,1)也即是左上角坐标对应理想模型。其曲线如图3所示,曲线越接近左上角代表检测模型的效果越好。
那么ROC曲线是怎么绘制的呢?有如下几个步骤:
- 根据每个测试样本属于正样本的概率值从大到小排序;
- 从高到低,依次将“Score”值作为阈值threshold,当测试样本属于正样本的概率大于或等于这个threshold时,我们认为它为正样本,否则为负样本;
- 每次选取一个不同的threshold,我们就可以得到一组FPR和TPR,即ROC曲线上的一点。当我们将threshold设置为1和0时,分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来,就得到了ROC曲线。当threshold取值越多,ROC曲线越平滑。
AUC曲线(Area Under Curve)即为ROC曲线下的面积。AUC越接近于1,分类器性能越好。AUC值是一个概率值,当你随机挑选一个正样本以及一个负样本,当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值。当然,AUC值越大,当前的分类算法越有可能将正样本排在负样本前面,即能够更好的分类。AUC的计算公式如下:
[1]路齐硕. 基于深度学习的目标检测方法研究[D].北京邮电大学,2020.
[2]https://github.com/scutan90/DeepLearning-500-questions
前期回顾后期预告欢迎点、藏、关三连
有共同兴趣的同学,可以私信探讨
,