双样本t检验的结果显示,P=0.001<0.05,所以我们得到的结论是:两种测试方法的结果是有显著性差异的。拒绝是有说服力的,所以我们也不用担心犯第二类错误。
现在我们再来看看下表2中两种测试方法的数据,也想来比较有没有显著性差异。
同理,我们也来执行双样本t检验(前提条件验证略),得到如下结果。
双样本t检验的结果显示,P=0.081>0.05,所以我们得到的结论是:两种测试方法的结果无显著性差异的,即不拒绝原假设。不拒绝是没有说服力的,可能是样本量不够导致的(建议做功效与样本量的计算)。
基于以上分析,总结如下:
但是,如果你仔细去看一看表1和表2中的数据,有没有发现表1中两种测试方法结果差异比较小(但双样本t检验结果P=0.001<0.05),表2中两种测试方法结果差异比较大(但双样本t检验结果P=0.081>0.05),注意,这不是错觉,这是t检验本身存在的局限性。
为什么这么说,我们以表2中数据(两总体标准差未知但相等)为例来看看t检验的基本原理。