W4-5 结果显著，就说明差别很大吗？

一份报告说：“平均高了2分，差异达到统计显著。”我们可能顺势理解为：差别很大，而且值得投入。

但统计学里的“显著”有专门含义。它不会把2分自动变成20分，也不会替我们决定这2分在实际工作里有多重要。

先分开三个问题

第一，差别有多大？例如，一个平均分相对于指定基准高2分，这个差值本身就是一种以原始单位表达的效应估计。

第二，这个估计有多不确定？同样的2分，可能估得很粗，也可能估得较精细。

第三，在特定统计模型和检验规则下，数据与“总体均值等于基准”这样的假设有多不相容？p值参与回答的是这一类问题。

美国统计学会的官方说明明确指出，p值或统计显著性不衡量效应的大小，也不衡量结果的重要程度。这三个问题有关联，却不能用同一个标签一次回答。

p值是在什么前提下计算的？

假设我们检验“总体均值等于70分”，并关心高于或低于70分的偏离。p值是在这个零假设以及其他模型前提成立时，得到像当前观察那样极端或更极端的检验统计量的概率。

OpenStax的假设检验教材解释了这种条件概率及双侧检验。关键是计算方向：先假定一个模型，再问这样的结果有多罕见。

它不是“零假设为真的概率”，也不是“研究结论有多大概率错误”。因此，p＝0.03不能直接翻译成“结论有97%的概率正确”。若按预先选择的0.05阈值作判断，p较小可以被称为达到统计显著，但阈值不能替代对研究设计与结果的解释。

同样高2分，为什么一个显著、一个不显著？

下面两份摘要完全是教学构造，不是真实研究，也没有实际抽样。假定每个观察来自相互独立的个体，评分服从正态模型；总体标准差σ已知为10分。70分是指定的固定基准，不是从另一组样本估出来的均值。

甲摘要有25个观察，乙摘要有400个观察；二者的样本平均分都设为72分，因而相对于基准的差值都为2分。

在这些前提下，均值的标准误为σ÷√n。它描述抽样均值的波动尺度，不是个体分数的标准差。检验统计量则为：

z =（样本均值－基准）÷标准误。

NIST的单总体均值检验说明给出了已知总体标准差时的这个形式；若标准差需要由数据估计，就应使用相应方法，不能直接照搬本例。

按0.05阈值，甲未达到统计显著，乙达到了。差值却始终是2分。改变的是标准误：观察数变为16倍，在本模型下标准误缩为四分之一，相同偏离就相当于更多个标准误。

这说明增加样本量可以提高检出较小偏离的能力，不能据此把“更显著”写成“效果变大”。本例刻意固定两个样本均值，也不意味着现实中增加样本后均值一定保持原样。

还可以把本例的差值除以已知总体标准差，作一种标准化表达：2÷10＝0.2。甲乙的这个比值仍然相同。它把差值换成总体波动尺度的单位，没有把较小的p值转换成较大的效应；至于这个尺度上的差异是否重要，仍要结合任务。

再看区间，才能知道还容许多大差别

在同一模型下，差值的95%置信区间约为“2分±1.96×标准误”。甲得到约−1.92至5.92分，乙得到约1.02至2.98分。NIST对检验与置信区间关系的说明解释了对应双侧检验中，基准是否落入区间与检验判断的联系。

甲的区间包含零，不能据此宣称“没有差别”；这里的估计还容许正负方向的多个值。乙的区间更窄且不包含零，却仍然没有把平均差值变得巨大。

95%也应按区间构造程序理解：在模型成立、重复抽样并按同一程序构造区间时，约95%的区间会覆盖相应总体参数。它不表示95%的个体都落在这个均值差的区间里。OpenStax的置信区间章节给出了这种重复抽样解释。

值不值得用，还需要哪些信息？

假设一个应用在事先讨论后，认为至少高5分才值得承担成本；另一个应用却认为稳定高1分已经有用。这是两种人为设定的决策情境，不是通用标准。同样的2分，需要结合各自目标评价，p值不会替它们作选择。

同时，样本多并不保证没有偏差。若观察之间并不独立、样本不能代表目标人群，或分析是在反复尝试后只挑出最小p值报告，原来的计算和解释都需要重新审视。达到显著也不自动建立因果关系。

比如，把甲的25条记录各复制16遍，表格虽然凑到了400行，却没有得到400个独立个体的新信息。若仍按乙的公式解释更小的标准误，就违反了算例的独立性前提。增加行数与增加独立证据，不是可以随意互换的操作。

读到“结果显著”时，可以继续寻找：效应估计是多少，单位是什么，区间有多宽，模型前提是否合理，实际用途需要多大的差别。先把这些信息摆在一起，才能分清看起来醒目的统计标签，与真正关心的结果之间隔着什么。