图8. 两个常用的视频数据集，它们的分布特性有显著差异
这意味着，在固定对同一批用户上传的原始稿件进行测试时，保持测试数据不变，仅更新 VQA 模型，就会导致 VQA 平均分数发生改变，大盘上显示的画质均值也随之改变，这显然与我们的直观感受相悖，因为用户上传的稿件不受任何处理和转码的影响，具备稳定的真实画质分布特性，其画质均值应该保持稳定，不应该在 VQA 方法更新之后发生统计量的变化。
3.1.2 VQA 分数的相对大小才有意义
前文我们已得出结论，在业务中，VQA 模型直接输出分数的绝对值不适合作为画质分数，但 VQA 分数的相对大小却有明确的含义。
假设有两个视频 A 和 B，主观上 A 的画质比 B 要好，我们在优化 VQA 的时候，本质上是在让模型学会对视频 A 的评分要高于 B。VQA 模型性能越好，对 A 和 B 画质相对高低的评价就越准确。当然在实际训练时，会对更多的视频进行优化，使得模型能够准确预测它们画质高低顺序的关系。
因此，使用 VQA 模型对一批视频进行评测时，不同视频的 VQA 分数，其绝对值大小往往并没有明确的含义，但是它们之间的相对大小，却表示其画质间的优劣关系。比如对一个视频，VQA 分数为 3，那么只看 3 分，并无法知道该视频的画质究竟是好还是坏。此时，我们来观看该值在这一批视频 VQA 分数中的相对大小位置：3 分处于 25% 的位置，即表示 3 分比 25% 的视频要好，这个相对位置才有明确的含义。
3.1.3 以 VQA 结果的排名来定义画质分数
一个视频在一批基准视频中的排名百分位是个相对值，但我们要把它转换为绝对值来表征该视频的质量分数，需要满足两个前提：其一是 VQA 算法具有基本的准确度，即对于大部分视频都可以进行正确打分，从而保证对基准视频集上所有视频的画质相对关系衡量足够准确，维持不同百分比档位本身的含义稳定性；其二是这个基准视频集数据量足够大，且内容足够丰富，在数据分布上和 B 站大盘视频分布相近，能够作为 B 站视频分布的一个无偏估计，从而保证其画质相对关系具有意义。
对于第一个前提，实验室数据已经表明我们自研的 BILIVQA 算法对于极端画质（极好或极差）的视频检出率较高，且对不同档位的编码视频分数具有单调性（编码失真越严重，分数越低）；对于第二个前提，可以通过找到一个数量为 n 的 B 站视频无偏估计数据集，其中 n 的定义为：从 B 站大盘数据中按照一定的采样规则采出 n 条数据，不管这个采样过程重复多少次，BILIVQA 模型在这 n 个视频上评价的分数分布各项指标（如均值、方差、峰度、偏度等）始终趋于稳定。
图9. B站画质分数标准构实现流程
因此如图 9，我们首先需要构建一个基准视频集作为 B 站视频内容的无偏估计，用 BILIVQA 模型对基准数据集的所有视频进行打分，构造一个分数查找表，得到不同分数与百分比的对应关系。在实际使用时，根据 BILIVQA 模型对待测视频的 VQA 分数进行查表，得到对应的分数排名，并将排名转换为百分比作为最后的输出值。
3.1.4 对 B 站视频内容分布的无偏估计
一个基本假设为：B 站用户上传的视频内容足够丰富，其画质分布足够多样，能够涵盖所有的内容特性和画质，也包括了不同分辨率、压缩率、处理等操作对视频画质的影响。因此，构建 VQA 输出分数分布时，应在用户原始稿件中进行采样，理论上我们应该对 B 站所有可能出现的视频稿件进行统计后，根据其 VQA 输出分数分布得到百分比，以此来定义分数。但是实际上，B 站视频量庞大，不可能对所有 B 站用户稿件进行统计，我们认为 B 站视频真实分布与用户观看习惯紧密相关，因此我们通过设置一个累计播放量阈值，筛选出代表 B 站主要内容的数百万条视频作为原始分布，如图 10 所示，投稿时间跨度约从 2015 年至今，然后通过对这个原始分布进行无偏估计，构建一个基准视频集。
图10：基准数据集投稿时间分布
在构建视频集时，需保证其可以对真实 B 站视频内容的分布进行无偏估计，即该视频集的分布特性，比如均值、方差、偏度、峰度等统计特性与真实分布一样。根据采样原理，对原始分布的采样密度足够高的时候，也就是采样视频数量足够多的时候，即可对全集分布进行无偏估计。那么究竟需要多少个视频来构建数据集呢？
我们采用如下方案：从原始分布中随机采样 n 条视频，计算 VQA 结果，然后再采样 n step 条视频，再计算 VQA 结果。不同 n 对应的 VQA 分数都可以计算一个分布，对每个分布的均值、方差等统计特性进行观察，在逐步扩大实验数据量的过程中，可以发现在 n 达到一定数量时，统计特性会趋向稳定。那么在统计特性足够稳定的时候，该集合的统计特性就可以对真实视频分布进行无偏估计，对应的 n 即为构建基准数据集所需要的视频数量。
例如，第一次实验从筛选出的数百万条视频中随机采样了 n=500 条视频，并计算这 500 条视频的 VQA 分数，计算均值（mean）、方差（std）、峰度（kurtosis）、偏度（skewness），然后以 step=500，从原始分布中随机选取 n step=1000 个 VQA 分数，再次计算均值、方差、峰度、偏度，并画出四个指标的分布折线图。图 11 是指当随机采样的视频数量 n 超过 10 万时，模型分数分布的各项指标具有逐渐稳定的趋势，为了进一步提高基准数据集的代表性，我们进一步扩大基准数据集的数量，最终确定了 n=15 万为 B 站无偏估计基准数据集的总量。
