12 统计学方法:如何证明灰度实验效果不是偶然得到的?

12 统计学方法:如何证明灰度实验效果不是偶然得到的?

你好,欢迎来到第 12 课时—— 统计学方法:如何证明灰度实验效果不是偶然得到的?

当你做完 AB 实验,拿着实验结果来论证 v2.0 的系统比 v1.0
的系统效果更好的时候,极有可能有人站出来这样质疑“你的实验结果可信度如何?它是偶然得到的,还是一个必然结果?”

面对这样的质疑,就需要一些统计学的知识了。这一讲,我们就来利用统计学的知识,来论证某个灰度实验的结果的可靠性。

偶然得到的实验结果

大迷糊想通过 AB 实验,来探索用左手掷骰子和用右手掷骰子是否有差异。于是,大迷糊先用左手掷骰子得到点数为 2,再用右手掷骰子得到点数为
6。于是得到结论,右手掷骰子比左手掷骰子点数大 4。

这个结论显然是偶然发生的,是不对的。因为常识和经验都告诉我们,两只手掷骰子点数应该是没有差别的。

然而,工作中使用 AB 实验的场景,很可能是没有这些预先、已知的经验的,这就给实验结果的可靠度判断带来了很多挑战。

例如,上一讲 v2.0 的推荐系统相比 v1.0 的推荐系统,在 CTR 上提高了
0.2pp。这个结果到底是偶然得到的,还是真实存在的呢?这就需要我们具备统计学知识——中心极限定理了。

统计学的圣经——中心极限定理

中心极限定理是统计学中的圣经级定理,它的内容为:假设从均值为 μ,方差为 σ2 的任意一个总体中,抽取样本量为 n 的样本,当 n
充分大时,样本均值x̅的分布近似服从均值为 μ、方差为 σ2/n 的正态分布。通常认为 n≥30 为大样本。

中心极限定理的厉害之处,在于它实现了任意一个分布向正态分布的转换 ,如下图:

至于为什么实现了正态分布就很厉害,下文会为你讲解。

图片1.png 为了更好地理解中心极限定理,我们给出下面的案例。

【例题1】假设某个总体的分布是 1~6 的均匀分布,现在我们利用中心极限定理来估计一下这个总体的均值和方差。

解析:根据中心极限定理,我们需要先计算x̅的均值和方差。为了得到某个随机变量的均值和方差,就要得到尽可能多的x̅的采样点,标记为 x̅i 。对于每个采样点
x̅i,它又是总体的采样点。

因此,我们需要首先对总体进行多次采样,得到一个均值x̅的采样点。再重复这个过程得到多个 x̅i 的值,这样就能计算出x̅的均值和方差了。

具体代码如下:

import random

import numpy as np

xbarlist = []

for i in range(1000):

    xbar = 0

    for j in range(30):

        k = random.randint(1,6)

        xbar += k

    xbar = xbar / 30.0

    xbarlist.append(xbar)

npxbar = np.array(xbarlist)

mu = np.mean(npxbar)

var = np.var(npxbar)

print mu

print var

我们对代码进行走读。

  • 代码第 2 行,调用了 numpy 库,主要是为了后续计算均值和方差。
  • 第 4 行,定义了 xbarlist 的数组,用来保存x̅的多个采样值。
  • 第 5~11 行,通过循环 1000 次,想得到 1000 个 x̅ 的采样值。显然每次循环就是要计算出某个 x̅i 的值,为了求出 x̅i,我们需要对总体进行多次采样。
  • 第 7~9 行,循环 30 次。每次循环,调用随机函数 randint,从 1~6 中,以均匀分布随机得到一个采样值,并且计算这 30 个值的和。
  • 第 10 行,用求得的和除以 30,得到了这 30 个值的平均值,即 x̅i。
  • 第 11 行,把 x̅i 保存到 xbarlist 的数组中。在上面的循环都结束后,就得到了 1000 个x̅的采样值。
  • 接着第 13 行,把数组转换为 numpy 下的数组。
  • 再在第 13~14 行,调用求均值和求方差的函数,得到了x̅的均值和方差,并打印。

上面代码执行的结果为: 图片2.png 可见极限中心定理下x̅的
μ = 3.5,σ2/n = σ2/30 = 0.0953。从而估计出总体的均值为 3.5,总体的方差为 σ2 = 0.0953×30 = 2.859。

我们再反过来看一下原来的总体的分布:

  • 因为是 1~6 的均匀分布,因此均值为 3.5(0~6 均匀分布的均值才是 3),这与中心极限定理的计算结果一致;
  • 而方差可以根据定义式进行计算,则有方差 = [(1-3.5)2 + (2-3.5)2 + (3-3.5)2 + (4-3.5)2 + (5-3.5)2 + (6-3.5)2]/6 = 2.9167,这也与中心极限定理计算的结果几乎一致。

这个案例讲完,你依旧会琢磨,中心极限定理到底有什么奇妙之处呢?为何它能称得上统计学的圣经级定理呢?接下来我将用最通俗的方式向你讲解。

【白话中心极限定理】

通常,现实中的总体都是一个陌生的分布,例如推荐系统每天的点击率。如果从均值和方差的定义式出发,则需要知道这个总体中每个样本的值。可惜的是,实际情况中的总体很可能包含了无穷多个样本。要想从定义式的角度出发,来计算统计量往往是不可行的。

而中心极限定理,则构建了样本和总体之间的桥梁。总体的统计量算不出来,就对总体抽样,得到一个新的随机变量 x̅,x̅
的统计量可以根据抽样的结果来计算。此外,中心极限定理还告诉了我们,抽样的统计量和总体的统计量之间的关系,那么就可以根据抽样的统计量推导出总体的统计量。

因此,我们说中心极限定理是使用统计学去解决实际问题的前提基础,是后续统计学应用的理论桥梁。

在实际做 AB
实验的场景下,你的目的是要验证实验组与对照组,这两个总体之间是否具备显著性的差异。可惜的是,总体的分布往往是不知道的,你只能通过对总体进行采样,来估算总体的统计量;也就是利用采样样本的均值和方差,来估计总体的均值和方差。

这就需要去运用中心极限定理了,一旦有了实验组、对照组两个总体的均值和方差,就可以利用一些检验手段,来计算显著性了。

所以接下来,我们便需要将中心极限定理应用在 AB 实验中,去 论证实验是不是随机得到的 ,这就需要用到统计学“均值假设检验“的知识了。

均值假设检验

均值假设检验,就是要验证通过 AB 实验得到的某个均值是否存在显著的差异。 这里显著的含义是,结果是真实、客观的规律,并非偶然得到。

假设检验的流程分为两步:

  • 第一步,计算检验 统计量 Z 的值。
  • 第二步,再根据数值大小,查下面的标准正态分布表得到 代表显著性的 p 值 。如果 p<0.05 则认为结果是显著的,并非偶然得到的。

我们详细阐述一下这两个步骤。根据实际情况不同,Z 统计量可以有两种计算方法:

  • 第一种方法,当总体的标准差 σ 已知时,计算方法是 图片4.png
  • 第二种方法,当总体标准差未知时,可以采用样本的标准差 s 来代替总体的标准差,公式为 图片5.png

其中 μ0 就是假设的均值;若有 AB 实验, μ0 则为对照组的均值。

接着,就需要根据 Z 的值,查下面的 Z 统计量分布表得到 显著性 p 的值了,显著性 p 的物理含义是观测结果是偶然得到的概率。
图片6.png Z 统计量分布表

【如何看 Z 统计量分布表】

这个表其实是个大矩阵,矩阵的行标签和列标签之和,就是 Z 统计量。而矩阵中每个数字,代表了观测结果不是偶然发生的概率。

例如,利用第 2 行、第 3 列的数值,可以计算出 Z 为 0.12 的显著性水平(Z 统计量分布表中绿框部分)。

通常,人们选择表中 0.9750 作为临界值(图中上面的红色框);也就是说, Z 统计量的临界值是 1.96 。人们常常根据 Z
统计量的绝对值与 1.96 的关系来判断是否显著,即绝对值大于 1.96 则认为显著,反之亦然。

之所以选择 0.9750,是因为此时的显著性为 0.05 时,即观测结果是偶然发生的概率为 5%。这里 0.05 计算而来的公式是
(1-0.9750)×2 = 0.05,这个公式背后的含义涉及正态分布的累积概率的计算,在此我们不展开说明,感兴趣的同学可以自己查阅相关的统计学教材。

上面的理论可能比较枯燥,我们下面结合一个例子,来加深对理论的理解。

【例题2】假设某工厂加工一种零件。根据经验知道,加工出来的零件的长度服从正态分布,其总体均值为 0.081mm。现在,换了一种新机床进行加工,取 200
个零件进行检验,得到长度的均值为 0.076mm,这 200 个样本的标准差为 0.025mm。问新机床加工出来的零件的长度,其均值与以前是否存在显著差别?

解析:新机床得到的零件,均值比以往要略小。那么问题来了,这里的“略小”是偶然得到的,还是显著存在的呢?我们可以通过假设检验的方法进行论证。

由题可知,总体的均值 μ0= 0.081,总体的标准差未知。采样的数量为 n = 200,采样的均值x̅= 0.076,采样的标准差 s =
0.025,因此可以根据第二种方法,来计算 Z 统计量:
图片7.png 接下来我们需要查 Z
统计量分布表来判断是否存在显著性差异,而此时 Z = -2.83(Z 统计量分布表中蓝框部分),负号表示要检验的结果比对照基线小。由于 |Z| >
1.96,所以 p<0.05,差异显著。从统计学的视角来说,我们有理由相信此时的差异并不是偶然得到。

综上可见,论证结果是否为偶然得到的关键,取决于 Z 统计量的值。Z
统计量的值,又与均值的差值、采样的标准差和采样数量有关系。均值差异越大、采样标准差越小、采样数量越多,则结果越显著、越不可能是偶然得到的。

利用“均值假设检验”论证实验结果是否为偶然得到

刚刚讲解的 “均值假设检验”可以论证“两个均值”的偏差是否为偶然得到的 。我们将它对应到 AB 实验中,会发现其中一个“均值”是总体的均值,就像是
AB 实验中的对照组;另一个“均值”是抽样的均值,就像是 AB 实验中的实验组。

所以有了“均值假设检验”的理论基础,你就可以论证并回答,实验组相对对照组的差异是否为偶然得到的。

我们继续以大漂亮的推荐系统 v2.0
为例。下面是先前的实验观测数据,但很容易被人质疑是否为偶然得到。接下来,我们就来用均值假设检验,来论证实验结果是否显著。我们以人均点击量为例展开论述。
图片8.png 围绕刚刚讲过的 Z
统计量的公式,我们先需要帮助大漂亮找到这些参数的值。
图片5.png 从公式出发,光有个实验组人均点击量为
31,对照组人均点击量为 23,肯定是不够的,至少是需要构建 n 个人均点击量才行。因此,我们考虑把为期一周的实验,切分为每一天来统计 7 个指标。

具体地计算每天的点击量,并根据注册用户数,计算每天的人均点击量,则有
图片9.png

  • 此时,我们就有了人均点击量的 7 个采样样本,即 n = 7。
  • 接下来,对这 7 个样本求平均值,则有 x̅= (4.14+4.31+5.17+3.79+4.31+4.48+4.83) / 7 = 4.43。
  • 再计算对照组的采样平均值,则有 x̅0 = (3.10+2.82+3.38+3.24+3.52+3.10+3.38) / 7 = 3.22。根据中心极限定理,可以用采样的平均值,作为总体平均值的估计值,则有 μ0=x̅0= 3.22。
  • 同时,还可以根据实验组的 7 个采样值,计算出实验组的标准差,即 WechatIMG1099.png
  • 最后,我们利用上述信息,来计算 Z 统计量的值,则有 WechatIMG1136.png

很显然,这里的结果比我们的临界值 1.96 更大,结果是显著的,并不是偶然得到的。

小结

这一讲,我们学习了统计学的知识“中心极限定理”和“均值假设检验”,并将它应用到工作中,用来论证 AB 实验的结果是否为偶然得到。

我们了解到, 中心极限定理 构建了样本和总体之间的桥梁,让我们找到抽样的统计量和总体的统计量之间的关系。

然后“ 均值假设检验 ”又可以论证“两个均值”的偏差是否为偶然得到。我们将其对应到 AB 实验中,会发现其中一个“均值”是总体的均值,就像是 AB
实验中的对照组;另一个“均值”是抽样的均值,就像是 AB 实验中的实验组。 所以便可以论证并回答,实验组相对对照组的差异是否为偶然得到的
。这时的关键步骤,就是根据公式来计算 Z 统计量的值,并判断。

最后,我们给出一个练习题:利用下面的数据,计算 CTR 的差异是否显著。
图片13.png