可以考虑两种设计来运行这个实验:

• 离线:可以理解为已缓存的本地数据集中进行实验
• 在线:在实验中进行分析和决策。

由于离线A/B测试问题需要截然不同的解决方案，因此本文只讨论离线情况。

每个用户被展示为创意A或B的概率为0.5，并直接以未知的概率p_A=0.04或p_B=0.05进行转换。

import scipy.stats as stats

#真实概率
p_A = 0.05
p_B = 0.04

#用户流量
n_users = 13500
n_A = stats.binom.rvs(n=n_users, p=0.5, size=1)[0]
n_B = n_users - n_A

#转换策略
conversions_A = stats.bernoulli.rvs(p_A, size=n_A)
conversions_B = stats.bernoulli.rvs(p_B, size=n_B)

print("creative A was observed {} times and led to {} conversions".format(n_A, sum(conversions_A)))
print("creative B was observed {} times and led to {} conversions".format(n_B, sum(conversions_B)))

• H0:广告素材的效果相当（p_A = p_B）
• H1:一个广告素材的效果要好于另一个

1. 我们是否可以估算广告素材A优于广告素材B的可能性?
2. 如果是的话，我们可以估计他们之间的进步吗?

置信区间表示与真实参数在建议范围内的置信度相关的未知参数的合理值范围。

1. 我们需要选择不同的方法来定义这些区间，这取决于一些假设:二项分布的置信区间。
2. p_A和p_B值的置信区间不会直接转换为p_A和p_B之间的差值的置信区间!幸运的是，存在直接计算差值的置信区间的方法，但是我们仍然需要从几十种方法中选择一种。

对于本部分，我们将使用python的PyMC3库，这使我们能够轻松地构建贝叶斯非参数模型。

import pymc3 as pm

with pm.Model() as model:
    n_users = 10000
    
    #定义随机和确定性变量(构建网络)
    #用户的数量
    n_A = pm.Binomial("n_A", n_users, 0.5)
    n_B = pm.Deterministic("n_B", n_users - n_A)
    
    # 数量的转换
    conversions_A = pm.Binomial("conversions_A", n_A, p_A)
    conversions_B = pm.Binomial("conversions_B", n_B, p_B)
    
    observed_conversions_A = pm.Deterministic('observed_conversions_A', conversions_A)
    observed_conversions_B = pm.Deterministic('observed_conversions_B', conversions_B)
    
    p_estimates = pm.Uniform("p_estimates", 0, 1, shape=2)
    delta = pm.Deterministic("delta", p_estimates[1] - p_estimates[0])

    #向网络提供观测数据
    obs_A = pm.Binomial("obs_A", n_A, p_estimates[0], observed=observed_conversions_A)
    obs_B = pm.Binomial("obs_B", n_B, p_estimates[1], observed=observed_conversions_B)

    #运行MCMC算法
    start = pm.find_MAP()
    step = pm.Metropolis()
    trace = pm.sample(50000, step=step)
    burned_trace = trace[1000:]

我们可以简单地计算出小于0的后验概率:

np.mean (delta_samples < 0)

在这里，我们得到了0.956，这意味着广告素材A产生的转化率比广告素材B高出96%！

但我们可以更进一步。想象一下，从设计B转换到设计A是很昂贵的，并且只有至少提高5%的性能才能盈利。我们有办法计算它!只需在我们的网络中插入一个新的确定性变量Tau = p_A/p_B，然后对后验分布进行采样。

tau = pm.Deterministic(“tau”, p_estimates[0] / p_estimates[1])

根据MCMC抽样估计的Tau的后验分布

np.mean (tau_samples > 1.05)

• 贝叶斯框架为经典的A/B检验方法提供了一个易于执行和阅读的替代方法，并允许我们通过简单地计算后验分布来检验任何假设。

• 贝叶斯方法使我们能够在A/B测试的情况下实现更高效的离线决策，以及更高效的在线决策。

注意：