管理者十分看重市场营销的价值，花费大量的精力投入到A/B测试的研究中，但是收效甚微。究竟是什么原因导致了一场垃圾A/B测试，我们又该如何改进呢，看看笔者是怎么说的吧。

在这个以数字为先的广告世界，许多领导者都渴望将营销、市场作为一门科学来管理。于是，他们用精确、测量、数据这些科学的字眼来说话，他们聘请专业人士，他们教团队用结构化的实验来验证他们的假设……

然而，除了十分专业的产品经理以外，大多数人并不知道如何用科学、正面的方法论去研究A/B测试的问题，尽管他们进行了所有“成功”的A/B测试，但对于具体的业务指标并没有多大改善。

为什么会这样呢？相关人员到底在A/B测试中学到什么？

我认为，从市场营销的角度来谈，在设计一轮A/B测试时，必须要记住以下六个要点：

虽然这几个字看上去毫无趣味，但大多数营销人员不能正确定义统计的意义。

当我们开始一个A/B测试——“我正在测试的广告之间没有性能差异。”

然后，我们运行测试并收集数据，我们希望这些数据将反馈给我们信息，并得出相反的结论，即存在性能差异。

但从技术上讲，问题是——“假设最初的假设成立，任何性能上的差异都是由随机因素造成的，那么能观察到实际差异的可能性有多大？”

所以，计算p值很棘手，但需要理解的重要一点是：p值越低，我们就越有信心得出我们测试的广告之间存在真正差异的结论。具体地说，p值为0.05意味着有5%的可能性，观察到的性能差异将由于纯粹的随机因素而产生。

然而重要的是，要学会理解这只是一个社会惯例所使用的标签而已。在一个数据匮乏、没有电脑的时代，这可以说是一个合理的标准，但在今天的世界，它可能已经被打破了。

统计显著性分析虽然可以帮助市场人员评估广告之间是否存在性能差异，但它并没有说明这种差异在实际应用中有多大或有多重要。有了足够的数据，无关紧要的差异可被视为“具有统计意义”。

例如：假设你用两个稍微不同的广告运行一个A/B测试。

你为每个广告投放了1,000,000个展示，然后你发现版本A获得1,000个展示，而版本B获得1,100个展示。使用相关的A/B测试计算方法，你将看到这是一个“具有统计意义”的结果——p值为0.01，远远超过通常的0.05阈值。

但这一结果是否具有实际意义？

数字代表着一个进步，但在大多数营销环境中很难改变游戏规则。记住，有时候需要成千上万次的投放才能得出这个结论，而这个结论本身就很费钱。

我对营销领导者的实际建议是，要学会接受这样的事实——市场与产品不同，A/B测试中微小的调整可能很难会产生巨大影响。

要学会重新定义测试在市场营销中所扮演的角色，，使你的团队成员将重要性分析理解为一种比较有意义的理念与方法，而不是定义成功。

如何理解那些我们读过的、并与我们的团队分享过的、看起来微不足道的A/B测试带来的巨大性能收益的文章呢？

比如：“如何添加逗号提高30%的收入”“这个表情符号改变了我的生意”等等。

虽然肯定会发生这样的情况，但它们的数量和距离都比互联网搜索所能让你相信的要少得可怜。

在市场营销领域，这个问题被一些因素复杂化了：人们总是很轻易地认为通过一些A/B测试，轻松取胜就在眼前。所以，他们当然不会公布那些没有产生有趣结果的实验，也就容易造成一种分布偏见。我们不会看到或谈论所有A/B测试的结果，更何况一些测试运行的结果根本就是无关紧要的。

所以，请记住，一些看起来好得令人难以置信的结果很可能是真的。但你需要这样问自己：他们进行了多少次实验才得出如此惊人的结果?

不要因为要复制有价值的结果而感到压力。相反，要把注意力集中在不引人注目但更重要的工作上，测试有意义的不同策略，并寻找具有实际意义的重大结果——这才是真正的价值所在。

数据是营销人员最好的朋友，但它同时还带着一个警告标签，因为你拥有的数据维度越多，你就越有可能以某种方式陷入被称为“p-hacking”的反模式。p-hacking指的是数据分析能够从纯噪声中产生看似“具有统计意义”的结果的某些方式。

最明目惊心的p-hacking形式，不过是不断地进行实验，直到得到你想要的结果。记住，p值为0.05意味着观察到的差异有5%的几率是随机产生的，如果你将同一个实验进行20次，你应该期望仅凭偶然就能得到一个“显著”的结果。如果你有足够的时间和动力，你可以有效地保证在某一时刻取得显著的成果。众所周知，制药公司为了让一种药物获得FDA的批准会做这样的事情，但这可不是什么好事。

大多数营销团队永远不会做这么愚蠢的事情，但有一些更微妙的p-hacking形式需要注意。

上一篇：创造产品锚点，打造信息爆炸时代的成功营销 下一篇：没有了

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。