“始终测试”Bug在我的同事和我的同事中深入运行，但我们的实验远远超出简单地测试对文本或个性化主题线而不是通用的图像。更具体地，除了一次性A / B测试之外，我们还是长期客户研究的主要支持者。

今天的转变与明天的价值

鉴于A / B测试可能会专注于通过提供测试推动增量收入（例如，在欢迎电子邮件中无效的无效送货与20％的折扣，看看哪种优惠每次发送的收入强劲），队列研究旨在查看不同治疗对客户的影响。队列是一群客户，这些客户在一段时间内分享至少一个常见特征：从1月份从Facebook抽奖者报名的用户将是一个队列，而3月份从类似的活动获得的用户将是一个单独的队列。

笔记：Cassie Lancellotti-Young将于8月5日至6日旧金山的Venturebeat的增长宴会会议。对于门票，并了解有关该活动的更多信息，请访问增长竞赛活动网站。

让我们坚持沿着上述示例的线条的东西：寻求以增量转换的名称优化其欢迎流，零售商在前14天的各个点测试10％的折扣优惠。毫不奇怪，促销报价导致巨额转换的电梯（营销101：促销活动！）。在挖掘数量深入了解数字后，零售商指出，该报价还提示了平均订单价值（AOV）的增加，可能是由于经典储存效应。听起来我们在促销员找到了一个胜利者，对吧？

不，我们没有。相反，我们发现自己在此促销的下游影响下有几个后续问题;即，早期的折扣提供培训客户在促销和侵蚀下游终身价值上购买吗？

解剖表面度量

也许这个营销人员尤其符合这些数字，并且实际分析了初始欢迎流后几个月几个月的下游数字，并指出最初转换折扣的人仍然更高。有了这个新的数据点，似乎我们终于在折扣细胞中终于确定了一个溶剂赢家，我们没有吗？

事实上，我们不幸的是还没有。考虑下面的图表，现在还考虑了两年多的不同队列的购买频率。尽管折扣转换器，但交易比那些支付全价的客户更有价值的交易，他们以比这些全价购物者少7.2％（再次，可能是储存的函数），这意味着他们净化的费率为7％和5.4％比那些看似更昂贵的推车的人更有价值。

尽管如此，即使是这种启示，重新审视QQQ是很重要的：数量/质量Quancary。是否有客户在那个更高的两年的价值，以保持巨大的收入引人注目？如果买家的数量大幅下降，而且没有促销激励，营销人员将需要三思而后行。

短期实验与长期学习

最近，我们的许多客户都利用基于队列的测试来评估电子邮件频率对用户选择退出率的影响。更具体地说，它们使用客户级变量来指示两组：一个人每天收到电子邮件，另一个人每周收到三条消息。从那里开始，他们可以比较和对比60天的选择退出率和其他参与度量，以了解调整频率的潜在影响。

以竞选为中心的测试 - 调整主题线路等元素和对操作的调用 - 对于驾驶增量投资回报率肯定是有价值的，但这对于仔细检查您对测试的关键任务是关键的。如果您正在开发欢迎A与B，而不是在您的欢迎电子邮件，您的Day2电子邮件，您的Day7电子邮件等上运行单独的A / B测试。在客户级别与广告系列中削减测试组）？可能是这样。

因此，虽然您应该始终进行测试，但请确保您在播放时播放长赛。定期重新审视您的结果，以证实近期转换或参与的优化不是为了牺牲长期客户价值。这是驾驶快速胜率与可持续寿命值之间的区别。

Cassie Lancellotti-Young，分析和优化的VP，SILETHRU。