bts防弹少年团演唱会

bts防弹少年团演唱会

我们如何才能真正衡量优化的投资回报率?

《我们如何才能真正衡量优化的投资回报率?》

想象一下,你现在一直在优化一个网站,比如3,6或甚至12个月。

你每个月都有稳定的获胜者,你对测试结果充满信心。 这些不是%E8%99%9A%E6%9E%84%E7%9A%84%E5%8D%87%E9%99%8D%E6%9C%BA“>

另一种情况:您已经优化了12个月,每位客户的收入增加了2%。 同样的问题:你怎么能证明你的贡献? 你怎么能分辨出是什么导致的 – 优化,SEM,季节性,口碑或其他什么?

您如何衡量优化工作的投资回报率? 问题实际上比听起来更复杂。

投资回报率很难衡量

实际上,很容易预测优化的预测ROI( %E7%82%B9%E5%87%BB%E6%AD%A4%E5%A4%84%E4%B8%8B%E8%BD%BD%E8%BD%AC%E6%8D%A2%E4%BC%98%E5%8C%96ROI%E8%AE%A1%E7%AE%97%E5%99%A8“>

《我们如何才能真正衡量优化的投资回报率?》

2012年, MarketingSherpa%E6%8F%90%E5%87%BA%E4%BA%86%E4%B8%80%E4%B8%AA%E9%97%AE%E9%A2%98“>

《我们如何才能真正衡量优化的投资回报率?》

真的,这并不奇怪。 衡量优化的投资回报率很难。 如果有的话,我对那些表现出积极投资回报率的38%持怀疑态度。 他们确实如何证明投资回报率?

美国奥巴马前数字分析总监Amelia” showalter>的文章引用了一篇文章,该文章解释了跟踪和衡量一切的难度,至少从长远来看:

“当我们正在开展这项活动时,我们实际上正在努力运行所有那些我们并不总是能够完全跟踪长期结果的测试。 当我们想要将所有资源用于运行更多测试时,很难计算出这些东西。 因此,我们实际上并没有对我们的测试实际带来多少额外收入的完美估计,但我认为2亿美元是一个相当合理的估计。“

文章还总结说:“你也可以放心,如果你正在进行有效的测试,你可能会提高底线。”

虽然那令人感到温暖,但它并不能满足神经质的老板或客户。 我们必须找到衡量我们影响力的方法。 我们怎么可能这样做?

分析中的时间段比较(以及为什么错误)

如果要求衡量由于优化工作而导致的转化率提升,大多数人会指向Google Analytics。 他们会进行一段时间比较,回顾6-12个月前你开始活动时的情况,并与你现在的转换率进行比较(线性分析)。

这不会告诉完整的故事有几个原因,最重要的原因是你的交通质量的变化。

来自VWO%E7%9A%84” stucchio>说:

《我们如何才能真正衡量优化的投资回报率?》 Chris Stucchio:
“时间段比较不起作用,因为在数学术语中,时间段在统计上不依赖于访客行为。 例如,在情人节之前抵达的游客更有可能购买鲜花。 因此,如果时间段A在1月份,时间段B在2月份,那么无论您对网站所做的任何更改,您都会在期间B中销售更多鲜花。 有一些方法可以从时间段比较中得出微弱的推论,例如%E8%B0%B7%E6%AD%8C%E7%9A%84%E5%9B%A0%E6%9E%9C%E5%BD%B1%E5%93%8D%E5%92%8C%E7%B1%BB%E4%BC%BC%E7%9A%84%E5%B7%A5%E5%85%B7%EF%BC%8C%E4%BD%86%E8%BF%99%E4%BA%9B%E6%96%B9%E6%B3%95%E7%9B%B8%E5%BD%93%E5%85%88%E8%BF%9B%EF%BC%8C%E9%9A%BE%E4%BB%A5%E4%BD%BF%E7%94%A8%EF%BC%8C%E8%80%8C%E4%B8%94%E4%B8%A5%E6%A0%BC%E6%9D%A5%E8%AF%B4%E4%B8%8D%E5%A6%82%E4%BF%9D%E7%95%99%E9%9B%86%E6%9B%B4%E5%87%86%E7%A1%AE%E3%80%82%E2%80%9C”>

有些事情会影响您的流量和质量,包括但不限于:

  • 季节
  • 假期
  • 按(正面或负面)
  • PPC / SEM
  • SEO
  • 字的口碑

假设您的转化率为2%,每月有100,000个访问者。 在一年的时间里,很多都可以改变您的流量质量。 如果您正在销售新奇礼品,假期可能会提高您的转化率,而您的优化工作可能会产生微不足道的影响。 同样,如果你点击黑客新闻的头版, %E4%BD%A0%E5%B0%86%E8%8E%B7%E5%BE%97%E5%A4%A7%E9%87%8F%E7%9A%84%E6%B5%81%E9%87%8F“>

转换率是非固定数据

静止时间序列是统计特性(均值,方差,自相关等)随时间变化的时间序列。 根据%E6%9D%9C%E5%85%8B%E5%A4%A7%E5%AD%A6%E7%BD%91%E7%AB%99%E4%B8%8A%E7%9A%84%E4%B8%80%E7%AF%87%E6%96%87%E7%AB%A0“>

但正如Investopedia%E6%89%80%E8%AF%B4“>

“非静止数据通常是不可预测的,无法建模或预测。 通过使用非平稳时间序列获得的结果可能是虚假的,因为它们可能表明两个变量之间的关系,其中一个不存在。“

《我们如何才能真正衡量优化的投资回报率?》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

正如Malwarebytes%E7%9A%84“>

《我们如何才能真正衡量优化的投资回报率?》

这基本上就是数据的本质。 无论是季节性,星期几,外部因素,新闻,广告等,数据都会波动。 即使您在一个月内没有更改网站上的任何内容,您也不会每天都获得相同的结果。 它会波动 – 有时是一点点,有时很多。

安德鲁引用这个作为分析中的时间段比较无法准确衡量投资回报率的原因,他给出了一个很好的例子如下:

《我们如何才能真正衡量优化的投资回报率?》 Malwarebytes优化主管Andrew Anderson
“因为线性分析只能告诉你你在哪里,而不是你应该去的地方。 您可以获得更好的结果,并且在您开始时仍然会降低。 就像你可以有一个可怕的结果,并在你开始时结束更高。“

在两个例子中,蓝线是最好的选择,但在一个例子中,黄线(最差结果)比测试开始时要好得多。 正如在第二部分中一样,蓝线非常优越,但总体上也低于期初。“

《我们如何才能真正衡量优化的投资回报率?》

他继续:

“你可以花费你的公司数百万美元,并依靠前/后认为一切都更好。 因此,它不仅仅是翻转硬币。 两者都与测量变化的结果无关,但至少对于硬币,你不会相信自己数据意味着什么。“

《我们如何才能真正衡量优化的投资回报率?》
您可以看到原始数据的波动以及趋势

一个可能的例外

在与Craig” sullivan>交谈后,我发现可以进行时间段比较。 但是,您必须拥有可预测的流量流(即PPC),即使这样也很粗糙。 克雷格解释得很好:

《我们如何才能真正衡量优化的投资回报率?》 Craig Sullivan, 最佳访问

“时间段比较的问题是,您无法确保访问者流量在两个时期内是可靠的。 季节性,广告,营销,竞争对手活动,市场变化,天气和许多因素可能会使您的两个样本产生偏差,因此您不会将苹果与苹果进行比较。 但是,如果您可以在两个时间段内保持具有相似意图和构成的人的可预测流量流,您可能有机会进行粗略比较。 例如,如果我的PPC广告在8周时间内保持一致,我可以对前后效果进行有缺陷但有用的比较 – 因为我正在比较一个片段而不是“所有流量行为”。

当然,这不会告诉我精确度,但它可以表明它是更糟糕,更好还是我们不太确定。 如果我要比较深度段(例如,到达并开始为拖拉机模型填写潜在客户表格的人),那么为什么不在两个时间段内对它们进行比较呢? 当然存在可变性,但这些细分中的一些在整个时间段内的愿望和意图是一致的。 如果我在比较站点外层的流量,则时间段比较变得不太可靠。

最后,现在有一些像GA%E6%95%88%E6%9E%9C%E7%9A%84%E5%B7%A5%E5%85%B7%E5%8F%AF%E4%BB%A5%E5%B8%AE%E5%8A%A9%E4%BD%A0%E8%A7%A3%E5%86%B3%E6%89%80%E5%81%9A%E7%9A%84%E6%94%B9%E5%8F%98%E6%98%AF%E5%90%A6%E5%AF%B9%E4%BD%A0%E7%9C%8B%E5%88%B0%E7%9A%84%E2%80%9C%E6%95%88%E6%9E%9C%E2%80%9D%E8%B4%9F%E8%B4%A3%E3%80%82″>

如果我们假设PPC流量“可靠”,我们还必须假设您没有更改每日预算,没有更改关键字,也没有更改广告文案。 12个月中有三个,六个月是一个很长的时期,变量太多了。 它不再是相同的流量了。 事实上,变量在AdWords中不断变化,有时每天都在变化:

此外 – 您也无法从PPC数据中得出广泛的结论,因为您无法假设所有流量来源的行为都相似。 对PPC流量有效的方法可能不适用于返回直接流量,SEO流量等。

测试影响力的测试

“当事情看起来平坦或整体下降时,解释结果可能非常困难。 根本问题在于人们使用线性相关数据集而不是测试提供的比较数据,或者换句话说,你说你的X%更好,不一定比特定数字好X%。 尽管有测试结果,但所有数据都是正弦的,它会上升而且会下降。“

– 安德鲁安德森

如果时间段比较不起作用,会是什么? 有几种方法可以衡量影响。 它们都不是完美的 – 每种都有利弊 – 尽管如此,它们总比没有好。

1.稍后重新测试旧版本的网站

衡量投资回报率的最简单方法之一是重新测试旧版本的网站,作为后续大型测试的一部分。 基本上,在测试期间进行的所有更改(合并为一个度量标准)都针对旧版本进行了测试。

%E5%AE%89%E5%BE%B7%E9%B2%81%E5%AE%89%E5%BE%B7%E6%A3%AE%E8%AF%B4%EF%BC%9A”>

《我们如何才能真正衡量优化的投资回报率?》 Malwarebytes优化主管Andrew Anderson
“经过5个月的持续优化和约120%的估计影响,我们决定将网站的原始设计作为更大测试的一部分。 我们发现实际影响实际上是257%更好,真正压低性能的是SEM方法,推动所有潜在客户的质量潜在客户,降低整体业绩。 这导致眼睛偏离指责测试程序,而是重新评估SEM程序,同时真正授予优化程序无限制地访问以改变用户体验。“

虽然像大多数方法一样,但有一些优点和缺点。 根据Craig” sullivan>说法,如果你一直在不断改进和学习,那么测试旧版本可能不值得。 克雷格:

《我们如何才能真正衡量优化的投资回报率?》 Craig Sullivan, 最佳访问
“这就像麦当劳说’让我们回到2007年的餐厅格式,看看它是如何运作’或Facebook说’让我们使用旧设计的应用程序’ – 验证这些东西是有道理的,但我认为这更有意义到目前为止,该产品已经开始运行,以至于此验证毫无价值。“

2.弱因果分析

另一种方法是弱%E5%9B%A0%E6%9E%9C%E5%88%86%E6%9E%90“>

正如安德鲁安德森所说,“使用弱因果分析来了解估计的影响。 在这两种情况下(原因分析和重新测试旧版本),您经常会发现实际上您的影响比您想象的要大。 重要的是,您要在不提示的情况下进行此分析,并主动向其他人提供对整体计划的全面评估。“

什么是弱因果分析? 基本上这样:做一个估计错误率的长期趋势线。 根据变更前的先前数据进行比较,并将结果与​​趋势线的预期结果进行比较。 确保使用自变量作为基础(如用户),这样您就可以了解自己的位置与您所处的位置。

《我们如何才能真正衡量优化的投资回报率?》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

“根据安德鲁的说法,任何能够近似因果信息的东西都比没有任何东西更好,但却有更高的机会发生I%E5%9E%8B%E6%88%96II%E5%9E%8B%E9%94%99%E8%AF%AF“>

不完美,但总比没有好。

3.通过漏斗的各个阶段测量影响

根据Chris” stucchio> ,另一种方法是尝试“衡量优化对漏斗各个阶段的影响”。

说这些是你的阶段:

  • 第1步:点击从电子邮件到网站
  • 第2步:将产品添加到购物车
  • 第3步:去结账
  • 第4步:购买

你可能没有足够的数据来实际衡量第4步的差异。但%E5%85%8B%E9%87%8C%E6%96%AF%E8%AF%B4%EF%BC%9A”>

“您通常可以从步骤1-3推断出有关步骤4的数据(即,如果您对达到第3步的人的百分比产生了重大影响,则*可能*(虽然无法保证)您增加了转化次数)。 有严格的方法来估计这个统计数据,但它们有点难以做到。“

4.将一小部分流量发送到一致的基础

以下是Lukas” vermeer>在之前的报价中所说的内容:

《我们如何才能真正衡量优化的投资回报率?》 Booking.com的数据科学家Lukas Vermeer

“如果你真的想知道,你可以通过将所有流量的一小部分发送到始终如一的稳定基础来实现这一目标,这种基础永远不会改变,它会告诉你现在网站的性能比以前好多少。

通常这在技术上很困难,但可能需要揭示无所作为/不测试的成本。“

将一小部分(总流量的5-10%)发送到一致控制似乎是跟踪优化影响的最准确方法。 无论如何,这是我从专家优化者那里听到的最常用的方法。

Chris” stucchio>解释了这是如何工作的:

《我们如何才能真正衡量优化的投资回报率?》 Chris Stucchio:
“衡量一系列优化的ROI的唯一真正可靠的方法是使用保留集。 我们的一家(仅限CRO)代理合作伙伴计划与其所有客户一起拒绝优化超过90%的流量。 然后他们会将90%的流量与剩余的10%进行比较; 差异(假设它具有统计显着性)可以合理地归因于它们。“

当然,问题在于机会成本。 如果您没有优化10%,那么(可能)会错失增加的收入。 您还处理不太可优化的流量,因此测试需要更长时间才能达到显着性。

是否存在机会成本?

正如Peep %E5%9C%A8%E4%B9%8B%E5%89%8D%E7%9A%84%E4%B8%80%E7%AF%87%E6%96%87%E7%AB%A0%E4%B8%AD%E6%89%80%E8%AF%B4%E7%9A%84%E9%82%A3%E6%A0%B7“>

或者正如%E7%BA%A6%E4%B9%A6%E4%BA%9A%C2%B7%E8%82%AF%E5%86%9C%E6%89%80%E8%AF%B4“>

这是您的具体目标和风险承受能力的问题。 安德鲁·安德森解释说,提高绩效总是值得的,这可能意味着要花时间来测试长期影响:

《我们如何才能真正衡量优化的投资回报率?》 Malwarebytes优化主管Andrew Anderson
“总是值得尝试提高你的表现,但是如果你太小而无法进行更严格的测试,那么关键是要做大或者根本不做。 问题在于很难衡量小​​的变化(例如2%,甚至在某些情况下甚至20%)。 这些变化加起来比拍摄本垒打更有价值,但如果你不能依赖数据,你必须不断尝试改变最大的东西,并希望你获得有意义的商业塑造效果。

请记住,您的意见始终是最受限制因素,而您越小,您越需要越过舒适区。“

这是克雷格对机会成本的考虑:

《我们如何才能真正衡量优化的投资回报率?》 Craig Sullivan, 最佳访问
“这里有很多关于测量所有微小变化并且无法将这些影响与背景噪声分开的论点。 从我的工作中,通过速度和优先级更改完成的站点优化,以及修复错误和破碎的东西,将提供升力,无论您是否关心测量原子影响。

我的建议 – 如果您不是在不断改进您所居住或正在优化的关键指标,那么您是否可以衡量每个微小影响是否重要?

这就是为什么我批量更改或错误到网站或优化30页模板而不是一个 – 因为我可以清楚地看到我所做的更改的复合性质的影响。

修复235个浏览器错误,您将解除转换 – 您是否需要测量或测试每个? 一定不行。

乘坐电梯,继续前进,并通过质量假设更快更好地进行测试。 针对速度和优先级的体积测试将为您提供无限分析的地方。

然后,优化不仅仅是a / b测试和提升。 %E9%A9%AC%E7%89%B9Gershoff“>

Craig还提到转换优化不仅仅与测试有关。 这是关于大局:

《我们如何才能真正衡量优化的投资回报率?》 Craig Sullivan, 最佳访问
“你只是在运行一系列测试,其预期输出对于业务来说是宝贵的知识 – 它不是关于测试,而是关于为学习设置它。 工作质量来自于形成测试假设和推动学习的测试程序 – 而不是短期影响。 这就像从客户数据中为您的企业创建知识产权。“

结论

衡量投资回报率很难。 但有几种方法可以做到这一点。

有一些统计上严格的计算影响的方法(GA效应,弱因果分析),即使时间段比较分析通常是错误的(由于非平稳数据),正如Craig所提到的,当你得到时,有一些例外。一个粗略的估计(如果你有稳定和可控的流量,就像PPC一样 – 尽管你可能无法以这种方式得出总体结论。)。 最后,我发现的一个最常见的答案是向一个小的保留集发送一致的流量。

请记住,如果正确完成,您获得的优化和洞察力可用于您的所有营销活动。 这是一个导致信息通知更好决策的过程,因此投资回报与您获得的客户洞察力相结合。

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注