在活动效果评估时防止掉入对照组不具代表性的陷阱

评估活动效果也就两大类方法

砸钱做活动，做推广对于企业来讲是非常普遍的事情，花这些钱究竟有没有效果，则需要对活动进行认真评估和分析。一般而言，对活动评估的方法无非两大类方法，一类是定向归因，第二类是对比分析。

在活动效果评估时防止掉入对照组不具代表性的陷阱

定向归因适用于可以通过技术的手段或者其他手段可以比较准确把活动效果跟其他背景信息区分出来的场合。比如可以通过设定专门的活动页面来跟踪效果；在安卓渠道上获取新增客户时，我们也可以通过针对某次活动分配专门的渠道包来跟踪活动的效果。

但很多时候，我们并没法通过定向归因的方法来评估一个活动，一场推广带来的效果。比如我们做了一场全国性的品牌活动，由于线上线下是存在鸿沟，我们就很难完美地将活动的效果定向归因分析出来。这个时候采用对比分析是一种更近常见的方法。对比分析又可以细分为两种，一种是时间上的对比分析，也就是把活动分为前中后三个阶段来做对比分析。一种是横向的对比分析，横向的对比分析往往需要借助类似对照组这类横向的参考来评估活动的效果。

在活动效果评估时防止掉入对照组不具代表性的陷阱

如上这些评估的方法，并不是非此即彼的，很多时候，在一场活动中，我们往往是多种方法结合来进行效果评估。

以上说了这些枯燥无味的原理，下面我们举两个来说明下这些方法。

1、利用渠道包，点击归因来分析推广效果

小明所在的X公司最近在Y公司旗下的APP上面做了一场付费推广活动，目的是获取APP新增用户。为了跟踪推广活动的效果，小明制定了如下两种跟踪推广活动效果的方法：针对安卓系统，由于用户可以直接下载安卓安装包进行安装，小明就给Y公司提供了一个专门用于活动的安装包，用户点击活动链接就可以下载到该安装包，通过统计该安装包的数据，小明就知道Y APP带来了多少用户。

在活动效果评估时防止掉入对照组不具代表性的陷阱

而对于iOS渠道，由于应用下载往往需要跳转至苹果应用商店，所以安装包的方式并不可取，于是小明打算通过点击归因的方法来跟踪活动的效果。点击归因需要Y公司进行配合，也就是在用户点击活动广告时，将这个用户的设备ID传递给小明公司，通过将这个点击设备ID，跟小明公司后端跟踪到的安装设备ID一对比，那么也可以测算出有多少用户来自Y公司。除了这个方法外，Y公司也可以定期提供设备ID数据包给小明的方法来做离线的匹配计算。

2、利用对照组来分析短信用户召回效果

小明最近做了一场短信召回用户的活动，针对一批超过30天没有活跃用户下发了短信进行召回。

在下发给用户的短信里面包括了一个页面，用户点击这个页面后，数据能够被跟踪到。页面中包括了一个下载链接，安卓用户点击该下载链接，会直接下载专属的短信召回安装包。iOS用户点击后则会跳转到苹果应用商店，用户再在苹果应用商店下载。

为了比较准确的统计短信活动的召回效果，小明采用了如下多种方法：

方法	说明
账号匹配	用户手机号码-设备ID-用户账号之间的对应关系
渠道包归因	专属于某个活动的安装包
时间对比	对比活动前中后的数据变化
对照组	对比活动组和非活动组的数据变化

根据如上方法，小明获取了如下的统计数据：

方法	指标项目	数值（个）
账号匹配	短信发送用户数量	10,000
账号匹配	根据号码进行匹配回流的用户	1,000
渠道包归因	安卓渠道包的用户跟踪到的用户回流数量	200
时间比较	短信发送前1天的活跃用户数量	100,000
	短信发送期间的活跃用户数量	101,110
	短信发送后一天的活跃用户数量	101,050
对照组参考	短信发送前1天用户对照组活跃用户数量	1万人的沉默对照组中有150个活跃
	短信发送期间用户对照组活跃用户数量	1万人的沉默对照组中有155个活跃
	短信发送后，用户对照组活跃用户数量	1万人的沉默对照组中有152个活跃

小明分析以上数据发现，根据渠道包统计到的用户数量明显偏少，只有200多个，原因在于渠道包无法跟踪iOS用户，而且用户被短信唤起后，存在会主动到其他渠道下载安装的情况。于是小明不把渠道包的数量当作一个可靠的活动效果数据。

账号匹配的回流用户数据为1000个，这个数据跟采用直接用时间对比1100个相差不大。用线上活跃用户数据进行对比得出的用户数据比账号匹配多或者少都是正常的，因为除了活动本身外，线上的数据还会受到非活动因素的干扰，由用户主动因素或者其他因素等。从这个角度分析看，账号匹配回流的用户数据似乎是更可靠的，初步断定短信召回了1000个用户，召回率为10%。

但小明也不敢100%肯定这1000个用户就完全是短信召回的效果带来的。毕竟保不准，这1万个沉默的用户里面会有一部分用户会自然回流。为了更准确的评估，小明把眼光放在了对照组（对照组里面不宜包含被下发短信的用户）。为了排除自然回流的干扰，小明建立了一个1万的人沉默用户对照组，前中后三天，这1万人的对照组中，分别有100，150，120个人活跃，回流率分别为1.5%，1.55%和1.52%。

小明认为这个对照组跟短信召回的用户具有一定的代表性，于是小明根据对照组调整后的召回用户数变成了

10,000*(10%-1.55%)=845人。

最终小明得出结论本次活动的用户召回为845人。

在用对照组进行对比分析时，我们一定要避免对照组不具有代表性的情况。拿上面的例子而言，对照组的用户样本规模有1万，发送短信的规模也有1万，在量级上是比较对等，而且小明也确保了对照组的样本在结构上具有一定的代表性。

但倘若小明发送的短信数量不是1万，而是100万，那么这1万对照组的样本是否还有代表性就需要打个问号了。假定现在发送了100万短信召回用户，用设备匹配的方法总回流用户为100万，回流率仍然为10%，对照组的自然回流率仍然为1.55%。按照设备匹配，得出回流用户为10万，对照组的自然回流用户比率为1.55%，相当于其中自然回流用户为1.55万人，则活动的回流用户为8.45万人。

但实际上，小明认为这100万用户里面真正自然回流绝对达不到1.55万人，召回用户规模的扩大，使得原本1万的小样本已经不能代表这100万的召回用户结构，所以用对照组来推断活动数据效果明显就存在较大的误差。

去年今日运营文章

本文转载于199IT，本文观点不代表爱运营立场，转载请联系原出处。如内容、图片有任何版权问题，请联系爱运营处理。

在活动效果评估时防止掉入对照组不具代表性的陷阱

去年今日运营文章

发表回复