如何通过A/B test迭代社群运营玩法模型？

不论是做产品或者做运营，日常都会经历一些假设-测试-验证-定义的迭代过程，只有不断的迭代挖掘与试验，我们才会找到更多的增长点。本文主要讲的内容是如何通过A/B test迭代社群运营玩法模型，一起来看看~

文章大纲：

1. 用户增长理论
2. ABtest操作流程
3. 产品迭代

我们现在做增长，比如做拉新，可能更多是借鉴别人的玩法，或者自己拍脑袋想出一个点子，其背后是否可验证的逻辑支持，是否适合你的产品和用户这些可能都不一定就直接去做了，这样产生的效果就是你的活动效果一般都不是很好，而且还不能很稳定的产出运营策略。

这就需要我们总结出自己一套增长办法，而且还是可持续迭代的。

下面分享一个自己做的案例，期待与大家交流学习更多增长的思维模型。

一、用户增长理论

不论是做产品或者做运营，日常都会经历一些假设-测试-验证-定义的迭代过程，只有不断的迭代挖掘与试验，我们才会找到更多的增长点。

用户增长方法论：确定北极星指标——拆解成具体可以操作的优化场景与指标——规划并排序A/B测试试验——对于有效的方向进行更多的挖掘与试验。

下面，我举一个真实的案例，是我亲自参与的迭代试验，对上面这句话做一个诠释，希望大家能够从案例中了解到做增长做迭代原来就是这么一回事。

首先，我介绍下活动背景：

我们一个小团队是负责大学生四六级项目的，通过推广免费的流量课程来圈住大学生人群，然后去推广我们平台的其他高单价课程，前期已经验证增加社群服务是可以提高学完率和用户续报转化率的。所以后面我们的圈人班课程均会增加社群服务，下面我们需要对社群服务不断迭代试验，提高社群运营效率。

我们梳理了下我们的北极星指标是提高用户价值（单进班价值=总营业额/领班人数），而总营业额又跟续报领课人数有关，再进一步拆解续报领课人数跟好友数和领课率有关，领课率又跟社群的服务对用户信任度的提升有关。

那么社群的服务又包含：答疑、直播、促学提醒。所以我们最终要提高的是答疑、直播、促学这些场景中参与用户续报课程人数。

大家可以直接看这个北极星指标拆解下来的流程图，如下图：

通过拆解北极星指标，我们知道了原来要落地的运营动作就是提高社群服务中参与人数的比例，我们开始梳理整个运营流程，这时我们发现一些变量，这些变量可能会影响我们最终的北极星指标，这时候就需要做ABtest验证，固定一个变量来测试对北极星指标的正负影响。

二、A/B test操作流程

我们在梳理运营流程时发现了用户学习行为过程中出现了两个变量：学制（分定时开班和随报随学）、分组（有分组和无分组），定时开班和分组对人员操作成本比较大，是否取消，这两个变量对课程学完率和单进班价值到底影响有多大，都需要我们做试验来验证。

下面以其中一个ABtest为例：

（1）明确试验的目的

比如，我们一组试验是：通过对比定时开班学习和随报随学两种学习模式对单进班价值的影响。如果随报随学这种学制跟定时开班学习的单进班价值差不多或者更高，那么可以直接采用这种模式，减少人力成本，反之亦然。

（2）设置A/B对照组

验证方法：

1. 对照组A：四级词汇圈人班定时开班专题领取用户；
2. 对照组B：四级词汇圈人班随报随学专题领取用户。

为了保证试验的准确性，两个样本A和B需要满足：

1. 用户量级相近，用户量级也不能太小，至少600人以上，要能代表全局特性。
2. 用户属性相似，具有代表性，比如我们的目标用户都是以大学生人群为主。
3. 测试环境能够代表全局特性，比如：都是沿用之前的用户领课路径，只保留唯一一个变量，其他环境都一样。

制定社群运营AB测试流程方案，确定续报课程触达方式和用户续报路径，如下图：

（社群运营ABtest流程方案）

梳理这个流程方案很重要，将你的整个的运营动作都排期放到里面，帮助你按照自己的运营节奏来。

下面，是不是就可以活动上线前的准备工作做完了，等看效果了呢？还有一项很重要的工作要做。

整理数据需求：

测试方案确定后，在活动上线前，需要做的很重要一点就是跟BI提数据需求，确保数据可以满足以下几点，不然等试验结束后再跟数据同学提需求，可能会落得尴尬局面，数据无法获取。

保证活动数据可以满足：

1. 能均匀地把独立用户分成2个属性一致的样本群体A和B。比如：我们课程上架分两个专题，将用户做A和B区分。
2. 能对每个独立用户做身份标记，也就是每个样本的用户数据可以追踪到。比如：用户从领课——添加个人号——学习行为——续报课程，这条路径的数据都可以追踪。
3. 能针对A和B在线调控出变量。比如：我们这次的一组试验变量就是学制的不同，在专题页直接设计随报随学和定时开班两种开班模型。
4. 能分离A和B因为变量导致的数据差异。比如：对两个样本用户的续报领课情况，我们分别设置了带source的课程链接，这样可以获取每个样本下不同渠道的续报转化人数。

以上准备工作做完后，就可以开始活动上线，然后看最终的数据结果啦。

（3）分析数据

活动结束后，根据续报课程转化周期，我们活动结束3天后就可以开始找BI拉数据了。还是上面的例子，我们分析下两个ABtest的数据情况：

学习行为数据对比（以下数据有改动，非真实数据，仅供演示所用）：

用户学习行为数据（留存及学完率）

从数据可以看出，B组定时开班模式用户7日TAD（7日累计活跃天数）和学完率都明显高于A组随报随学学制；A组有分组7日TAD和学完率都明显高于B组无分组。

单进班价值数据对比：

（续报转化数据）

从数据可以看出，A组随报随学模式的单进班价值（总营业额/领课用户）明显高于B组定时开班；A组有分组的用户单进班价值明显高于B组定时开班。

（4）得出结论

回顾我们社群运营的北极星指标，采用随报随学和有分组两种学制下用户的单进班价值更高，之后的社群运营流程可以继续沿用。

三、产品迭代

上面确定了社群的玩法模型采用随报随学和分组pk更加有效这个结论，但因为分组pk在微信群人工操作成本很大，如果社群用户量级很大，则需要走产品端的分组模式，解放人力，提高社群运营效率。

除了通过试验来验证用户哪种学习模式更有效外，我们还可以做更多其他的试验，比如设置对照组来测试社群的转化模型哪种更有效，不断迭代优化，提高运营效率。