云端优化 - A/B测试


一、功能说明

AppCooking提供可视化的云端AB测试功能,在最小成本及影响最少用户范围的条件下,可以实时发布多套产品方案,并经由用户的数据回收,验证最佳的产品方案,实现快速且有效的产品优化与迭代。

AB测试提供两种测试模式(可单独或合并使用进行测试):

  • UI 优化测试:此模式不需要事先在App中实现,能够随时通过AppCooking后台以可视化的方式作UI的优化调改,如:文字、颜色、组件大小与位置...等。
  • 功能逻辑测试:此模式需要事先在App中通过SDK接口设置云开关,在App发布后,通过AppCooking后台修改开关值以进行测试,常见的使用方式如:页面跳转控制、弹窗展现时机控制等场景。

二、使用方式

步骤1. 集成AppCooking SDK。
步骤2. 设置实验
1) 登入AppCooking後台,並進入Experiment頁面。
2) 连接设备

点击「New Experiment」>> 「Connect to Device」>> 扫描QR code ,即可完成设备连接。

(若使用模拟器,则将QR code下方链接通过Safari开启,以进行设备配对)

3) 添加测试方案(Variant)
  • UI设置:直接在App画面中选取组件,依照需求更改文字、图片、位置等属性,即可完成UI设置。(部分UI组件可能因为画面的层级叠加导致无法选取时,可以使用右侧的组件树(UI tree)选取欲调改的UI组件)。
  • 功能逻辑设置:在右侧切换置tweak页签,选取欲修改设置的tweak,修改后保存即可完成设置。注意:tweak需在App中通過代碼接入(参考iOS 设置云开关Android 设置云开关)。

单一个Variant可以同时设置UI与tweak; 一个实验中,至多可以设置9种配置(Variant)以同时作试验。

步骤3. 设置实验目标与覆盖用户
  • 实验目标:针对此次试验的首要对比目标,作为当前App(对照组)与Variant(实验组)的核心优化依据。可以指定单一用户行为转化(Event)或者留存数据作为核心指标。

  • 覆盖用户 : 选定此次试验的影响用户范围。支持随机与指定用户两种设置方式:

随机:直接指定覆盖用户比例,所有用户会依据该随机机率进行用户筛选。
指定用户:支持依据指定用户的国家、设备语言、设备型号、OS版本等属性作用户筛选。

注意:试验开始后,覆盖用户设置可以修改,但为确保试验数据的准确度,新的设置仅会影响到未参与试验的用户。

步骤4. 确认欲发布的实验组(Variant),并开始试验。

三、试验结果

试验开始后,被筛选到的用户在下一次冷启动App时,即会看到试验设置的内容。AppCooking会实时收取实验覆盖人数,以及各个Variant在不同数据维度下的数据表现,当覆盖用户到达一定数量且数据逐步趋于稳定时,即可终止试验并且选取最佳方案,全量发布新的配置版本。

注意:试验仅针对独立版本进行,不会跨版本进行覆盖。若需要跨版本进行App更新,请使用tweak作试验,并在试验终止后,将试验结果更新到tweak。



results matching ""

    No results matching ""