历史搜索
  1. 了解更多
  2. 学习中心
  3. 学习资料

拆分对比实验FAQ

拆分对比实验使用方法,请参看《拆分对比实验工具使用指南》
 
1、什么是拆分对比实验?
 
2、什么场景强烈建议使用拆分对比实验?
 
3、拆分对比实验的优势有哪些?
 
4、如何通过拆分对比实验来优化账户?
 
5、拆分对比实验支持的测试变量有哪些?
 
6、拆分对比实验的使用步骤是?
 
7、拆分对比实验的原理是?
 
8、拆分对比实验一次支持的实验广告个数是?
 
9、如何查看实验结论?全量推荐度和优胜广告分别是什么?
 
10、拆分对比实验的全量指的是什么?
 
11、智能放量如何设置?智能放量后还一定要全量实验吗?
 
12、拆分对比实验支持修改吗?
 
13、推荐使用编辑功能修改的情况有哪些?
 
14、拆分对比实验支持复制吗?
 
15、拆分对比实验广告复制后有什么特点?
 
16、对于不同种类的广告主,建议的实验方案分别是什么?
 
17、拆分对比实验有什么使用限制吗?
 
1、什么是拆分对比实验?
 
A:拆分对比实验工具(如下简称实验工具)是面向广告主的自助实验工具,通过实验系统实现待测广告的竞争隔离,得到有效实验结论。通过该工具,广告主可以了解到不同的投放策略对广告表现的影响,从而依据实验结论有效进行后续的广告投放优化。
 
 
2、什么场景下强烈建议使用拆分对比实验?
 
A:新策略测试、新账户测试和合约投放前测试,这三种情况下都强烈建议使用拆分对比实验。通过实验系统实现隔离竞争,避免多条对比策略之间的内部挤压,营造公平环境。可以让不同策略快速积累足量、无偏的实验数据,得到有效实验结论。
 

 
 
3、拆分对比实验的优势有哪些?
 
A:通过拆分对比实验,广告主可以便捷、有效的进行实验并得到无偏的实验结论,其优势在于:
 
(1)操作简单:通过一次实验创建,最多同时验证5种投放策略,无需分别创建广告,节省实验操作时间,提高实验效率。
 
(2)专属报表&系统判定实验结论:实验数据采用单独报表展示,方便广告主直接对比实验效果。同时,随着实验进程的发展,广告主可以借助“全量推荐度”了解目前的实验数据是否充分,借助“优胜广告”的判定辅助进行结果解读。
 
(3)隔离竞争,结果无偏:实验工具通过隔离多条待测广告间的竞争关系,让多条广告面临完全一致的竞争环境,保证效果数据可比,得到无偏的实验结论。
 
(4)实验后优胜广告一键全量:对于投放效果好的广告,实验工具提供直接全量功能让广告持续投放。通过实验验证投放策略,快速观察策略情况进而全量表现好的广告,可以保证广告在全周期内合理分配流量,提升投放效果。
 
 
4、如何通过拆分对比实验来优化账户?
 
A:将实验测试的无偏结论,复用到其他新建广告上面,得到放量方向和最优投放策略,找到适合自己的创意方向、定向思路、优化方式。
 
 
5、拆分对比实验支持的测试变量有哪些?
 
A:定向、出价方式、创意等广告策略均可以成为拆分对比实验支持的测试变量。
 
1)单一变量模式:
 
创意—每天新上多套素材、文案,到底哪个创意方向更适合您?
 
定向—新标签(标签组合)测试、人群包测试均可支持,哪种定向设置效果更好?
 
出价方式—用oCPA还是CPC?用哪种优化目标进行优化?出多少价格更适合您平衡量和成本?
 
为保证实验结果有效性,选择上述变量测试时,一次实验仅支持一个变量的测试。同时需要说明的是,出价价格为默认变量,广告主在选定任意变量时,均可对不同广告出相同/不同价格来进行实验验证。
 
2)自由变量模式
 
想要进行变量间的组合测试?想要设置广告创建过程中的其他信息为变量?
 
您可以选择自由变量方式测试:
 
自由变量—支持将广告设置中任意信息作为变量控制(可以是创意、定向、出价方式,也可以是其他信息,还可以用来测试新产品功能),且无需严苛控制单一变量,达到快速创建自由变量对照实验,快速观察自由变量/组合策略下,广告效果的目的。
 
 
6、拆分对比实验的使用步骤是?
 
A:使用步骤如下:
 

Step1了解实验:
 
  a)通过“新建广告”,直接在右上角选择“创建拆分对比实验”方式;
 
  b)通过工具箱-投放辅助-拆分对比实验路径,进入拆分对比实验页面。
 
Step2新建实验:设置想要测试的实验变量、实验广告数和其他广告设置
 
Step3观察效果:到达实验时间自动开启实验,积累实验数据,通过拆分对比实验模块中的报表随时查看各实验广告的数据对比。
 
Step4全量实验:积累充分的实验数据后得到实验结论,选择实验全量,将投放效果更佳的实验广告保持继续投放。
 
 

7、拆分对比实验的原理是?
 
A:拆分对比实验借助实验系统,将实验中的广告进行流量隔离,每个广告只能获得自身的1/n流量(n=实验广告数)。如您创建的实验中有2条实验广告,则每条广告可以获得自身50%的流量。通过实验广告间的流量隔离保证实验广告处于相同的竞争环境中,得到公平的测试结果。需要说明的是,实验广告只会相互隔离,和账户中的其他广告还是具有竞争关系的。
 
 

8、拆分对比实验一次支持的实验广告个数是?
 
A:每个拆分对比实验下支持2-5条实验广告的创建。
 
 

9、如何查看实验结论?全量推荐度和优胜广告分别是什么?
 
A:当实验开启后,广告主可以通过在广告列表,点击管理实验广告,访问实验详情页;也可以到工具箱-拆分对比实验中查看到已创建的实验详情:在同一个报表页面,可以查看到实验开启到现在的全部数据,广告主可以选择自己关注的指标进行直观便捷的对比。同时,也可以参考系统给到的指引来辅助进行结果判断,包括“全量推荐度”及“优胜广告”两项指标。
 
全量推荐度:根据目前的实验数据充分性,系统会给到全量推荐度指标,分为1星到5星五个等级。实验数据越充分,实验对比结论越可信,此时全量推荐度越高,反之则全量推荐度越低。当全量推荐度达到4星及以上时,此时已得到的实验结论具备统计意义;当全量推荐度在3星及以下时,建议广告主继续实验,待全量推荐度提升后再观察实验结论,一般需要1-3天。
 
优胜广告:依据实验数据,当某条/某几条实验广告显著优于其他实验广告时,会判定该条/多条广告为优胜广告,建议广告主全量实验并将优胜广告置于开启状态。
 
如果在实验创建初期,授权了“智能放量”,则在系统判断出优胜广告后,会自动为优胜广告倾斜更多流量:仅在此条实验计划背后流量不再等分,整个实验广告加和仍为100%流量,其中优胜广告拿到更多流量,劣势广告逐步减少流量分配。
 
同前,当观察到优胜广告的显著优势后,建议通过全量实验并将该条广告置于开启状态,来放大优势。
 
 

10、拆分对比实验的全量指的是什么?
 
A:由于实验原理要求每条实验广告只能获得自身1/n的流量(n=实验广告数),所以当您已经得到了实验结论时,即可选择将实验全量,实验中的广告即可由1/n的流量变为100%的流量。同时,全量也意味着实验中的广告不再被隔离,处于相互竞争的状态,与账户内的普通广告一致。
 
 
11、智能放量如何设置?智能放量后还一定要全量实验吗?
 
A:智能放量目前在灰度测试阶段,您可以通过联系接口运营同学申请开通。
 
在实验计划创建时,可以授权勾选 “智能放量”:
 

如授权智能放量:系统会在判断到优胜广告后,为优胜广告倾斜流量——仅在此条实验计划背后流量不再等分,整个实验广告加和仍为100%流量,其中优胜广告拿到更多流量,劣势广告逐步减少流量分配。
 

 
 
12、拆分对比实验支持修改吗?
 
A:可以。
 
普通列表视图下,支持观察实验,不可编辑;
 
转入管理实验广告列表后,现已支持编辑,操作方式与普通广告一致,灵活方便。
 
 
13、推荐使用编辑功能修改的情况有哪些?
 
A:以下场景推荐使用编辑功能,帮助实验顺利启动、观察数据:
 
a)审核未通过,实验无法进行时,通过编辑对创意、和落地页等予以优化;
 
b)App类推广,需配置、或更新渠道包跟进转化效果时,通过编辑选取应用渠道包进行推广;
 
c)必须对某些投放内容进行优化,如修改投放时间、活动细则、定向更新等非实验变量条件时:将所有实验广告均予以同样编辑修改(此时请注意:不要因编辑修改增加实验变量因素,使得差异复杂化,难以得到有效结论)。
 
*为控制投放风险,也可以随时通过快捷编辑入口修改广告出价,以及随时暂停或开启实验中的任一条广告。
 
 
14、拆分对比实验支持复制吗?
 
A:普通列表视图下,支持观察实验,不可复制;
 
转入管理实验广告列表后,现已支持复制,操作方式与普通广告一致,灵活方便。
 
 
15、拆分对比实验广告复制后有什么特点?
 
A:广告复制后是一条普通广告,并非在实验条件下新增。
 
在实验广告列表中,选中一条实验广告点击复制后,会和复制普通广告操作一样,进入广告的创建流程:
 
复制后的广告默认位于当前实验广告所在计划内,可以选择放入其他计划、或者新建计划放入。
 
复制后的广告名称默认是“原实验广告名称”-副本。
 
 
16、对于不同种类的广告主,建议的实验方案分别是什么?
 
A:对于初期使用拆分对比实验的广告主来说,建议选定明确的测试目标(如测试A/B两个标签的效果,或测试两个素材的效果),并将测试目标设置成唯一变量,价格保持相同。在测试过程中,如需调整价格,保证实验中的广告同时调整并调整为相同价格。通过严格的控制变量法得到有效的实验结果。建议通过实验验证7天以上时间,全量后选取效果较好的实验广告继续投放。
 
对于有经验的广告主来说,价格可以成为您调整实验的关键。在实验开始后,您可以通过对价格的调整将多条实验广告的转化成本或转化量调平,来在相同成本的情况下对比转化量的大小或在相同转化量的情况下对比成本的高低。
 
 

17、拆分对比实验有什么使用限制吗?
 
A:拆分对比实验目前仅针对在投放端创建的广告开放,暂不支持通过API进行实验创建,且无法通过API对实验进行任何编辑修改。通过投放端创建、使用API进行转化行为数据回传的广告不受任何影响。

留下您的联系方式

腾讯当地营销服务中心 将尽快与您联系

  • 企业
  • 个人
选择所在地
  • 北京市
  • 北京市
选择行业
  • 餐饮美食
  • 生活周边门店
  • 教育
  • 家装家具
  • 综合电商平台
    • 电商
    • 日化服饰
    • 食品饮料
    • 零售
  • 工业工程及机械
  • 金融
  • APP及工具
    • 汽车
    • 汽车4S店/经销商/厂商
    • 汽车其他
    • 房产
    • 房地产中介/开发商
    • 房地产其他
  • 招商加盟
  • 游戏
  • 旅游
    • 大健康
    • 药品/器械
    • 消费医疗/保健品/其他
  • 商务代理及服务
  • 其他
《隐私保护声明》
4000617810
周一至周五 9:00 - 18:00
销售电话
4000617810 拨打
服务时间
周一至周五 9:00 - 18:00