当前位置: 萬仟网 > IT编程>软件设计>面向对象 > ABTEST实验平台

ABTEST实验平台

2020年09月29日  | 萬仟网IT编程  | 我要评论
ABTEST实验与闭环一、单层实验一般早期的ab-test都是单层实验,逻辑非常简单,比如使用userId/deviceId做hash然后取模,将流 量打在0-99,做成100份。有如下问题:1、扩展性差,只能同时支持少量实验。但是以数据驱动的业务,需要极快的创新速度,大量的创新 需要被测试,会严重delay业务。2、如果在单层同时进行多个实验,实验之间不是独立事件,并行的时候,同一个策略,只能进行一 个实验,如果多个并行支持,无法实现。不同策略之间也有影响。3、流量饥饿问...

ABTEST实验平台

一、单层实验 

一般早期的ab-test都是单层实验,逻辑非常简单,比如使用userId/deviceId做hash然后取模,将流 量打在0-99,做成100份。

有如下问题: 

1、扩展性差,只能同时支持少量实验。但是以数据驱动的业务,需要极快的创新速度,大量的创新 需要被测试,会严重delay业务。 

2、如果在单层同时进行多个实验,实验之间不是独立事件,并行的时候,同一个策略,只能进行一 个实验,如果多个并行支持,无法实现。不同策略之间也有影响。

3、流量饥饿问题:假设我们整体用户要做5个实验,如果前2个实验占据了大部分的流量,后面的3个 实验就有很少的流量可以供使用,甚至没有流量可用。 

4、流量偏置问题:假设上游的实验把所有的年轻人都获取了,下游的实验,没有年轻人的样本。导致有偏差。

二、多层实验优势: 

1、突破限制,加速迭代:以前单层最多10个组(总流量有限,分组太多会失去置信度)。现在可以无限分层,每层100%流量再分组,理论上同时在线实验组不受限;

2、层与层间流量正交,还有业务场景间也流量正交,不用担心不同场景间的abtest互相影响;

 3、独立平台:除了推荐搜索业务,抽离架构依赖,独立为通用ABTEST实验平台,让其它业务都可接入

 

三、ABTEST实验闭环

ABTEST目的观测的指标需要多维度对比,以及观测显著性效果,用于判断 是否放量、推全、下线实验依据;

原来方式是需要将数据报表打通到报表系统,在报表系统上观测数据效果,缺点就是实验策略是什么都要一一 对应,链路太长,效率比较低;

后面将整个数据指标迁移到abtest实验平台,直接可以看到某个实验的实验效果数据,提高效率;

 

点击实验效果观测:

 

此处显著性需要再调整为直接给是否显著,而不给数值

四、未来展望

  • 自动化报警提醒,将实验结论可自动化通知到相关人员;
  • 再则可自动化扩量实验、回收下线实验

五、参考架构资料

 

参考google重叠实验论文 https://ai.google/research/pubs/pub36500

本文地址:https://blog.csdn.net/duck_genuine/article/details/108871414

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

相关文章:

  • python面向对象(封装、继承、多态)+ 面向对象小栗子

    python面向对象(封装、继承、多态)+ 面向对象小栗子

    大家好,下面我说一下我对面向对象的理解,不会讲的很详细,因为有很多人的博客都把他写的很详细了,所以,我尽可能简单的通过一些代码让初学者可以理解面向对... [阅读全文]
  • 面型对象之匿名对象

    匿名对象的概念: 匿名对象是指创建对象时,只有创建对象的语句,却没有把对象地址值赋值给某个变量。 格式: 创建一个普通对象 创建一个匿名对象 匿名对... [阅读全文]
  • 好的学习带给我什么

    好的学习带给我什么

    小伙伴们知道《励学篇》吗?他是宋真宗赵恒写的。如果现在的你是正在教室里备战高考的学子,那十有八九会知道诗句的内容。但是对于已经许久没读过古诗句的你,... [阅读全文]
  • demo_1

    我练习的demo是基于SSM+MySQL+Eclipse+Tomcat8+Maven3实现的; 创建项目 ## 创建Maven Project: A... [阅读全文]
  • 第二章 Js语法

    来博客园已经有二年了,看了看自己发布的内容,少的可怜。完全背离了自己的初衷。how time fly,想着自己两年后,还是没写什么东西,岂不是白白浪... [阅读全文]
  • Java类

    概述 1. 类 a. 类是构造对象的模板和蓝图 b. 由类构造对象的过程成为创建类的实例 c. 封装从形式上看就是数据和行为组装... [阅读全文]
  • 面向对象分析与设计(第3版)pdf高清下载

    经典名著。 前面几章,从生活各处现象入手分析抽象与分层,收获良多。其实软件也像生活中很多平常事物一样,有着它的本质,只是需要我们不断学习,不断抽象,... [阅读全文]
  • java常用API之Date类

    Date类: 类 Date 表示特定的瞬间,精确到毫秒。 毫秒概念:1000毫秒=1秒 毫秒的0点: System.currentTimeMilli... [阅读全文]
  • 入门篇 第1章 初始Python

    入门篇 第1章 初始Python 1.1 Pyhton 概述 1.1.1 了解 Python Python,本义是指“蟒蛇”。1989年,荷兰人Gu... [阅读全文]
  • C#:继承过程中的静态成员

    C#:继承过程中的静态成员

    在知乎上看到一个关于“泛基“的实现,感觉挺有意思,想试试效果,代码如下: 先忽略这段代码的作用,重点是运行后控制台没有任何输出。跟踪一下发现根本没有... [阅读全文]
验证码:
Copyright © 2017-2020  萬仟网 保留所有权利. 粤ICP备17035492号-1