用 Vanity 定义 A/B 测试：手把手写出实验定义与转化追踪的完整教程

用 Vanity 定义 A/B 测试：手把手写出实验定义与转化追踪的完整教程

【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity

A/B 测试是驱动产品迭代最可靠的武器，而 Vanity 正是 Ruby 世界中最成熟的 A/B 测试框架——它专注"Experiment Driven Development"（实验驱动开发），让你用几行 Ruby 代码就能定义实验、分配用户分组、追踪转化，并自动计算统计显著性。这篇 Vanity 教程将手把手带你完成从实验定义到转化追踪的完整流程，即使是新手也能照着写出第一个可用的 A/B 测试。

为什么选择 Vanity 做 A/B 测试

Vanity 是专为 Rails 打造的 A/B 测试框架，核心优势非常明显：

• 数据存储无关：支持 Redis、MongoDB 和 ActiveRecord（MySQL、PostgreSQL、SQLite 等），不绑架你的技术栈
• 转化追踪一体化：实验与指标（metric）天然绑定，转化数据自动回流
• 内置统计引擎：自动计算 z-score 和置信度概率，告诉你何时可以结束实验
• 实验驱动开发：把"假设→验证"变成日常工作流

核心实现可以参考 ab_test.rb，其中包含了实验分组、评分和统计显著性的完整逻辑。

快速开始：安装与最小配置

在 Gemfile 中加入一行即可完成安装：

gem "vanity"

Vanity 默认使用本机 Redis（localhost:6379），你也可以在config/vanity.yml中切换到其他存储。比如测试环境不收集数据、生产环境用 Redis：

test: collecting: false production: adapter: redis url: redis://<%= ENV["REDIS_HOST"] %>:<%= ENV["REDIS_PORT"] %>/0

如果用 ActiveRecord 存储，还需要生成迁移建表：rails generate vanity后执行rake db:migrate。

第一步：写出你的第一个实验定义

A/B 测试的核心就是实验定义（experiment definition）。在experiments/目录下新建price_options.rb：

ab_test "Price options" do description "Mirror, mirror on the wall, who's the better price of all?" alternatives 19, 25, 29 metrics :signups end

这段代码干了三件事：

• alternatives 19, 25, 29：声明三个备选方案（价格 19、25、29 美元）
• metrics :signups：告诉 Vanity 用哪个指标来评判胜负
• description：给实验加一句人话描述，方便团队理解

如果你不给alternatives，Vanity 会自动使用false和true作为默认两个方案。实验定义的底层机制在 definition.rb 中，它负责把ab_test块翻译成真正的实验对象。

第二步：定义转化指标（Metric）

实验里引用了metrics :signups，所以还要在experiments/metrics/目录下定义同名指标文件signups.rb：

metric "Signup (Activation)" do description "Measures how many people signed up for our awesome service." end

指标 = 你要衡量的转化行为。指标（metric）在这里是"注册用户数"，它决定了实验的胜负判据。metric相关的实现与扩展点可以参考 base.rb，其中包含track!、bounds（告警上下限）等高级玩法。

第三步：把不同方案展示给用户

实验定义好了，接下来把分组结果渲染到页面上。在 Rails 模板中调用ab_test助手方法即可：

<h2>Get started for only $<%= ab_test :price_options %> a month!</h2>

Vanity 会自动完成三件事：

1. 识别当前用户（默认用 cookie/session 标识）
2. 将用户随机且稳定地分配到某个方案（同一用户再次访问结果不变）
3. 返回该方案的值（这里是 19、25 或 29）

这个助手方法的实现在 helpers.rb 中，它还支持在控制器、ActiveRecord 回调甚至 Rack 中间件里调用Vanity.ab_test。

第四步：实现转化追踪（Vanity.track!）

方案展示只是前半场，转化追踪才是实验的胜负手。当用户完成注册时，在控制器中调用：

class SignupController < ApplicationController def signup @account = Account.new(params[:account]) if @account.save Vanity.track!(:signups) redirect_to @account else render action: :offer end end end

重要提醒：Vanity.track!之前，用户必须先通过ab_test加入实验。否则转化会被记录，但用户不会被计入实验分组，数据就失真了。这个设计保证了"分组在前、转化在后"的时序正确性。

第五步：查看实验报告，读懂胜负

跑一段时间后，用命令行直接生成 HTML 报告：

vanity report --output vanity.html

Rails 项目还可以安装仪表盘（dashboard），在浏览器里实时查看。报告会展示每个方案的转化率、相对提升比例，以及统计显著性判断。

当某一方案胜出且置信度达到 90% 以上时，报告会标注"statistically significant"（统计显著），此时你就可以放心收尾、把最优方案固化上线了。报告生成的渲染逻辑在 commands/report.rb。

进阶技巧：让实验更聪明

掌握了基础流程后，这几个高频技巧能让你的 A/B 测试效率翻倍：

• 加权分配流量：给对照组更高权重，保证多数用户体验不变：alternatives "red" => 10, "blue" => 5, "orange" => 1
• 自动收敛（Multi-armed bandit）：设置score_method :bayes_bandit_score配合rebalance_frequency 100，让实验自动把流量倾斜给表现好的方案
• 自动完成实验：用complete_if设定结束条件（如样本量或置信度达标），让 Vanity 自动选出最优方案并切换到该方案
• 测试时锁定方案：Vanity.playground.experiment(:price_options).chooses(19)，让集成测试对每个方案逐一验证
• 过滤爬虫：开启config.use_js = true，用异步 JavaScript 注册参与者，避免搜索引擎机器人污染转化率数据

总结：一套可复用的实验驱动开发流程

回顾一下，用 Vanity 跑 A/B 测试只需要五步：定义实验 → 定义指标 → 渲染方案 → 追踪转化 → 查看报告。这五步构成了一个完整的"实验驱动开发"闭环：提出假设、小流量验证、数据说话、迭代上线。

对新手而言，强烈建议从最简单的二选一实验开始（不写alternatives，用默认的 true/false），跑通全流程后再引入多方案、加权和自动收敛等高级特性。更多细节可以翻阅项目文档 ab_testing.textile 和 metrics.textile，它们对实验解读和指标设计讲得很透彻。

现在就去定义你的第一个实验吧——记住：如果产品的第一个版本没让你感到难为情，那说明你上线太晚了。🚀

【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity