《美团2025年可信实验白皮书》PDF免费下载

一、核心实验方法体系

1. 随机对照实验

• 核心逻辑：通过随机分流将实验单元分为实验组（新策略）与对照组（旧策略），保证两组特征均衡，以因果推断评估策略效果。
• 关键技术：包含普通随机分组（适用于大样本）、完全随机分组（保障中小样本分组比例），支持连续型、比率型、求和型、ROI 型等多类指标评估。
• 优化手段：采用 CUPED 方差削减技术降低实验误差，通过分层随机、配对随机、协变量自适应分组提升中小样本同质性；针对溢出效应，构建区域溢入溢出模型、随机饱和实验等解决方案。

2. 随机轮转实验

• 适用场景：解决空间溢出效应与样本量不足问题，不适用于用户感知明显的策略。
• 主要类型：抛硬币随机轮转（短时间片、增样本量）、完全随机轮转（全城按天轮转，消除溢出）、配对随机轮转（半城配对，控制天级差异）。
• 关键注意：需警惕携带效应（上一时间片策略影响后续），通过异常值剔除、协方差分析处理干扰因素。

3. 准实验

• 适用场景：无法随机分组但可干预的场景（如区域边界优化、溢出效应 + 小样本约束）。
• 核心方法：双重差分法（DID），通过 “实验后差异 – 实验前差异” 剥离策略效果，需满足平行趋势假设，支持时间固定效应、个体固定效应模型优化。
• 实操要点：采用半城平行趋势分组，通过多轮抽样选择最优分组，基于实验前模型适配情况确定评估方法。

4. 观察性研究

• 适用场景：受法律、成本约束无法干预分组的场景（如政策评估、全城灰度策略）。
• 核心方法：
  • 合成控制法：加权组合多个相似对照组构建 “虚拟对照”，适用于个案研究与多期面板数据。
  • 匹配方法（含 PSM）：通过倾向得分等距离度量，为实验组匹配相似对照组，减少选择偏差。
  • Causal Impact：基于贝叶斯结构时间序列模型，构建虚拟对照预测反事实结果，适配城市级营销等复杂场景。

二、高阶实验工具

1. 统合分析

• 核心价值：整合多个独立实验结果，解决单次实验功效不足问题，避免辛普森悖论。
• 加权方式：逆方差加权（固定 / 随机效应模型，提功效）、分母求和加权（比率型指标，对齐业务口径）、样本量加权（连续型指标，易理解）。

2. 多重比较修正

• 问题解决：控制多指标、多实验组、频繁查看结果导致的假阳性风险。
• 实现方法：采用二阶段 Benjamini-Hochberg 方法，动态调整 FDR 阈值，修正 P 值以保障结果可靠性。

3. 拓展工具

• 序贯分析：支持实验中期监控结果，在控制第一类错误的前提下缩短实验周期。
• 异质性因果效应（HTE）：识别不同子群体对策略的差异化反应，辅助参数寻优。
• MAB 多臂老虎机：动态分配流量，平衡策略探索与利用，提升迭代效率。

二、实验设计与评估关键要点

1. 实验前准备

• 指标体系：明确目标指标（核心效果）、护栏指标（风险控制）、驱动指标（中间过程），确保指标可计算、可归属、及时灵敏。
• 样本量与 MDE：通过公式预估最小样本量，基于 MDE（最小可检测效果）判断实验可行性，避免样本不足导致的无效结论。
• 分组验证：通过同质性检验、SRM 检验（样本比率匹配）确保分组随机性。

2. 实验中监控

• 统计陷阱规避：警惕分配机制、计算口径、检验方法、多重比较、独立性等五类陷阱，避免方差低估或假阳性。
• 异常处理：针对突发干扰，采用 3-sigma 或 IQR 方法剔除异常值，或通过协方差分析 + CRSE（聚类调整标准误）修正偏差。

3. 实验后评估

• 显著性判断：基于 P 值（默认 α=0.05）、置信区间判断策略效果，结合 MDE 分析不显著原因（样本不足 / 策略无效）。
• 稳健性检验：通过安慰剂检验、改变干预时间、多模型交叉验证确保结论可靠。

三、工具支撑：开放式分析引擎

1. 核心特性

• 功能覆盖：集成四大类 11 + 实验方法、7 + 分组方法、10 + 假设检验方法，支持多重比较修正、统合分析、功效测算等高阶功能。
• 易用性设计：标准化参数输入，自动适配检验方法，亿级数据分钟级分析，支持线下 SDK 与平台化接入。

2. 接入方式

• 平台全托管：图灵实验平台提供一站式实验设计、下发、报告生成服务。
• 服务化接口：为第三方平台开放实验设计与评估能力。
• 线下 SDK：支持原子方法调用，适配快速验证、结果交叉核对等场景。

四、核心结论与实践建议

1. 核心结论

• 实验方法选择优先级：随机对照实验＞随机轮转实验＞准实验＞观察性研究，需根据样本量、溢出效应、干预可行性灵活适配。
• 关键成功要素：科学分组保障同质性、精准指标体系支撑效果量化、规避统计陷阱确保结论可信。

2. 实践建议

• 业务适配：大样本场景优先随机对照实验，空间关联强的场景采用轮转实验，无干预权限时选用观察性研究方法。
• 效率提升：善用分析引擎工具，通过 CUPED、统合分析等技术缩短实验周期、提升检验灵敏度。
• 风险控制：实验前明确护栏指标，实验中监控异常波动，实验后进行稳健性检验，避免决策偏差。