Python SciPy 1.13 假设检验实战：3类业务场景下的统计决策与代码实现

Python SciPy 1.13 假设检验实战：3类业务场景下的统计决策与代码实现

假设检验是数据分析师和算法工程师工具箱中的瑞士军刀，但太多人停留在理论层面。当业务部门抛来"A/B测试结果可信吗？"、"这批产品质量是否达标？"、"新模型真的比旧模型好吗？"等灵魂拷问时，真正能快速给出统计严谨回答的工程师不足三成。本文将用SciPy 1.13最新统计函数，拆解三个高频业务场景中的假设检验实战要点。

1. 环境配置与数据准备

工欲善其事，必先利其器。推荐使用Python 3.10+与SciPy 1.13的组合，这个版本对统计检验函数进行了多项性能优化：

# 验证环境版本 import sys import scipy print(f"Python {sys.version.split()[0]}, SciPy {scipy.__version__}") # 基础库导入 import numpy as np import pandas as pd from scipy import stats import matplotlib.pyplot as plt plt.style.use('seaborn-v0_8')

模拟业务数据是检验代码可靠性的第一步。我们创建三个典型数据集：

# A/B测试数据：对照组与实验组转化率 np.random.seed(42) control = np.random.binomial(1, 0.15, size=2000) variant = np.random.binomial(1, 0.18, size=1800) # 质量控制数据：生产线批次尺寸 production_line_a = np.random.normal(50.2, 0.8, 150) production_line_b = np.random.normal(50.5, 1.2, 150) # 模型评估数据：新旧模型预测误差 old_model_errors = np.abs(np.random.normal(0, 2.5, 300)) new_model_errors = np.abs(np.random.normal(0, 2.1, 300))

2. A/B测试中的比例检验实战

当产品经理拿着7天实验数据追问"新版本转化率提升是否显著"时，两独立样本比例检验(z-test)是最佳武器。但实践中常见三个陷阱：

1. 样本量不平衡：对照组2000用户，实验组仅500用户
2. 多重检验问题：同时测试转化率、留存率、客单价等多个指标
3. 新奇效应干扰：用户因界面变化产生短期行为偏差

2.1 比例检验完整实现

def ab_test_analysis(control, variant, alpha=0.05): """执行两样本比例检验并生成可视化报告""" n_control, n_variant = len(control), len(variant) conv_control, conv_variant = sum(control), sum(variant) p_control, p_variant = conv_control/n_control, conv_variant/n_variant # 合并比例计算 p_pooled = (conv_control + conv_variant) / (n_control + n_variant) std_error = np.sqrt(p_pooled*(1-p_pooled)*(1/n_control + 1/n_variant)) # 计算z统计量与p值 z_score = (p_variant - p_control) / std_error p_value = 2 * (1 - stats.norm.cdf(abs(z_score))) # 双侧检验 # 结果可视化 fig, ax = plt.subplots(figsize=(10, 6)) bars = ax.bar(['Control', 'Variant'], [p_control, p_variant], yerr=1.96*np.sqrt([p_control*(1-p_control)/n_control, p_variant*(1-p_variant)/n_variant]), capsize=10) ax.set_ylabel('Conversion Rate', fontsize=12) ax.set_title('A/B Test Results with 95% Confidence Intervals', pad=20) # 标注统计显著性 if p_value < alpha: ax.text(0.5, max(p_control, p_variant)+0.02, f'p = {p_value:.4f}*', ha='center', fontsize=12) else: ax.text(0.5, max(p_control, p_variant)+0.02, f'p = {p_value:.4f}', ha='center', fontsize=12) return { 'z_score': z_score, 'p_value': p_value, 'lift': (p_variant - p_control)/p_control, 'significant': p_value < alpha }

2.2 业务决策要点

表：A/B测试结果解读指南

注意：当检验功效(power)低于80%时，即使p值不显著也不应直接否定方案，可能是样本量不足导致

3. 质量控制中的均值检验应用

生产线上每小时产生数百个检测数据，质量工程师需要实时判断设备是否处于受控状态。独立样本t检验和ANOVA是核心工具，但实际应用时要注意：

• 数据正态性检验：样本量小于50时需先进行Shapiro-Wilk检验
• 方差齐性判断：Levene's检验结果决定使用哪种t检验变体
• 效应量计算：Cohen's d值帮助判断差异的实际意义

3.1 完整质量控制流程

def quality_control_test(sample1, sample2, alpha=0.05): """执行完整的质量控制检验流程""" # 正态性检验 _, p_normal1 = stats.shapiro(sample1) _, p_normal2 = stats.shapiro(sample2) # 方差齐性检验 _, p_levene = stats.levene(sample1, sample2) # 根据条件选择检验方法 if p_normal1 > alpha and p_normal2 > alpha: if p_levene > alpha: t_stat, p_value = stats.ttest_ind(sample1, sample2, equal_var=True) test_type = "Student's t-test" else: t_stat, p_value = stats.ttest_ind(sample1, sample2, equal_var=False) test_type = "Welch's t-test" else: t_stat, p_value = stats.mannwhitneyu(sample1, sample2, alternative='two-sided') test_type = "Mann-Whitney U test" # 效应量计算 pooled_std = np.sqrt(((len(sample1)-1)*np.var(sample1, ddof=1) + (len(sample2)-1)*np.var(sample2, ddof=1)) / (len(sample1) + len(sample2) - 2)) cohens_d = (np.mean(sample1) - np.mean(sample2)) / pooled_std # 生成质量控制图 plt.figure(figsize=(12, 6)) plt.boxplot([sample1, sample2], labels=['Line A', 'Line B'], patch_artist=True, boxprops=dict(facecolor='lightblue', alpha=0.7)) plt.title('Production Line Quality Comparison', pad=15) plt.ylabel('Measurement Value', labelpad=10) return { 'test_type': test_type, 'statistic': t_stat, 'p_value': p_value, 'cohens_d': cohens_d, 'mean_diff': np.mean(sample1) - np.mean(sample2) }

3.2 产线异常排查策略

1. 初步异常检测：

   • 连续3个点超出2σ控制限
   • 7个连续点呈上升或下降趋势

2. 根本原因分析流程：

   • 检查原材料批次变化
   • 验证设备校准记录
   • 审查环境温湿度数据

3. 纠正措施验证：

   • 实施调整后运行30分钟再检验
   • 比较调整前后过程能力指数(Cpk)

4. 模型评估中的非参数检验技巧

当比较新旧机器学习模型性能时，误差分布往往不符合正态假设。这时Wilcoxon符号秩检验(配对样本)或Mann-Whitney U检验(独立样本)更为可靠。关键注意事项：

• 数据配对设计：同一测试集上的模型预测结果应使用配对检验
• 多重比较校正：同时评估多个指标时需使用Bonferroni校正
• 置信区间计算：bootstrap方法可估计中位数差异的置信区间

4.1 模型比较完整实现

def model_comparison(errors_a, errors_b, alpha=0.05, n_bootstrap=1000): """执行模型误差分布比较""" # 配对样本Wilcoxon检验 w_stat, p_wilcoxon = stats.wilcoxon(errors_a, errors_b) # Bootstrap中位数差异置信区间 bootstrap_diffs = [] for _ in range(n_bootstrap): sample_a = np.random.choice(errors_a, size=len(errors_a), replace=True) sample_b = np.random.choice(errors_b, size=len(errors_b), replace=True) bootstrap_diffs.append(np.median(sample_a) - np.median(sample_b)) ci_low, ci_high = np.percentile(bootstrap_diffs, [2.5, 97.5]) # 误差分布可视化 plt.figure(figsize=(12, 6)) plt.hist(errors_a, bins=30, alpha=0.6, label='Old Model', density=True) plt.hist(errors_b, bins=30, alpha=0.6, label='New Model', density=True) plt.axvline(np.median(errors_a), color='blue', linestyle='dashed') plt.axvline(np.median(errors_b), color='orange', linestyle='dashed') plt.legend() plt.title('Prediction Error Distribution Comparison', pad=15) plt.xlabel('Absolute Error', labelpad=10) return { 'wilcoxon_p': p_wilcoxon, 'median_diff': np.median(errors_a) - np.median(errors_b), 'ci_95': (ci_low, ci_high), 'improvement_ratio': np.median(errors_b)/np.median(errors_a) - 1 }

4.2 模型部署决策矩阵

表：模型比较结果行动指南

技术提示：对于分类模型，建议同时计算McNemar检验的p值，它比单纯比较准确率更敏感