模型上线当天 OOM：我排查一晚才发现是模型加载方式埋的坑
模型上线当天 OOM:我排查一晚才发现是模型加载方式埋的坑
星期一上午十点,我把新版推荐模型推上了灰度。五分钟不到,告警群炸了--EKS 里四个 Pod 轮流重启,日志里全是 OOMKilled。直觉告诉我肯定是 batch size 开大了,毕竟训练时那点数据都能吃完 16G 内存。我切进 CloudWatch 把 batch size 从 32 一路砍到 1,重启后 Pod 照样跪。
那台机器跑的是一个看起来人畜无害的 XGBoost 分类器,参数量不过 200 棵弱树,怎么可能吃光 8G 内存?我对着 htop 发呆时,才想起自己压根没正经学过模型推理时的内存模型--当初靠机器学习入门课程搭起训练链路,以为能训出模型就万事大吉,却漏掉了部署阶段最关键的知识。其实机器学习基础这门课早就把模型加载模式、特征转换与内存生命周期讲透了,如果我早点翻完,根本不会在这种低级问题上烧掉整个下午。
灰度第一小时:批量大小不是真凶
我在笔记本电脑上复现了推理流程。为了模拟线上请求,写了个简单的负载脚本,用不同 batch size 压测,观察 RSS 增长:
# 压测脚本片段,用 httperf 连续发送不同 batch 的请求 for size in 1 4 8 16 32; do echo "Testing batch_size=$size" httperf --server=localhost --port=8080 --uri=/predict --num-calls=1000 --wsess=1,100,0 --rate=20 done结果让我更困惑:batch size 改成 1 后,内存依旧每秒涨 20MB,直到 OOM。这显然不是张量尺寸问题。我开始怀疑特征处理阶段有内存拷贝,于是把预处理代码逐行拆开,检查每个 numpy 数组的生命周期。
排查过程中,我翻出之前机器学习入门的笔记,里面只写了fit_transform的用法,却没提生产环境中如何避免重复初始化。这就是机器学习基础被很多工程师跳过去的原因--看起来太理论,但其实课程里“模型管道”那章直接教了如何在推理侧复用 Transformer 和模型对象,避免反复加载。如果不懂这些,线上事故只是迟早的事。
根因浮现:一个忘记复用的模型对象
我把推理服务的代码拉下来细看,发现 Flask 端点里这样写:
import joblib from flask import Flask, request app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): data = request.json model = joblib.load('model_v3.joblib') # 每个请求都加载一次模型 preprocessor = joblib.load('preprocessor.joblib') # 预处理对象同样重复加载 x = preprocessor.transform(data['features']) return model.predict(x).tolist()每次请求进来,joblib.load都会从磁盘读入整个模型文件,反序列化成 Python 对象,结束后虽然局部变量被 GC 回收,但 Python 内存分配器往往不会立即归还给 OS,RSS 就会只升不降。一个简单的 XGBoost 模型文件有 80MB,每秒钟几十个请求,几分钟就能撑爆容器内存。
我把模型和预处理器移到模块全局作用域,重启后 RSS 稳稳停在 300MB 以下:
import joblib from flask import Flask, request app = Flask(__name__) model = joblib.load('model_v3.joblib') # 全局加载一次 preprocessor = joblib.load('preprocessor.joblib') # 预处理也只加载一次 @app.route('/predict', methods=['POST']) def predict(): data = request.json x = preprocessor.transform(data['features']) return model.predict(x).tolist()修完那一刻,我真想给自己两个嘴巴--这么基础的内存管理常识,竟然因为跳过了机器学习基础的系统学习而变成线上事故。AWS 机器学习提供的在线课程里,专门有一节“模型部署与监控”,用 SageMaker 的 endpoint 配置演示了如何指定模型加载方式与实例类型,看完之后我才意识到自己之前连一个基本的全局单例都没做到。
内存泄漏的连锁反应:那些我从来没考虑过的“基础”
修完加载方式后,我开始回查推理服务的其他角落。发现特征工程那部分也有类似的坑:每次请求都重新计算滑动窗口的聚合统计,创建大量临时 DataFrame。而在机器学习基础课程里,特征工程与数据预处理被放在同一个模块中讲解,强调“一次计算、多次消费”的原则,还给出了特征存储的实践案例。如果早点学完这门课,我就不会把计算密集的聚合压在在线请求里。
更让我后怕的是,这个模型在训练时我在本地用 GridSearch 做超参调优,只盯着 validation AUC,完全没考虑推理延迟和内存占用。机器学习基础里的“模型选择与评估”章节明确说了:超参优化除了看混淆矩阵、F1 之外,还要结合硬件资源做 trade-off。我后来重新跑了实验,把树的深度从 8 降到 5,内存占用反而再降 40%,AUC 只掉了 0.003--这个收益足够让业务方接受了。
同事问我,为什么连深度学习入门也要补?我说虽然现阶段不用神经网络,但AWS 深度学习那门课中讲到的模型优化技巧(比如算子融合、混合精度推理)同样能迁移到传统机器学习服务上。亚马逊云科技机器学习的学习路径把传统 ML 和 DL 放在同一个框架里,让我第一次明白模型格式(ONNX/TensorRT)和运行时选择对内存的影响有多大。
补课之后的重构:从 OOM 到压测不抖
我用三天时间翻完了机器学习基础全部章节,然后重新设计推理服务。这一次我把机器学习管道拆成离线 batch 生成特征 + 在线模型直接评分两部分,离线侧用 Spark 跑特征宽表存到 Redis,在线侧只负责读取特征、调用模型。重构后,同样的 EKS 实例,压测 QPS 从 40 提到 180,RSS 稳稳压在 400MB 以内。
过去我以为机器学习管道只是概念,实战时才发现它直接影响架构。课程里演示的 SageMaker Pipeline 示例让我直接把离线训练、在线预处理的边界理清楚。现在团队里新接手的同事,我都先让他们学完机器学习基础再碰部署代码,不然迟早再踩我那个坑。
那些学了才知道重要的小事
排查整件事的过程,让我重新认识了几个“看起来不重要”的知识点:
- 过拟合不只影响精度,一个严重过拟合的模型通常参数膨胀,推理时内存也大。课程里用实际案例讲了剪枝和正则化如何同时提升泛化能力和降低资源消耗。
- 混淆矩阵也不是只看对角线,当真实线上分布发生变化时,课程中教的“数据漂移”检测方法让我在灰度期间就能发现分布偏移,避免上线后再狼狈回滚。
- 数据预处理中处理缺失值的方式,如果选用中位数填充会引入额外的全局统计对象;课程里对比了几种策略的内存开销,我才知道用常数填充反而在推理侧最轻量。
把这三块补完后,我甚至开始复看深度学习入门里的模型导出和 Serving 章节,虽然团队目前没上 DL,但预加载模式的思路完全相通。深度学习入门用 PyTorch 的torch.jit.trace演示了如何将模型固化并快速加载,这和我用 joblib 全局加载的思想一模一样。
给你我的行动清单
这 6 条是我压测当晚总结出来的,现在贴在工位上,每次提交前都先核对一遍。
- 模型和预处理器一定要全局加载一次,绝不要在请求处理函数里做 IO 或反序列化。
- 先去学完机器学习基础,搞清楚模型生命周期和推理内存模型,再谈性能优化。这门课里“模型部署”章节用真实场景演示了怎样配置 SageMaker endpoint 的实例类型和内存预留。
- 特征工程的计算尽可能挪到离线层,在线只做轻量读取和拼接;机器学习管道里的批特征生成模式值得到落地页里查看具体案例。
- 超参调优不能只看准确率,必须加入推理延迟和内存占用两个约束--课程中有完整的评估表格模板可以直接复用。
- 灰度发布时别只盯成功率,也要监控 RSS、GC 频率和 CPU throttle;这些指标AWS 机器学习的实验模块里都有对应的 CloudWatch 告警示例。
- 即使做传统 ML,也要翻翻深度学习入门和AWS 深度学习,里面的模型优化思路会给你完全不同的启示。
现在回头看,那天的 OOM 其实是我长期忽视基础的代价。当我真正把机器学习基础的每一小节啃完,并照着亚马逊云科技机器学习的实验环境动手跑了一遍后,才发现推理服务可以做得又稳又省资源。如果这篇文章让你想起了自己某个同样狼狈的上线日,不妨点开机器学习基础看看,里面那条“模型加载与推理性能”的知识线,可能就是你再也不用熬夜排障的理由。