阿里PAI平台使用ESA部署模型滚动更新

阿里PAI平台使用ESA部署模型滚动更新

场景：

阿里PAI平台使用ESA部署模型，vllm部署双卡，双实例

EAS滚动更新配置:

超过期望实例数：{”rolling_strategy.max_surge“:1}

• 超过期望的实例数（JSON参数：rolling_strategy.max_surge）

  • 描述：更新时最多可额外创建的实例数，支持正整数或百分比。值越大，更新越快。。
  • 例如：100个实例，配置为20，则更新开始即创建20个新实例。
  • **默认值：**实例总数的2%（不足1时取1）。

  重要

  超过期望的实例数过大时，大量新实例上线后会立即替换等量旧实例，若新实例未预热，突增流量可能冲击服务稳定性。

最大不可用实例数: {“rolling_strategy.max_unavailable”:0}

• 最大不可用实例数（JSON参数：rolling_strategy.max_unavailable）

  • **描述：**更新过程中允许的最大不可用实例数，用于释放资源，防止因资源不足导致更新过程被阻碍。
  • 例如：设为N，更新开始时立即停止N个旧实例。
  • 默认值：
    • 专属资源组：2025年9月1日前创建的服务，默认为1。2025年9月1日后创建的服务，弹性资源池开启默认为0，未开启默认为1。
    • 公共资源组：0。
    • 灵骏智算Quota：2025年9月1日前创建的服务，默认为0。2025年9月1日后创建的服务，默认为实例数的2%（不足1时取1）。

  重要

  • 单实例服务若将最大不可用实例数设为1，滚动更新时旧实例会在新实例启动前退出，期间服务无可用实例，将短暂不可用。
  • 最大不可用实例数过大可能导致过多实例同时下线，剩余实例不足以承载流量，影响服务可用性。

EAS优雅退出配置：

优雅退出时间：{“eas.termination_grace_period”：60}

优雅退出时间（JSON参数：eas.termination_grace_period）

• **描述：**实例优雅退出等待时间，单位秒。实例进入Terminating状态后，流量被摘除，系统等待30秒让其处理完已接收请求后再下线。若请求处理时间较长，建议调大该值。
• **默认值：**30

是否发送SIGTERM：{“rpc.enable_sigterm”: false}

是否发送SIGTERM（JSON参数：rpc.enable_sigterm）

• **描述：**SIGTERM是终止进程的信号。JSON参数取值true、false。
  • false：实例退出时不会发送SIGTERM信号。
  • true：实例退出时，系统立即发送SIGTERM信号，服务主进程需在信号处理函数中实现自定义优雅退出逻辑，否则可能直接终止，导致优雅退出失败。
• **默认值：**不发送（false）