SAM 三个检查点怎么选：ViT-H / ViT-L / ViT-B 性能对比与选型完整指南

SAM 三个检查点怎么选：ViT-H / ViT-L / ViT-B 性能对比与选型完整指南

【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything

显存只有 12GB，业务方又拍着桌子要求 20FPS——给 Segment Anything（SAM）挑哪个模型检查点？答案很直接：ViT-B。默认注册的vit_h在 V100 上单帧编码要 125ms（约 8FPS），根本挤不进 20FPS 的预算，而vit_b只要 45ms（约 22FPS），还能在 2GB 显存内跑完单图推理。

SAM 的官方推理代码只提供了三个检查点：ViT-H、ViT-L、ViT-B。它们共用同一套架构，唯一区别是 image encoder（ViT 骨干）的尺寸——prompt encoder 和 mask decoder 三个版本完全相同。选型本质是一道成本题：多买 1~2 个点 mIoU，要付多少延迟和显存？下面把三个检查点放进同一份数据档案里算清楚。

⏱️ 30 秒速查表：你的情况直接选

速查表基于 V100 单卡、1024×1024 输入、batch=1 的参考基准；换硬件后先比相对差距，绝对值以你自己实测为准。

📦 技术档案：三个检查点到底差在哪

三个检查点在代码里就是 segment_anything/build_sam.py 里的三个 builder 函数，经sam_model_registry注册：

from segment_anything import sam_model_registry sam = sam_model_registry"vit_b"

几个值得注意的共性配置：patch size 固定 16、输入统一 resize 到 1024×1024、窗口注意力 window_size=14、三个版本都恰好安排4 层全局注意力（分布在不同的层索引上）。而 prompt encoder、mask decoder、TwoWayTransformer 的维度参数三者完全一致——也就是说，"ViT-B 与 ViT-L 的区别"可以精确表述为：只有 image encoder 的宽度、深度和头数不同，其余 100% 共享。你切换检查点，API 一行都不用改。

用一条链把"从小到大"的关系压平来看：

💰 性能账本：每 1 个点 mIoU 的定价

把速度、精度、显存都当成"钱"。以下基准为 V100 单卡、1024×1024 输入、batch=1 的参考值，用来校准相对差距：

升一档要付的账：

这张表才是选型的内核：B→L 花 1.7 倍延迟买 2.5 个点，很划算；L→H 花 1.6 倍延迟只多买 1.4 个点，还多花 2.4GB 显存，明显贵了。如果你的业务指标"够用线"在 76~77 之间，ViT-L 就是精度成本曲线的拐点；再往上追，钱花得不值。

显存预算怎么选检查点

🎯 场景对位：四种业务分别落到哪个检查点

实时交互：标注工具、直播抠像 → ViT-B

点选交互要求用户"点下去、马上看到 mask"，50ms 的延迟预算只有 ViT-B 能过：45ms 编码 + mask decoder 毫秒级出三个候选 mask。

from segment_anything import SamPredictor, sam_model_registry import numpy as np sam = sam_model_registry"vit_b" predictor = SamPredictor(sam) predictor.set_image(frame) # 图像编码一次，后续每次点击都复用 embedding masks, scores, _ = predictor.predict( point_coords=np.array([[x, y]]), point_labels=np.array([1]) )

生产均衡：云端 API、工业质检 → ViT-L

对外服务最怕"某个刁钻 case 切崩了"，需要精度留白。ViT-L 的 mAP@0.75 是 74.5%（ViT-B 71.6%），对边界更严格的 mask 优势更明显；78ms 的延迟放进一个 200ms 的 API 网关绰绰有余，3.8GB 显存也让单卡多实例部署成为可能。

离线科研：数据集构建、批处理 → ViT-H

零样本批量 mask 生成是 SAM 的另一条主力链路，入口在 segment_anything/automatic_mask_generator.py，命令行版是scripts/amg.py。这类任务一夜跑几万次，没有延迟约束，ViT-H 的 78.2% mIoU 就是免费午餐。

资源受限：纯 CPU、手机、浏览器 → ViT-B + ONNX 拆分

SAM 的 mask decoder 很轻，官方脚本 scripts/export_onnx_model.py 可以把它单独导出成 ONNX，在浏览器、手机端跑（仓库 demo/ 里就是一个 React 网页 demo 的例子）：backbone 留在服务端 GPU，decoder 下沉到端侧，是显存紧张或无 GPU 环境的拆分方案。

🛠️ 落地配方：五个省显存、压延迟的动作

1. 启动时按显存自动选检查点，避免"一加载就 OOM"：

import torch from segment_anything import sam_model_registry free, _ = torch.cuda.mem_get_info() free_gb = free / 1024**3 if free_gb >= 8: choice = "vit_l" # 12.8 FPS，精度留白 elif free_gb >= 3: choice = "vit_b" # 22 FPS，显存友好 else: choice = "vit_b" device = "cpu" sam = sam_model_registrychoice.to(device)

2. 预热：冷启动的首帧包含 CUDA kernel 编译与显存分配，会把交互延迟顶上去几十毫秒。上线前用 dummy 图过 10 次：

dummy = np.random.randint(0, 255, (1024, 1024, 3), dtype=np.uint8) for _ in range(10): predictor.set_image(dummy)

3. fp16 减半 encoder 显存（ViT-H 单图从 ~6.2GB 压到 ~3.5GB 量级）：

with torch.autocast("cuda", dtype=torch.float16): embedding = sam.image_encoder(x)

4. ONNX 导出 mask decoder，端侧部署的标配动作：

python scripts/export_onnx_model.py --checkpoint sam_vit_b_01ec64.pth \ --model-type vit_b --output sam_decoder.onnx

5. 量化之后能快多少？对 SAM 做动态权重量化，encoder 里线性层的权重的计算从 fp32 降到 int8，通常可再省 25%~40% 推理时间、文件体积缩到 1/4 左右（375MB 的 ViT-B 约到 95MB）；精度损失一般在 1 个点 mIoU 以内，上线前务必用自有测试集回测。量化部署的注意点：窗口注意力路径含插值与 LayerNorm，量化覆盖范围建议只圈住nn.Linear，先测再放。

提示：predictor.set_image()只对图像编码一次，同一张图换多个 prompt 时不要重复调set_image，否则白白重付 encoder 那 45~125ms。

✅ 决策清单：三问 + 三条提醒

选型时依次问自己三个问题，答案唯一确定检查点：

三条实践提醒：

• 基准数据要自己重测。本文数字锚定 V100；RTX 4090、A100、L40S 的绝对耗时差异不小，相对排序（B < L < H）不会变。
• embedding 复用是免费午餐。set_image一次、prompt 多次，交互场景能砍掉 70% 以上的重复计算。
• ONNX 导出只覆盖 mask decoder，不是整模型。端侧部署前想清楚 backbone 放在哪一层执行，再写拆分逻辑。
• 跑通示例可直接看 notebooks/predictor_example.ipynb（提示驱动）与 notebooks/automatic_mask_generator_example.ipynb（整图 mask 生成），仓库本地安装：git clone https://gitcode.com/GitHub_Trending/se/segment-anything && cd segment-anything && pip install -e .

【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything