CANN/cannbot-skills CP2.1测试检查验收标准
【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills
name: workflow-cp2-1 description: CP2.1 测试检查的验收标准 skill,供 QA 在测试方案检查点加载。触发:仅在明确调用时触发,不主动触发。 disable-model-invocation: true
CP2.1 测试检查验收标准
本验收点判定测试方案是否合理、覆盖充分,即 golden 方案与分级用例设计是否足以充分验证算子功能与性能。
验收对象
测试方案文档,应覆盖 golden 实现方案与 L0(门槛)/ L1(功能)/ L2(异常)分级用例设计。
通过指标
以检查项清单 + 覆盖对照逐项判定,不凭主观印象:
- golden 可信:golden 实现方案有明确算法依据,与 Spec 的数学定义一致,可作为精度比对基准。
- 分级完整:L0/L1/L2 三级用例均有设计——L0 覆盖常规 shape/dtype 门槛验证,L1 覆盖典型 / 竞品 shape 的常用功能,L2 覆盖超大 shape、空指针等异常输入。
- 覆盖对照 Spec:Spec 声明的 dtype、shape 范围、边界条件在用例设计中均有对应覆盖,无遗漏维度。
- 精度容差明确:每类用例的比对方式与容差有明确取值依据(容差引用
ops-precision-standard或 Spec 字段)。 - 通过条件:检查项与覆盖对照表全命中。具体覆盖矩阵与门槛由绑定实现给定,判定形式为"逐项对照 + 覆盖矩阵全命中"。
验收步骤
加载本 skill 时执行:
- 读取测试方案文档,核对 golden 算法依据与 Spec 数学定义的一致性。
- 逐级核对 L0/L1/L2 用例设计是否齐备。
- 构建 Spec 声明维度与用例设计的覆盖矩阵,核对全命中。
- 核对各类用例的容差依据是否明确。
- 汇总判定,给出通过 / 不通过结论。
输出
- 通过:明确结论"测试方案检查通过"。
- 不通过:返回结构化修改意见——
- 问题定位:逐条列出 golden 缺陷、缺失的用例分级 / 覆盖维度、容差依据不足处。
- 问题语义归属:测试方案设计。
只判定与给意见,不自行修改测试方案,不实现 golden 或用例。
【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
