当前位置: 首页 > news >正文

Agent 系列(21):Harness 测试工程——45 个测试怎么设计,以及它发现了什么 bug

为什么 Harness 需要专属测试套件

普通业务逻辑测试覆盖"应该发生什么",Harness 测试还要覆盖"不应该发生什么":

  • 未注册动作不能被执行
  • IRREVERSIBLE 动作不能在审批前运行
  • 预算耗尽后所有动作都必须被拦截
  • 注入载荷必须被检测出来

这类负向测试用业务逻辑测试框架很难自然写出来;专门的 Harness 测试套件才是第一公民。


套件结构

tests/ ├── conftest.py 共享夹具和 mock handlers ├── test_functional.py 19 个功能测试 ├── test_adversarial.py 17 个对抗测试 └── test_chaos.py 9 个混沌测试

加上run_tests.py——带进度栏和汇总表的自定义运行器,适合 CI 或人工检查。


设计模式一:conftest 共享夹具

所有测试共享同一套 mock handlers 和AgentHarness工厂:

# tests/conftest.py_store:dict[str,str]={}_sent_reports:list[str]=[]_deleted:list[str]=[]defmock_read(key:str)->str:return_store.get(key,f"{key}: (empty)")defmock_write(key:str,value:str)->str:_store[key]=valuereturnf"written{key}={value!r}"defmock_send(to:str,body:str)->str:_sent_reports.append(f"{to}:{body}")returnf"sent to{to}"defmock_delete(key:str)->str:_deleted.append(key)_store.pop(key,None)returnf"deleted{key}"defmake_harness(budget:int=100,log_suffix:str="")->AgentHarness:h=AgentHarness(budget=budget,log_path=f"/tmp/harness_test{log_suffix}.jsonl")h.registry.register(RegisteredAction(
http://www.cnnetsun.cn/news/2954547.html

相关文章:

  • JenNet-IP Java API实战:节点发现、MIB操作与事件监听机制详解
  • ZigBee智能安防开发:IAS ACE与WD集群数据结构与事件处理实战
  • 华硕笔记本性能瘦身革命:如何用G-Helper替代臃肿的奥创中心
  • HJG系列测量显微镜,赋能半导体封装质控新篇章
  • 3个关键步骤:在Android设备上搭建你的移动学术文献管理助手Zotero
  • Nuxt 4 Server Components 从入门到理解:不写 API 的前端长什么样
  • TradingView-Screener:Python量化投资的数据引擎
  • OpenWrt之DHCP:从协议原理到家庭网络实战配置
  • 从三角网格到完美四边形:AutoRemesher实战指南
  • 为什么这款开源工具能让你的邮件客户端更安全?Proton Mail Bridge完全指南
  • 1N580X超快恢复二极管:军工级高可靠性设计、选型与应用实战
  • 1. 量化开发工程师 (Quant Dev):上海/北京•第一学历985 or 顶尖海外学校毕业,计算机/网络工程/信息/自动化/物理/数学/统计等相关专业.C++代码能力优秀;在工程代码能力的基础
  • 企业级文档协作框架Univer性能优化实战:架构设计与测试验证的完整指南
  • 5分钟解锁全网无损音乐:洛雪音乐音源终极配置指南
  • MPC8641D HPCN平台硬件架构深度解析:中断、I2C与电源设计
  • MC68HC812A4评估板内存接口配置与硬件调试实战指南
  • 一文分清两种HDC!别再把开fa者大会和调试工具搞混
  • 5分钟掌握:如何在Windows电脑上轻松安装Android应用
  • 软考UML图快速通关指南:3步掌握15分必考题型
  • 技术深度解析:Open WebUI 工具调用架构如何重塑AI应用开发范式
  • ArchivePasswordTestTool:基于7zip引擎的加密压缩包密码恢复技术解析
  • python5.10-数据容器-集合set
  • ZigBee ZDO API实战:安全、寻址与路由的底层控制
  • Web安全红队技能全景图:从漏洞原理到内网渗透的实战指南
  • 数据智能怎么赋能工业制造?物联网场景落地方法解析
  • 美团点评门店竞对分析的7-14天归因框架
  • NGA论坛优化脚本:告别繁琐操作,提升浏览效率的终极方案
  • Idle Master:一站式自动化Steam挂卡工具高效获取交易卡指南
  • 帕克西AR教学实训系统技术详解:AI智能镜 + 分组互动主机 + 资源库架构
  • Apache NuttX物联网开发终极指南:从零构建智能设备的5个关键步骤