垂直领域真的需要给ai特定的某些东西吗?
最近在研究渗透测试agent,前段时间参加了第二届腾讯黑客松,拿了个第十九,但始终感觉我们做的东西还不够完美,最近抽出时间来继续开发,把第一绿盟科技的skill直接拿过来用,看上去是一套很成熟的skill体系,但是用的过程中我感觉到,ai变蠢了,没错,他的每一步命令和思考远远不如codex。
做的过程一度有点灰心,如果都不如codex做了还有什么意义呢,codex破甲又不是什么难事,到这里突然醍醐灌顶,那为什么不直接向codex学呢?
来看codex的系统提示词
codex——gpt5
default.md
意外吧,他不仅没有给任何安全相关的知识和引导,甚至连工具都没有说明,但是codex所体现的能力无需我多做描述。这说明一件什么事情?
我们在给agent套上一层重重的枷锁
垂直领域的agent确实需要特定的知识和能力,我不否认这一点,我想说的是,不要让过多设计限制住模型的能力。
比如系统提示词,没必要告诉他怎么做渗透测试,只需要告诉他当前的环境是什么样的,他有哪些可用的工具,彻底释放模型本身的能力。
当然,这一点是针对本身能力就足够强的模型。
那问题又来了,像这样做不是完全依赖模型本身的能力吗,所以我觉得一个非常有必要的东西,就是观察agent,就像人在看codex工作时,所参与的无非是两件事;纠偏和纠正。
那你又凭什么觉得一个ai搞不定的东西另外一个ai能帮他搞定,客观一点来说:ai在长步骤,长上下文,近期工具反馈容易出现幻觉和偏移,还喜欢钻死胡同,主观一点来说:确实还在一个探索尝试的阶段,目前我只能回答的是,这个东西不难加,加上的效果不会差。
在这个vibe coding的时代想做出一个什么东西不再困难,所以我觉得再说自己做了什么什么根本没意义,真正有意义的是什么,是你做的东西是不是一个好东西。
谁都能用ai做点东西出来,但大家也知道无脑ai不可能做出来一个好东西,要做出一个好东西只能靠大量的实践,只有大量的实践你才会知道ai前端写的不协调十有八九是它那个破补丁跟老代码冲突了,同样也只有大量的实践你才能培养出敏锐的判断力,知道ai给你的东西是不是好东西
