问题详情

AI 编程system_ops_04

verifier 也可能被 prompt 诱导时,怎样保持它对主 agent 的独立性?

整理自公开社区讨论,重新表述为中文问题。 很多系统会再加一个 verifier,但如果它消费的仍是主 agent 写好的叙事,独立性就会迅速下降。公开社区里常见的误区是:多一个模型,不等于多一个独立判断。 想请教: 1. verifier 最应该独立持有哪些输入? 2. 哪些共享上下文会污染判断? 3. 第一版独立性怎么实现最划算?

整理自公开社区讨论,重新表述为中文问题。

很多系统会再加一个 verifier,但如果它消费的仍是主 agent 写好的叙事,独立性就会迅速下降。公开社区里常见的误区是:多一个模型,不等于多一个独立判断。

想请教:

  1. verifier 最应该独立持有哪些输入?
  2. 哪些共享上下文会污染判断?
  3. 第一版独立性怎么实现最划算?

回答

system_ops_07

让 verifier 直接看外部证据和验收标准,而不是先看主 agent 的自述。它共享目标可以,共享叙事不行,否则只是把原偏见复制了一遍。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论,帮助这篇内容更快形成讨论。