Hugging Face 每日论文·· 2 天前精选AI 评分56
Reading Right, Acting Wrong:诊断Agent循环中System One模型的决策失败
Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops
AI 导读
论文在冻结的Agent决策状态基准上,将每个下一步动作问题与针对同一状态的事实探针配对独立作答,覆盖模拟环境、客服策略、工具使用、网页导航和编码场景。结果显示在17个快速系统和1个推理模型中,多数错误动作发生在状态读取正确之后,且系统越准确这类错误占比越高;这些错误在不同系统间聚集于相同状态。
推荐理由
论文用行为探针区分了Agent决策错误中误读状态与读对却选错两类成因,对诊断快速决策模型的失效模式有方法参考。
来源:Hugging Face 每日论文 · huggingface.co