arXiv eess.SY 系统与控制· Ali Baheri, Peng Wei·· 5 小时前精选AI 评分55
基于数据驱动鲁棒可达性的工具调用 AI 代理运行时安全证书研究
Controller-Agnostic Runtime Safety Certificates for Tool-Using AI Agents via Data-Driven Robust Reachability
AI 导读
Ali Baheri 与 Peng Wei 提出一种控制器无关的运行时过滤器(shield),插在大语言模型代理与其环境之间,用于在有界任务内认证到达不安全状态的概率上界。
推荐理由
论文把大模型代理当作不透明控制器,用数据驱动鲁棒可达性给出与控制器无关的运行时安全证书,思路可迁移到其他工具调用代理的安全防护。
来源:arXiv eess.SY 系统与控制 · arxiv.org