由 AgentPulse (LX AI)

Agent 可观察性与经典 APM

Agent 可观察性是指记录自主代理的决策、调用工具和返回结果作为可回放的序列。经典 APM 是围绕请求建立的,请求有开始、结束和状态码,而代理运行没有这些保证。

传统APM的局限性

应用性能监控(APM)通过回答关于服务的问题来证明其价值:结账API是否慢,数据库是否饱和,部署后错误率是否激增。这些问题对于代理前面的API网关仍然很重要。但是,它们无法回答代理是否选择了错误的工具,是否进入了规划循环,或者是否偏离了其历史工具混合。

- 它假设一个请求对应一个响应。一个代理运行可能会进行数十个模型和工具调用。 - 它不对工具选择进行建模,因此“错误工具”看起来像一个健康的200。 - 延迟和错误率对于代理的计划是否有意义没有任何说明。

记录代理的内容

- 代理运行开始的目标或指令(如有需要,进行编辑)。

- 每个决策点:所选工具、参数指纹和返回的结果类。

- 重试、回退和循环,包括次数。

- 最终输出类及其产生方式。

- 足够的上下文,以便稍后在不存储超过策略允许的个人身份信息(PII)的情况下重现调查。

APM 和 agent watch 是互补的

保持现有的 APM 来监控围绕 agent 的 Nest/Express/Next 服务、队列和数据库。为决策层添加 agent watch。尝试将 agent 问题强制仅纳入 RED 指标(速率、错误、持续时间)中的团队,最终会得到看似健康的仪表盘,但用户会抱怨 bot "卡住了"。

采样、成本和保留

安全监控与可观察性

代理可观察性工具购买清单

- 是否可以看到工具选择和计划长度,而不仅仅是延迟? - 每个警报是否链接到可重放的有序跟踪? - 每个代理是否有基线,并且在模型/提示更改时有重置钩子? - 是否标记了演示和实时AI路径(没有静默模拟)? - 是否避免了保证/100%/永远不会错过的营销? - 是否以简单语言说明了隐私保留?

AgentPulse 的适用场景

合成场景(不是客户案例研究)

将问题映射到正确的系统

问题 | 首选系统 网关是否慢?| 经典APM / RED指标 模型调用是否失败?| OTel GenAI跨度 + 提供商指标 代理是否在工具上循环?| 代理监视 / AgentPulse 此功能是否应被允许?| 政策决策点 / 保护栏

构建最小跟踪模式

您不需要在第一天就拥有一个完美的模式。一个实用的最小集是:runId、agentId、stepIndex、eventType(决策|工具|重试|最终)、toolName、argsFingerprint、resultClass、timestamp、modelId、promptHash。这个集合支持循环计数、工具混合的漂移和重放,而无需存储每个令牌。

当隐私政策允许内容捕获时,将其存储在更严格的访问和更短的保留期之后的元数据中。默认为元数据仅用于常规运行;仅对采样调查升级为内容捕获。

采购对话中的诚实

从仅有APM到支持代理的迁移路径

第一周:保持APM不变。为每个代理调用添加一个runId,并为每个步骤记录一条决策摘要行。仅凭此就可以从日志中重构粗略的跟踪路径。

第二周:发出有关工具名称和参数指纹的结构化事件。为每个代理构建每周的顶级重复模式报告。目前不需要分页 —— 只需要可见性。

第三周:为每个代理定义计划长度和工具混合的基线。仅对具有链接跟踪路径的极端异常值进行分页。在扩大覆盖范围之前,使用值班团队调整阈值。

第四周:如果您已经操作OTLP管道,则连接可选的OTel GenAI跨度。即使原始跨度存储在其他地方,也请保持AgentPulse(或等效项)作为监视叙述。角色明确时,双源是可以的。

在整个过程中,拒绝在任何辅助报告路径中使用静默模拟AI。如果缺少模型密钥,请说明。如果上游失败,请说明。操作员更信任能够承认不确定性的系统,而不是编造成功的系统。

最后,将诚实句写入产品FAQ和安全页面:仅提供决策支持,而不是正式的安全审计,没有100%的检测,没有永远不会错过的承诺。这句话可以在销售审查期间保护客户和您未来的自己。

如果您只记住一句话:经典的APM监视服务;代理可观察性监视决策。您需要两者,并将其分配给能够实际更改每个层的人。

常见问题

我们可以使用现有的APM吗?

你应该为代理周围的服务使用它 —— 但它不会单独显示工具选择、规划或循环.

这与使用OpenTelemetry进行跟踪相同吗?

OpenTelemetry为跨度和上下文提供了管道. 代理特定部分是决定哪些事件和属性对于循环和漂移很重要.

在这种情况下,什么是漂移?

随着时间的推移行为发生变化 —— 不同的工具混合、更长的计划、更多的重试 —— 没有代码或提示更改来解释它.

这会生成多少数据?

足够让采样和保留需要提前决定,尤其是如果你存储提示和工具输出.

存储跟踪是否会创建隐私问题?

它可以. 跟踪通常包含用户内容;将它们与应用程序数据一样处理,使用相同的保留和访问控制.

监控是一个安全控制吗?

不. 它是检测和证据. 阻止有害操作需要运行时防护.

AgentPulse能保证我们永远不会错过故障吗?

不. 诚实规则:不做100%检测声明,也不做永远不会错过的承诺.

是的,它们都与代理监控和安全有关,和也是相关工具.

参考

- OpenTelemetry — GenAI 可观测性 (2026) - OTel GenAI 代理跨度 - NIST — AI 风险管理框架

尝试产品:AgentPulse

2026-09-26 · 只使用主要来源 · 不允许虚假流量指标 · 只用于决策支持 · RULESET_VERSION 2026-09-26

相关文章

- 检测生产环境中的代理循环和漂移 - 浏览完整的AI微SaaS主题矩阵 →

经典 APM 在哪里存在不足?

应用性能监控(APM)通过回答关于服务的问题来证明其价值:结账 API 是否慢、数据库是否饱和、部署后错误率是否激增。这些问题对于代理前面的 API 网关仍然很重要,但它们无法回答代理是否选择了错误的工具、进入了规划循环或偏离了其历史工具混合。

代理需要记录什么?

2026 年的 OpenTelemetry GenAI 文档详细介绍了此跨度树的想法:一个 invoke_agent 父级,具有聊天和执行工具的子级,以及令牌和持续时间指标。内容捕获是可选的,因为提示可能包含敏感数据。将其视为设计约束,而不是事后补充。

APM 和代理监控如何互补?

保留现有的 APM 用于代理周围的 Nest/Express/Next 服务、队列和数据库。为决策层添加代理监控。尝试将代理问题强制仅用 RED 指标(速率、错误、持续时间)来衡量的团队最终会得到看似健康的仪表盘,但用户会抱怨机器人 " 卡住 "。

采样、成本和保留是什么?

如果存储完整的提示和工具有效载荷,代理跟踪会迅速增长。在前期确定采样和保留。对于仅需要循环检测的参数,首选哈希。首选短期保留并导出事件。将访问控制与 GDPR 第 32 条(处理安全性)进行对齐 —— 不要假设一份一页的文件等同于认证。

安全监控与可观察性有什么区别?

OTel 关于代理授权属性的讨论强调了一个重要的诚实观点:生产者发出的信任或漂移评分是观察的决策输入,而不是您应该盲目执行的经过验证的安全事实。监控和授权是不同的操作。AgentPulse 监控行为;它不替代允许或拒绝功能的策略决策点。

仅供决策支持,不是正常运行时间 SLA、安全审计或保证代理永远不会失败。

← 返回博客

这次结果有帮助吗?反馈