por AgentPulse (LX AI)

Detecção de loops e deriva em agentes em produção

Um loop de agente é uma execução que repete a mesma etapa, ou uma variação próxima dela, sem fazer progresso. Deriva é um comportamento que muda ao longo do tempo sem uma alteração no código ou prompt que o explique. Ambos são baratos de detectar se você registrar decisões, e invisíveis se você apenas registrar latência.

Porque os alertas baseados apenas na latência falham para os agentes

O monitoramento clássico de serviços cresceu em torno de um pedido que começa, termina e retorna um código de status. Uma execução de agente autônomo não obedece a esse contrato. Pode chamar ferramentas em uma árvore, repetir a mesma ferramenta com argumentos ligeiramente diferentes, abandonar um plano a meio caminho ou continuar por muito tempo após um humano ter parado. Um gráfico de latência p99 verde pode estar ao lado de um planejador que queima tokens sem fazer progresso.

As convenções de GenAI do OpenTelemetry tratam cada vez mais o trabalho de agente como telemetria de primeira classe: spans do tipo invoke_agent, filhos de execução de ferramentas e captura de conteúdo opcional quando a política de privacidade permite. Essa tubulação ajuda, mas as convenções por si só não dizem quais sinais merecem uma página. Você ainda precisa de regras de produto para loops e deriva que correspondam ao comportamento real dos seus agentes.

O AgentPulse está nessa camada de produto. Cole um exemplo de execução ou log de comportamento, escolha um foco de visualização e obtenha um relatório que destaca loops prováveis, candidatos a deriva e anomalias. Não é um backend completo do OTLP e não é uma auditoria de segurança formal. A qualidade de detecção depende dos eventos que você fornece.

Um padrão de vigilância em quatro etapas

- Ingerir eventos. Capturar decisões, chamadas de ferramentas, resultados, repetições e motivos de abandono por execução. Preferir campos estruturados em vez de logs apenas de texto livre para que você possa contar repetições sem heroísmo de NLP. - Definir o normal para esse agente. Comprimento típico do plano, mistura de ferramentas, contagem de repetições e faixa de duração — por identidade de agente, não uma média global da frota que mistura chatbots com planejadores. - Detectar anomalias. Etapas quase idênticas repetidas; comprimento da execução muito acima da faixa; uma ferramenta nunca vista antes em produção; repetições escalonadas seguidas de abandono; comprimento da saída ou taxa de recusa se afastando da linha de base. - Relatar com evidências. Uma entrada de vigilância deve vincular-se a um rastro reexecutável. Se um engenheiro de chamada não puder abrir a execução e ver as decisões em ordem, o alerta será ignorado dentro de uma semana.

Sinais que justificam uma chamada

- Contagem de repetições para a mesma ferramenta com os mesmos ou quase idênticos argumentos. - Contagem de passos ou duração acima da faixa usual desse agente, após excluir tarefas longas conhecidas. - Uma ferramenta que nunca foi chamada para este agente aparecendo no tráfego de produção. - Retentativas escalonadas seguidas de abandono sem uma resposta visível para o usuário. - Mudanças repentinas na mistura de ferramentas após a implantação de um modelo ou prompt — muitas vezes devido a deriva ou uma versão ruim, e não porque "os usuários ficaram mais difíceis".

Não chame em cada execução lenta. Execuções longas que ainda avançam não são loops. A fadiga de alertas é como os produtos de monitoramento morrem. Prefira a taxa de alteração em relação a uma linha de base específica do agente, então exija um rastro para que cada alerta possa ser fechado com evidências.

Linhas de base quebram — registe porquê

Uma alteração no modelo, uma alteração na prompt, uma nova ferramenta ou uma alteração na mistura de tráfego irá alterar os números. Se não registar esses eventos, cada lançamento parecerá uma deriva misteriosa. Mantenha um registo de alterações simples ao lado das métricas: qual modelo, qual hash de prompt, quais ferramentas estavam ativadas e quando a composição do tráfego mudou.

O que monitorização não é

A monitorização informa-o de que algo aconteceu. Um limite de passo de tempo de execução ou uma barreira de segurança o impede. Confundir os dois leva a reivindicações exageradas. O AgentPulse não garante que os alertas sempre disparam a tempo de prevenir o impacto nos utilizadores. Nós não afirmamos uma detecção de 100%. Nós não afirmamos que nunca perderá um loop.

Privacidade e retenção

As tracers frequentemente contêm conteúdo de utilizador. Mantenha-as durante o tempo suficiente para investigar, mas suficientemente curtas para honrar o que foi dito aos utilizadores na política de privacidade. A retenção predefinida curta, a exportação por solicitação e os controlos de acesso consistentes com o enquadramento do artigo 32 do GDPR são o mínimo — e não um selo de certificação que possa ser colocado num deck de vendas.

Como o AgentPulse se encaixa numa cadeia de ferramentas

Utilize o seu APM existente para os serviços em torno do agente. Utilize OpenTelemetry (ou equivalente) para o encaminhamento de spans se já investir nisso. Utilize o AgentPulse quando precisar de um relatório de vigilância focado em loops, deriva e uso anómalo de ferramentas com uma narrativa replayável — especialmente no início, quando a criação de um plano de controlo de agente completo é excessivo. As empresas podem adicionar BYOK e papelada de DPA; Free e Demo permanecem rotulados para que nada finja ser IA ao vivo quando a chave está ausente. Além disso, pode ser utilizado em conjunto com outras ferramentas como o para uma monitorização mais abrangente.

Exemplo de trabalho (sintético, não uma história de cliente)

Imagine um agente de planejamento que normalmente executa 6-10 passos de ferramenta. Durante a noite, as execuções estendem-se para 40+ passos e a mesma ferramenta de pesquisa é chamada com consultas quase idênticas. A latência ainda é "aceitável" porque cada chamada de ferramenta retorna rapidamente. Um detector de loops que observa as contagens de repetições e o comprimento do plano aumentaria uma entrada de vigilância; um painel de latência apenas permaneceria silencioso. Abrir o rastreamento mostraria o bloco de pesquisa repetido. Essa é a diferença entre a observabilidade do agente e o APM clássico.

Agora altere o prompt para permitir uma nova ferramenta de pesquisa. A mistura de ferramentas muda. Sem um registro de alterações, isso parece um desvio. Com um registro de alterações, é uma reinicialização de baseline esperada. Produtos de monitoramento bons tornam essa distinção entediante e explícita.

Lista de verificação operacional

- Emitir eventos de decisão por execução (ferramenta, hash de argumentos, classe de resultado, contagem de repetições). - Armazenar um rasto ordenado e reproduzível para cada incidente paginado. - Estabelecer uma linha de base por identidade de agente; reiniciar em caso de alterações no modelo, prompt ou ferramenta. - Separar a detecção (monitorização) do cumprimento (limites de etapas). - Nunca comercializar detecção de 100% ou garantia de nunca perder.

Dicas de instrumentação que reduzem falsos positivos

Faça hash dos argumentos das ferramentas antes de compará-los. A igualdade de string exata em JSON de forma livre cria ruído quando os carimbos de data e hora ou IDs de solicitação diferem. Uma impressão digital estável dos campos semânticos (texto de consulta, ID de recurso, nome de ação) mantém a detecção de loop honesta sem armazenar as cargas completas para sempre.

Separe as repetições iniciadas pelo usuário das repetições iniciadas pelo agente. Um humano clicando em "tentar novamente" não é o mesmo modo de falha que um agente reentrando no mesmo nó de planejamento. Marque o iniciador em cada evento de repetição para que as regras de monitoramento possam tratá-los de forma diferente.

Exclua fluxos de trabalho longos conhecidos da página de duração padrão. Agentes de pesquisa em lote podem ser executados legitimamente por minutos. Coloque esses IDs de agente em uma lista de permissões com uma banda mais alta, em vez de silenciar toda a frota.

Versione as regras de monitoramento da mesma forma que você versiona prompts. Quando uma regra muda, anote o painel para que um pico não seja mal interpretado como deriva de agente.

Esboço do livro de jogadas de chamada

- Abra a entrada de vigilância e confirme se o rasto mostra um padrão de loop ou deriva real. - Verifique o registo de alterações para modelo, prompt ou ativação de ferramenta nas últimas 24 horas. - Se for um loop confirmado, ative ou aperte o limite de passo de tempo de execução para essa identidade de agente. - Se for uma deriva confirmada após uma versão, reverta ou redefina com uma nota explícita. - Se o rasto estiver incompleto, corrija a instrumentação antes de aumentar mais páginas — alertas sem evidências desperdiçam confiança.

Documente o motivo do fechamento em cada página. Padrões como "falso positivo devido à mistura de tráfego" ensinam ao próximo turno o que ignorar. Padrões como "regressão de prompt" ensinam aos engenheiros o que testar antes de enviar.

O que AgentPulse não inventará

Não inventaremos logotipos de clientes, percentagens de tempo de atividade ou alegações de "redução de incidentes em X%". As secções de provas sociais permanecem marcadas como PENDING até que existam cotações reais. Os números de ROI nos módulos de conteúdo são modelos. Essa é uma restrição deliberada alinhada com a FTC, e não uma marketing incompleta.

Perguntas frequentes

Qual é a diferença entre um loop e uma longa corrida?

Uma longa corrida faz progressos. Um loop repete um passo, ou uma variante quase idêntica, sem se aproximar do objetivo.

Como evitamos a fadiga de alertas?

Alerte sobre a taxa de mudança em relação à linha de base própria do agente e exija um rastro reexecutável para que cada alerta possa ser fechado rapidamente.

O que quebra uma linha de base?

Uma mudança de modelo, uma mudança de prompt, uma nova ferramenta ou uma mudança na mistura de tráfego. Registre essas mudanças para não lê-las como deriva inexplicada.

Um loop deve parar o agente?

Essa é uma decisão de guardrail de tempo de execução, não de monitoramento. O monitoramento informa que isso aconteceu; um limite de etapas o impede.

Por quanto tempo as trilhas devem ser mantidas?

O tempo suficiente para investigar, curto o suficiente para respeitar o que foi prometido aos usuários sobre retenção. As trilhas geralmente contêm conteúdo do usuário.

A deriva é sempre ruim?

Não. As mudanças de tráfego podem explicá-la. A deriva é um prompt para olhar, não um veredito.

Não, o AgentPulse não substitui nenhuma dessas ferramentas ou regulamentações. O AgentPulse é um produto de relatório de vigilância focado que pode ser usado em conjunto com essas ferramentas e regulamentações.

Referências

- OpenTelemetry — observabilidade de GenAI (2026) - OTel GenAI agent spans - NIST — Quadro de Gestão de Riscos de IA

Experimente o produto: AgentPulse

2026-09-26 · apenas fontes primárias · nenhum tráfego métrico fabricado · apenas suporte à decisão · RULESET_VERSION 2026-09-26