di AgentPulse (LX AI)

Rilevamento di loop e deriva negli agenti in produzione

Un loop di agente è un'esecuzione che ripete lo stesso passo o una sua variante senza fare progressi. La deriva è un comportamento che cambia nel tempo senza una modifica del codice o della richiesta che lo spieghi. Entrambi sono facili da rilevare se si registrano le decisioni e invisibili se si registrano solo i tempi di latenza.

Perché gli avvisi di sola latenza falliscono per gli agenti

Il monitoraggio classico del servizio è cresciuto intorno a una richiesta che inizia, termina e restituisce un codice di stato. Un'esecuzione di un agente autonomo non obbedisce a quel contratto. Può chiamare strumenti in un albero, ritentare lo stesso strumento con argomenti leggermente diversi, abbandonare un piano a metà strada o continuare a lungo dopo che un essere umano avrebbe smesso. Un grafico della latenza p99 verde può essere affiancato a un pianificatore fuori controllo che brucia token senza fare progressi.

Le convenzioni GenAI di OpenTelemetry trattano sempre più il lavoro degli agenti come telemetria di prima classe: span di tipo invoke_agent, figli di esecuzione degli strumenti e cattura facoltativa del contenuto quando la politica di privacy lo consente. Quella tubazione aiuta, ma le convenzioni sole non ti dicono quali segnali meritano una pagina. Hai ancora bisogno di regole di prodotto per loop e deriva che corrispondono al comportamento reale dei tuoi agenti.

AgentPulse si trova in quel livello di prodotto. Incolla un esempio di esecuzione o registro di comportamento, scegli un focus di controllo e ottieni un report che evidenzia loop probabili, candidati deriva e anomalie. Non è un backend OTLP completo e non è un audit di sicurezza formale. La qualità della rilevazione dipende dagli eventi che fornisci.

Un modello di monitoraggio a quattro fasi

- Ingesta eventi. Acquisisci decisioni, chiamate di strumenti, risultati, ritenti e motivi di abbandono per ogni esecuzione. Preferisci campi strutturati rispetto a log di solo testo libero in modo da poter contare le ripetizioni senza l'uso di tecniche di NLP avanzate. - Definisci la normalità per quell'agente. Lunghezza del piano tipico, mix di strumenti, numero di ritenti e fascia di durata - per identità di agente, non una media globale della flotta che combina chatbot con pianificatori. - Rileva anomalie. Passaggi quasi identici ripetuti; lunghezza dell'esecuzione molto al di sopra della fascia; uno strumento mai visto prima in produzione; ritenti che aumentano seguiti da abbandono; lunghezza di output o tasso di rifiuto che si allontana dalla baseline. - Segnala con prove. Un'annotazione di monitoraggio deve collegarsi a una traccia riproducibile. Se un ingegnere di turno non può aprire l'esecuzione e vedere le decisioni in ordine, l'allarme sarà ignorato entro una settimana.

Segnali per cui è necessario intervenire

- Numero di ripetizioni per lo stesso strumento con gli stessi o argomenti quasi identici. - Numero di passaggi o durata superiore alla fascia usuale di quell'agente dopo aver escluso attività lunghe note. - Uno strumento che non è mai stato chiamato per quell'agente che appare nel traffico di produzione. - Ritenti di escalation seguiti da abbandono senza una risposta visibile all'utente. - Improvvise variazioni nella miscela di strumenti dopo il rilascio di un modello o di un prompt — spesso deriva o un cattivo rilascio, non "gli utenti sono diventati più difficili".

Non intervenire per ogni esecuzione lenta. Le esecuzioni lunghe che avanzano comunque non sono loop. La stanchezza degli allarmi è il modo in cui i prodotti di monitoraggio muoiono. Preferire la velocità di cambiamento rispetto a una baseline specifica dell'agente, quindi richiedere una traccia in modo che ogni allarme possa essere chiuso con prove.

I riferimenti di base si rompono - registrare il motivo

Un cambiamento del modello, un cambiamento del prompt, un nuovo strumento o un cambiamento della miscela di traffico sposteranno i tuoi numeri. Se non registri questi eventi, ogni rilascio sembrerà un misterioso drift. Mantieni un semplice registro dei cambiamenti accanto alle metriche: quale modello, quale hash del prompt, quali strumenti sono stati abilitati e quando la composizione del traffico è cambiata.

Cosa non è il monitoraggio

Il monitoraggio ti dice che qualcosa è successo. Un limite o un guardrail a runtime lo ferma. Confondere i due porta a esagerare. AgentPulse non garantisce che gli avvisi verranno sempre attivati in tempo per prevenire un impatto sull'utente. Non affermiamo di avere una rilevazione del 100%. Non affermiamo che non perderai mai un loop. Queste linee di onestà esistono perché le regole di marketing dello stile FTC puniscono la certezza fabbricata, e perché gli operatori meritano strumenti che dichiarano i loro limiti.

Privacy e conservazione

Le tracce contengono spesso contenuti utente. Conservatele abbastanza a lungo per effettuare indagini, ma abbastanza brevi per onorare ciò che avete detto agli utenti nella politica di privacy. La conservazione predefinita breve, l'esportazione su richiesta e i controlli di accesso coerenti con la cornice dell'art. 32 del GDPR sono il minimo - non un badge di certificazione che potete apporre su un deck di vendita.

Come AgentPulse si inserisce in una catena di strumenti

Utilizza il tuo APM esistente per i servizi intorno all'agente. Utilizza OpenTelemetry (o equivalente) per la gestione degli span se hai già investito in quella direzione. Utilizza AgentPulse quando hai bisogno di un report di controllo focalizzato su loop, deriva e utilizzo di strumenti anomali con una narrazione riproducibile — soprattutto all'inizio, quando creare un piano di controllo completo per l'agente è eccessivo. Le aziende possono aggiungere BYOK e la documentazione DPA; le versioni Free e Demo rimangono etichettate in modo che nulla pretenda di essere intelligenza artificiale live quando la chiave è mancante. Inoltre, strumenti come possono essere integrati con AgentPulse per migliorare le funzionalità di monitoraggio e controllo.

Esempio di lavoro (sintetico, non una storia di un cliente)

Immagina un agente pianificatore che normalmente esegue 6-10 passaggi di strumenti. Durante la notte, le esecuzioni si estendono a 40+ passaggi e lo stesso strumento di ricerca viene chiamato con query quasi identiche. La latenza è ancora "accettabile" perché ogni chiamata di strumento restituisce rapidamente. Un rilevatore di loop che controlla i conteggi di ripetizione e la lunghezza del piano solleverebbe un avviso; un cruscotto di sola latenza rimarrebbe silenzioso. Aprire la traccia mostrerebbe il blocco di ricerca ripetuto. Questa è la differenza tra l'osservabilità dell'agente e il classico APM di AgentPulse.

Ora cambia il prompt per consentire un nuovo strumento di ricerca. La miscela di strumenti cambia. Senza un registro delle modifiche, sembra un drift. Con un registro delle modifiche, è un reset della baseline atteso.

Checklist operativa

- Emettere eventi di decisione per ogni esecuzione (strumento, hash degli argomenti, classe di risultato, numero di ritenti). - Memorizzare una traccia ordinata e riproducibile per ogni incidente paginato. - Baseline per identità di agente; resetta in caso di modifiche al modello/prompt/strumento. - Separare la rilevazione (watch) dall'applicazione (guardrails / limiti di step). - Non garantire mai una rilevazione al 100% o una garanzia di non mancata rilevazione.

Suggerimenti per la strumentazione che riducono i falsi positivi

Eseguire l'hash degli argomenti degli strumenti prima di confrontarli. La parità di stringhe esatte su JSON a forma libera crea rumore quando i timestamp o gli ID delle richieste differiscono. Un'impronta digitale stabile dei campi semantici (testo della query, ID della risorsa, nome dell'azione) mantiene la rilevazione del loop onesta senza archiviare i payload completi per sempre.

Separare i ritardi iniziati dall'utente dai ritardi iniziati dall'agente. Un utente che fa clic su "riprova" non è lo stesso modo di guasto di un agente che rientra nello stesso nodo di pianificazione. Etichettare l'iniziatore di ogni evento di ritardo in modo che le regole di controllo possano trattarli in modo diverso.

Escludere i flussi di lavoro lunghi noti dalla pagina di durata predefinita. Gli agenti di ricerca batch possono essere eseguiti legittimamente per minuti. Inserire quegli ID di agente in un elenco di consentiti con una fascia più alta, invece di silenziare l'intera flotta.

Versionare le regole di controllo nello stesso modo in cui si versionano le richieste. Quando una regola cambia, annotare il cruscotto in modo che un picco non sia letto male come deriva dell'agente.

Abbozzo del playbook di reperibilità

- Apri la voce di watch e conferma che il percorso mostra un modello di loop o drift reale. - Controlla il registro delle modifiche per il modello, il prompt o l'abilitazione degli strumenti nelle ultime 24 ore. - Se il loop è confermato, abilita o stringi il limite del passo di runtime per quell'identità dell'agente. - Se il drift è confermato dopo un rilascio, esegui il rollback o ri-basamento con una nota esplicita. - Se il percorso è incompleto, risolvi la strumentazione prima di sollevare ulteriori pagine — gli avvisi senza prove sprecano fiducia.

Documenta il motivo della chiusura su ogni pagina. I modelli come "falso positivo a causa della miscela di traffico" insegnano al prossimo turno cosa ignorare. I modelli come "regressione del prompt" insegnano agli ingegneri cosa testare prima di spedire.

Cosa AgentPulse non inventerà

Non inventeremo loghi dei clienti, percentuali di uptime o affermazioni del tipo "riduzione degli incidenti del X%". Le sezioni di prova sociale rimangono contrassegnate come PENDING fino a quando non esistono citazioni reali. I numeri ROI nei moduli di contenuto sono template. Si tratta di un deliberato autocontrollo allineato con la FTC, non di un marketing incompleto.

Domande frequenti

Qual è la differenza tra un ciclo e una lunga corsa?

Una lunga corsa fa progressi. Un ciclo ripete un passaggio, o una variante quasi identica, senza avvicinarsi all'obiettivo.

Come evitiamo la stanchezza degli allarmi?

Allertare sul tasso di cambiamento rispetto alla baseline dell'agente e richiedere una traccia riproducibile in modo che ogni allarme possa essere chiuso rapidamente.

Cosa interrompe una baseline?

Un cambiamento del modello, un cambiamento del prompt, un nuovo strumento o un cambiamento nella miscela di traffico. Registra questi eventi in modo da non leggerli come drift non spiegato.

Un ciclo dovrebbe fermare l'agente?

Questa è una decisione di guardrail di runtime, non di monitoraggio. Il monitoraggio ti dice che è successo; un limite di passaggi lo ferma.

Per quanto tempo dovrebbero essere conservate le tracce?

Abbastanza a lungo per indagare, abbastanza breve per rispettare ciò che hai promesso agli utenti riguardo al mantenimento. Le tracce contengono usualmente contenuti utente.

Il drift è sempre negativo?

No. I cambiamenti del traffico possono spiegarlo. Il drift è un prompt per guardare, non un verdetto.

No. Questi sono standard e linee guida separati.

Riferimenti

- OpenTelemetry — osservabilità GenAI (2026)

- OTel GenAI agent spans

- NIST — quadro di gestione del rischio AI

Prova il prodotto: AgentPulse

2026-09-26 · solo fonti primarie · nessuna metrica di traffico fabbricata · supporto alle decisioni solo · RULESET_VERSION 2026-09-26