von AgentPulse (LX AI)

Erkennung von Agenten-Schleifen und -Drift in der Produktion

Eine Agenten-Schleife ist ein Lauf, der denselben Schritt wiederholt oder eine nahe Variation davon ohne Fortschritt macht. Drift ist ein Verhalten, das sich über die Zeit ändert, ohne dass eine Code- oder Prompt-Änderung es erklären kann. Beides ist billig zu erkennen, wenn man Entscheidungen aufzeichnet, und unsichtbar, wenn man nur Latenz aufzeichnet.

Warum nur Latenzwarnungen für Agenten versagen

Klassisches Service-Monitoring entwickelte sich um eine Anfrage, die beginnt, endet und einen Statuscode zurückgibt. Ein autonomer Agentenlauf hält sich nicht an diesen Vertrag. Er kann Tools in einem Baum aufrufen, das gleiche Tool mit leicht unterschiedlichen Argumenten erneut ausführen, einen Plan unterwegs aufgeben oder lange nachdem ein Mensch aufgehört hätte, weitermachen. Eine grüne p99-Latenzgrafik kann neben einem durchgegangenen Planner sitzen, der Token verbrennt, ohne Fortschritte zu machen.

Die GenAI-Konventionen von OpenTelemetry behandeln Agentenarbeit zunehmend als erste-Klasse-Telemetrie: invoke_agent-Style-Spans, Tool-Ausführungs-Children und optionale Inhaltserfassung, wenn die Datenschutzrichtlinie dies zulässt. Diese Plumbing hilft, aber Konventionen allein sagen Ihnen nicht, welche Signale eine Seite verdienen. Sie benötigen immer noch Produktregeln für Schleifen und Drift, die der tatsächlichen Verhaltensweise Ihrer Agenten entsprechen.

AgentPulse befindet sich in dieser Produktlage. Fügen Sie eine Beispiel-Ausführung oder Verhaltensprotokoll hinzu, wählen Sie einen Beobachtungsfokus und erhalten Sie einen Bericht, der wahrscheinliche Schleifen, Drift-Kandidaten und Anomalien hervorhebt. Es handelt sich nicht um einen vollständigen OTLP-Backend und es handelt sich nicht um eine formale Sicherheitsprüfung. Die Erkennungsqualität hängt von den von Ihnen bereitgestellten Ereignissen ab.

Ein vierstufiges Überwachungsmuster

- Ereignisse erfassen. Entscheidungen, Tool-Aufrufe, Ergebnisse, Wiederholungen und Aufgabegründe pro Lauf erfassen. Strukturierte Felder bevorzugen gegenüber reinen Textprotokollen, damit Sie Wiederholungen ohne NLP-Heldentaten zählen können. - Definieren Sie das Normale für diesen Agenten. Typische Planlänge, Tool-Mix, Wiederholungszahl und Dauerband - pro Agenten-Identität, nicht als globaler Flotten-Durchschnitt, der Chatbots mit Planern mischt. - Anomalien erkennen. Wiederholte fast identische Schritte; Laufzeit weit über dem Band; ein noch nie gesehenes Tool in der Produktion; eskalierende Wiederholungen gefolgt von Aufgabe; Ausgabelänge oder Verweigerungsrate, die sich von der Basis entfernt. - Melden mit Beweisen. Ein Überwachungseintrag muss auf eine wiedergabefähige Spur verlinken. Wenn ein Bereitschaftsingenieur den Lauf nicht öffnen und die Entscheidungen in der Reihenfolge sehen kann, wird der Alarm innerhalb einer Woche ignoriert.

Signale, die eine Paging-Aktion rechtfertigen

- Wiederholungszahl für das gleiche Tool mit den gleichen oder fast identischen Argumenten.

- Schrittanzahl oder Dauer, die über dem normalen Bereich für diesen Agenten liegt, nachdem bekannte lange Aufgaben ausgeschlossen wurden.

- Ein Tool, das noch nie für diesen Agenten in Produktionsverkehr aufgetaucht ist.

- Eskalierende Wiederholungen, gefolgt von Aufgabe ohne benutzerseitige Antwort.

- Plötzliche Änderungen in der Tool-Mischung nach einem Modell- oder Prompt-Release - oft Drift oder ein schlechtes Release, nicht "die Benutzer wurden schwieriger".

Man sollte nicht bei jedem langsamen Lauf eine Paging-Aktion auslösen. Lange Läufe, die dennoch Fortschritte machen, sind keine Endlosschleifen. Eine Überlastung durch zu viele Alarme ist der Tod von Überwachungsprodukten. Man bevorzuge die Rate der Änderung gegen einen agentenspezifischen Baseline und verlange dann einen Trail, damit jeder Alarm mit Beweisen geschlossen werden kann.

Basiswerte ändern sich - Aufzeichnen des Grundes

Eine Änderung des Modells, eine Änderung der Prompting-Eingabe, ein neues Tool oder eine Änderung der Traffikzusammensetzung werden Ihre Zahlen beeinflussen. Wenn Sie diese Ereignisse nicht aufzeichnen, sieht jede Veröffentlichung wie ein mysteriöser Drift aus. Halten Sie ein einfaches Änderungsprotokoll neben den Metriken: welches Modell, welcher Prompt-Hash, welche Tools aktiviert waren und wann sich die Traffikzusammensetzung änderte.

Was Überwachung nicht ist

Überwachung zeigt an, dass etwas passiert ist. Ein Laufzeit-Schritt-Deckel oder eine Sicherheitsbarriere verhindert es. Die Verwechslung der beiden führt zu überzogenen Ansprüchen. AgentPulse garantiert nicht, dass Warnungen immer rechtzeitig ausgelöst werden, um eine Benutzereinwirkung zu verhindern. Wir behaupten nicht eine 100-prozentige Erkennung. Wir behaupten nicht, dass Sie nie einen Kreis verpassen. Diese Ehrlichkeitslinien existieren, weil FTC-Style-Marketingregeln gefälschte Sicherheit bestrafen und weil Betreiber Werkzeuge verdienen, die ihre Grenzen angeben. Darüber hinaus können bei der Entwicklung von Anwendungen wie unterstützen.

Datenschutz und Aufbewahrung

Spuren enthalten oft Benutzerinhalte. Bewahren Sie sie so lange auf, dass Sie sie noch untersuchen können, aber nicht so lange, dass Sie gegen die Datenschutzrichtlinie verstoßen, die Sie den Benutzern mitgeteilt haben. Eine standardmäßig kurze Aufbewahrungsfrist, eine Auf-Demand-Exportfunktion und Zugriffskontrollen, die mit dem Rahmenwerk von GDPR Art. 32 übereinstimmen, sind das Minimum - kein Zertifizierungsbadge, den Sie auf einem Verkaufsdeck aufdrucken können.

Wie AgentPulse in eine Toolkette passt

Verwenden Sie Ihr bestehendes APM für die Dienste um den Agenten herum. Verwenden Sie OpenTelemetry (oder äquivalent) für Span-Plumbing, wenn Sie bereits dort investieren. Verwenden Sie AgentPulse, wenn Sie einen fokussierten Watch-Bericht über Schleifen, Drift und anomalen Werkzeuggebrauch mit einer abspielbaren Erzählung benötigen - insbesondere zu Beginn, wenn die Einrichtung einer vollständigen Agent-Steuerungsebene übertrieben ist. Unternehmen können BYOK und DPA-Papierkram hinzufügen; Free und Demo bleiben beschriftet, damit nichts vorgibt, live-AI zu sein, wenn der Schlüssel fehlt. Mit anderen Tools wie können Sie Ihre Agenten-Steuerung noch effektiver gestalten.

Arbeitsbeispiel (künstlich, keine Kundenstory)

Stellen Sie sich einen Planer-Agenten vor, der normalerweise 6-10 Werkzeugsschritte benötigt. Über Nacht verlängern sich die Schritte auf 40+ und das gleiche Suchwerkzeug wird mit fast identischen Abfragen aufgerufen. Die Latenz ist immer noch "in Ordnung", da jeder Werkzeugaufruf schnell zurückkehrt. Ein Schleifenerkennungs-Tool, das die Wiederholungszähler und die Planlänge überwacht, würde einen Warnhinweis auslösen; ein Latenz-Only-Dashboard würde still bleiben. Wenn man den Trail öffnet, zeigt sich der wiederholte Suchblock. Das ist der Unterschied zwischen Agenten-Beobachtbarkeit und klassischem APM.

Ändern Sie nun die Aufforderung, um ein neues Forschungstool zuzulassen. Die Werkzeugmischung ändert sich. Ohne Änderungsprotokoll sieht das aus wie Drift. Mit Änderungsprotokoll ist es eine erwartete Baseline-Zurücksetzung. Gute Überwachungsprodukte machen diesen Unterschied langweilig und explizit.

Operationale Checkliste

- Sende Ereignisse für Entscheidungen pro Durchlauf (Werkzeug, Argument-Hash, Ergebnisklasse, Wiederholungszähler). - Speichere eine wiedergabefähige geordnete Spur für jeden paginierten Vorfall. - Baseline pro Agentenidentität; zurücksetzen bei Änderungen des Modells/Prompts/Werkzeugs. - Trenne Erkennung (Überwachung) von Durchsetzung (Sicherheitsvorkehrungen / Schrittbeschränkungen). - Werbe niemals mit 100% Erkennung oder einer Garantie, niemals zu verpassen.

Tipps zur Instrumentierung, die falsche Positives reduzieren

Hashen Sie Tool-Argumente vor dem Vergleich. Exakte Zeichenketten-Gleichheit bei frei formuliertem JSON erzeugt Rauschen, wenn Zeitstempel oder Anfrage-IDs unterschiedlich sind. Ein stabiler Fingerabdruck der semantischen Felder (Abfrage-Text, Ressourcen-ID, Aktion-Name) hält die Schleifenerkennung ehrlich, ohne vollständige Payloads für immer zu speichern.

Trennen Sie benutzerinitiierte Wiederholungen von agenteninitiierten Wiederholungen. Ein Mensch, der "erneut versucht" klickt, ist nicht der gleiche Fehlermodus wie ein Agent, der denselben Planungsknoten erneut betritt. Kennzeichnen Sie den Initiator bei jedem Wiederholungsereignis, damit Ihre Überwachungsregeln sie unterschiedlich behandeln können.

Schließen Sie bekannte lange Workflows von der Standarddauerseite aus. Batch-Forschungsagenten können legitimerweise Minuten lang ausgeführt werden. Setzen Sie diese Agenten-IDs auf eine Allowlist mit einem höheren Band, anstatt die gesamte Flotte zu unterdrücken.

Versionieren Sie Ihre Überwachungsregeln genauso wie Ihre Prompts. Wenn eine Regel geändert wird, annotieren Sie das Dashboard, damit ein Anstieg nicht fälschlicherweise als Agent-Drift fehlinterpretiert wird. Emerging-Producer-emitted-Score-Konventionen empfehlen bereits Methodentoken für diesen Zweck - wenden Sie die gleiche Disziplin auf Ihre eigenen Detektoren an. Durch die Verwendung von Instrumentierungstools wie AgentPulse können Sie die Überwachung und Steuerung Ihrer Agenten verbessern.

Skizze für den On-call-Playbook

- Öffnen Sie den Watch-Eintrag und bestätigen Sie, dass der Trail ein echtes Schleifen- oder Driftmuster zeigt. - Überprüfen Sie das Änderungsprotokoll auf Modell-, Prompt- oder Tool-Aktivierungen in den letzten 24 Stunden. - Wenn ein Schleifenmuster bestätigt ist, aktivieren oder verschärfen Sie die Laufzeitsschrittbegrenzung für diese Agentenidentität. - Wenn ein Driftmuster nach einem Release bestätigt ist, rollen Sie zurück oder erstellen Sie eine neue Basislinie mit einem expliziten Hinweis. - Wenn der Trail unvollständig ist, beheben Sie die Instrumentierung, bevor Sie weitere Seiten aufrufen — Warnungen ohne Beweise verschwenden Vertrauen.

Dokumentieren Sie den Grund für die Schließung auf jeder Seite. Muster wie "falsch positives Ergebnis aufgrund von Traffic-Mix" lehren die nächste Schicht, was zu ignorieren ist. Muster wie "Prompt-Regression" lehren die Ingenieure, was vor dem Versand zu testen ist.

Was AgentPulse nicht erfinden wird

Wir werden keine Kundenlogos, Verfügbarkeitsprozentsätze oder Behauptungen wie "Verringerung der Vorfälle um X%" erfinden. Soziale Beweisabschnitte bleiben bis zum Vorliegen echter Zitate als PENDING markiert. ROI-Zahlen in Inhaltmodulen sind Vorlagen. Das ist eine bewusste, an die FTC ausgerichtete Zurückhaltung und kein unvollständiges Marketing. Unsere - sowie - -Tools werden entsprechend entwickelt und eingesetzt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einer Schleife und einem langen Lauf?

Ein langer Lauf macht Fortschritte. Eine Schleife wiederholt einen Schritt oder eine nahezu identische Variante, ohne näher an das Ziel zu kommen.

Wie vermeiden wir Warnmüdigkeit?

Wir warnen vor der Änderungsrate gegenüber der eigenen Ausgangsbasis des Agents und verlangen eine wiedergabefähige Spur, damit jede Warnung schnell geschlossen werden kann.

Was bricht eine Ausgangsbasis?

Eine Änderung des Modells, eine Änderung des Prompts, ein neues Werkzeug oder eine Änderung der Verkehrsmischung. Diese Änderungen sollten dokumentiert werden, damit sie nicht als unerklärte Drift gelesen werden.

Sollte eine Schleife den Agenten stoppen?

Das ist eine Laufzeit-Überwachungsentscheidung, keine Überwachungsentscheidung. Die Überwachung sagt uns, dass es passiert ist, eine Schrittbegrenzung stoppt es.

Wie lange sollten Spuren aufbewahrt werden?

Lang genug, um zu untersuchen, kurz genug, um das zu respektieren, was den Benutzern über die Aufbewahrung versprochen wurde. Spuren enthalten in der Regel Benutzerinhalte.

Ist Drift immer schlecht?

Nein. Verkehränderungen können es erklären. Drift ist ein Anlass zum Nachforschen, kein Urteil.

Ersetzt AgentPulse OpenTelemetry?

Nein. OpenTelemetry ist die Grundlage. AgentPulse ist ein spezialisiertes Überwachungsprodukt, das neben OpenTelemetry-Backed-Pipelines sitzen kann.

Diese bleiben unverändert und werden respektiert.

Referenzen

- OpenTelemetry — GenAI Überwachbarkeit (2026) - OTel GenAI Agent-Spans - NIST — AI Risikomanagement Framework

Probieren Sie das Produkt: AgentPulse

2026-09-26 · nur primäre Quellen · keine erfundenen Traffic-Metriken · Entscheidungsunterstützung nur · RULESET_VERSION 2026-09-26