door AgentPulse (LX AI)
Detectie van agent-lussen en drift in productie
Een agent-lus is een run die dezelfde stap herhaalt, of een kleine variatie ervan, zonder vooruitgang te boeken. Drift is gedrag dat verandert over tijd zonder een code- of promptverandering die het kan verklaren. Beide zijn goedkoop te detecteren als je beslissingen opneemt, en onzichtbaar als je alleen latentie opneemt.
Waarom latency-only waarschuwingen falen voor agents
Klassieke servicemonitoring is ontwikkeld rondom een verzoek dat start, eindigt en een statuscode retourneert. Een autonome agent-run voldoet niet aan dat contract. Het kan tools in een boomstructuur aanroepen, hetzelfde tool opnieuw proberen met iets andere argumenten, een plan halverwege opgeven of doorgaan lang nadat een mens zou zijn gestopt. Een groene p99 latentiegrafiek kan naast een uit de hand lopende planner zitten die tokens verbrandt zonder enige vooruitgang te boeken.
OpenTelemetry's GenAI-conventies behandelen agent-werk steeds meer als first-class telemetry: invoke_agent-stijl spans, tool-executiekinderen en optionele inhoudscapture wanneer het privacybeleid dit toelaat. Die plumbing helpt, maar conventies alleen vertellen je niet welke signalen een pagina verdienen. Je hebt nog steeds productregels nodig voor lussen en drift die overeenkomen met hoe je agents zich daadwerkelijk gedragen.
AgentPulse zit in die productlaag. Plak een voorbeeldrun of gedragslog, kies een watchfocus en krijg een rapport dat waarschijnlijke lussen, driftkandidaten en anomalieën benadrukt. Het is geen volledige OTLP-backend en het is geen formeel beveiligingsaudit. De detectiekwaliteit hangt af van de gebeurtenissen die je biedt.
Een vierstaps waakpatroon
- Neem gebeurtenissen in. Vang beslissingen, toolaanroepen, resultaten, nieuwe pogingen en redenen voor opgave per run. Geef de voorkeur aan gestructureerde velden boven alleen vrije-tekstlogboeken, zodat u herhalingen kunt tellen zonder NLP-heldendaden. - Definieer normaal voor die agent. Typische planningslengte, toolmix, nieuwe pogingen en duurband - per agentidentiteit, niet een globale vlootgemiddelde die chatbots met planners mengt. - Detecteer afwijkingen. Herhaalde bijna-identieke stappen; runlengte ver boven de band; een nooit eerder gezien tool in productie; escalerende nieuwe pogingen gevolgd door opgave; uitvoerlengte of weigeringspercentage dat afwijkt van de basislijn. - Rapporteer met bewijs. Een waakvermelding moet een koppeling bevatten naar een replayable trail. Als een engineer die aanwezig is geen run kan openen en de beslissingen in volgorde kan zien, wordt de waarschuwing binnen een week genegeerd.
Signalen die een melding waard zijn
- Herhalingstelling voor hetzelfde hulpmiddel met dezelfde of nagenoeg identieke argumenten.
- Stappentelling of duur boven de gebruikelijke band van die agent na uitsluiting van bekende lange taken.
- Een hulpmiddel dat nog nooit voor deze agent is aangeroepen en dat plotseling in productieverkeer verschijnt.
- Escalatie van herhalingen gevolgd door opgave zonder een voor de gebruiker zichtbaar antwoord.
- Plotse verschuivingen in hulpmiddelmix na een model- of promptuitrol - vaak een verschuiving of een slechte release, niet 'de gebruikers werden moeilijker'.
Meld niet elke trage uitvoering. Lange uitvoeringen die toch vooruitgang boeken, zijn geen lussen. Alertmoeheid is hoe bewakingsproducten sterven. Geef de voorkeur aan veranderingssnelheid tegen een agent-specifieke baseline, en vraag dan om een spoor zodat elke melding met bewijs kan worden gesloten.
Baselines breken — noteer de reden
Een wijziging in het model, een wijziging in de prompt, een nieuw hulpmiddel of een wijziging in de verkeersmix zal uw cijfers beïnvloeden. Als u deze gebeurtenissen niet noteert, lijkt elke release op een mysterieuze afwijking. Houd een eenvoudig wijzigingslogboek bij naast de metrieken: welk model, welke prompt-hash, welke hulpmiddelen waren ingeschakeld en wanneer de verkeerssamenstelling veranderde. Gebruikers van door de producent gegenereerde scores (vertrouwen, afwijking, scan) in opkomende OTel-voorstellen worden reeds gewaarschuwd dat methode-tokens ertoe doen — wanneer de scoringsmethode verandert, moet de correlatie opnieuw worden vastgelegd in plaats van de sprong als agent-gedrag te behandelen.
Wat monitoring niet is
Monitoring vertelt je dat er iets gebeurd is. Een runtime stap limiet of guardrail stopt het. Het verwarren van de twee leidt tot overdreven claims. AgentPulse garandeert niet dat alerts altijd op tijd afgaan om gebruikersimpact te voorkomen. We claimen geen 100% detectie. We claimen niet dat je nooit een loop zult missen. Die eerlijkheidslijnen bestaan omdat FTC-stijl marketingregels gefabriceerde zekerheid bestraffen, en omdat operators gereedschappen verdienen die hun beperkingen vermelden.
Privacy en retentie
Traces bevatten vaak gebruikersinhoud. Bewaar ze lang genoeg om onderzoek te doen, maar kort genoeg om te voldoen aan wat je gebruikers in het privacybeleid hebt verteld. Standaard korte retentie, op vraag exporteren en toegangscontroles die consistent zijn met GDPR Art. 32 zijn het minimum — niet een certificeringsbadge die je op een verkoopdeck kunt plaatsen.
Hoe AgentPulse past in een toolchain
Gebruik uw bestaande APM voor de services rond de agent. Gebruik OpenTelemetry (of equivalent) voor span plumbing als u al daar investeert. Gebruik AgentPulse wanneer u een gefocust watch rapport nodig heeft over lussen, drift en anormale toolgebruik met een replayable narratief — vooral vroeg, wanneer het opzetten van een volledige agent control plane overbodig is. Enterprise kan BYOK en DPA-papierwerk toevoegen; Free en Demo blijven gelabeld zodat niets doet alsof het live AI is wanneer de sleutel ontbreekt.
Werkvoorbeeld (synthetisch, geen klantverhaal)
Stel een planneragent voor die normaal gesproken 6-10 toolstappen uitvoert. 's Nachts worden de stappen uitgebreid tot 40+ stappen en hetzelfde zoektool wordt aangeroepen met bijna identieke queries. De latentie is nog steeds 'goed' omdat elke toolaanroep snel terugkeert. Een loopdetector die repeatcounts en planlengte in de gaten houdt, zou een watch-entry activeren; een latency-only dashboard zou stil blijven. Het openen van het spoor zou het herhalende zoekblok laten zien. Dat is het verschil tussen agent observability en klassieke APM.
Verander nu de prompt om een nieuw researchtool toe te staan. De toolmix verschuift. Zonder een changelog, ziet dat eruit als drift. Met een changelog is het een verwachte baseline-reset. Goede monitoringproducten maken dat onderscheid saai en expliciet.
Operationele checklist
- Geef per-run beslissingsgebeurtenissen uit (tool, args-hash, resultaatklasse, retry-teller). - Bewaar een replayable geordende trail voor elke gepagineerde incident. - Baseline per agent-identiteit; reset bij model/prompt/tool-wijzigingen. - Scheid detectie (watch) van handhaving (guardrails / staplimieten). - Nooit 100% detectie of nooit-miss-garantie in de markt zetten.
Tips voor instrumentatie die valse positieven verminderen
Hash tool-argumenten voordat u ze vergelijkt. Exacte tekenreeksgelijkheid in vrij vormgegeven JSON creëert ruis wanneer tijdstempels of aanvraag-IDs verschillen. Een stabiele vingerafdruk van de semantische velden (querytekst, resource-id, actienaam) houdt de lusdetectie eerlijk zonder volledige payloads voor altijd op te slaan.
Scheid gebruikersgestuurde retries van agent-geïnitieerde retries. Een mens die op "opnieuw proberen" klikt, is niet hetzelfde foutmodus als een agent die hetzelfde planningsknooppunt opnieuw ingaat. Tag de initiator op elk retry-evenement, zodat uw watch-regels ze op verschillende manieren kunnen behandelen.
Sluit bekende lange workflows uit van de standaardduurpagina. Batch-onderzoeksagenten mogen legitiem enkele minuten draaien. Plaats die agent-IDs op een allowlist met een hogere band, in plaats van het hele vloot stil te leggen.
Versie uw watch-regels op dezelfde manier als u prompts versiet. Wanneer een regel verandert, annotatie het dashboard zodat een piek niet verkeerd wordt gelezen als agent-drift.
Scherpe playbook voor beschikbaarheid
- Open de watch-entry en bevestig dat het spoor een echte lus of driftpatroon laat zien. - Controleer het wijzigingslogboek op wijzigingen in model, prompt of tool-inschakeling in de afgelopen 24 uur. - Als de lus wordt bevestigd, schakel de runtime-staplimiet voor die agentidentiteit in of verhoog deze. - Als de drift na een release wordt bevestigd, voer een rollback uit of herstel de basislijn met een expliciete notitie. - Als het spoor onvolledig is, los de instrumentatie op voordat u meer pagina's activeert — waarschuwingen zonder bewijs verspillen vertrouwen.
Documenteer de reden voor sluiten op elke pagina. Patronen zoals "vals positief vanwege verkeersmix" leren de volgende dienst wat er genegeerd kan worden. Patronen zoals "prompt-regressie" leren de engineers wat er getest moet worden voordat ze iets verzenden.
Wat AgentPulse niet zal verzinnen
We zullen geen klantlogo's, percentages uptime of beweringen als 'incidenten met X% verminderd' verzinnen. Social proof secties blijven gemarkeerd als PENDING totdat er echte citaten bestaan. ROI-nummers in contentmodules zijn sjablonen. Dat is een bewuste, FTC-georiënteerde beperking, geen onvolledige marketing.
Veelgestelde vragen
Wat is het verschil tussen een lus en een lange uitvoering?
Een lange uitvoering maakt vooruitgang. Een lus herhaalt een stap, of een bijna-identieke variant, zonder dichter bij het doel te komen.
Hoe voorkomen we waarschuwingsmoeheid?
Waarschuw op basis van verandering ten opzichte van de eigen baseline van de agent en vereis een replayable trail zodat elke waarschuwing snel kan worden gesloten.
Wat doorbreekt een baseline?
Een modelwijziging, een promptwijziging, een nieuw hulpmiddel of een wijziging in de verkeersmix. Noteer die zodat je ze niet leest als onverklaarde drift.
Moet een lus de agent stoppen?
Dat is een runtime guardrail-beslissing, niet een monitoring-beslissing. Monitoring vertelt je dat het is gebeurd; een staplimiet stopt het.
Hoe lang moeten sporen worden bewaard?
Lang genoeg om te onderzoeken, kort genoeg om te respecteren wat je gebruikers hebt beloofd over retentie. Sporen bevatten meestal gebruikersinhoud.
Is drift altijd slecht?
Nee. Veranderingen in verkeer kunnen het verklaren. Drift is een aanleiding om te kijken, geen vonnis.
Nee.
Referenties
- OpenTelemetry — GenAI observability (2026) - OTel GenAI agent spans - NIST — AI Risk Management Framework
Probeer het product: AgentPulse
2026-09-26 · alleen primaire bronnen · geen gefabriceerde verkeersmetrieken · alleen beslissingsondersteuning · RULESET_VERSION 2026-09-26
Gerelateerde artikelen
- AgentPulse versus klassieke APM - Verken de volledige AI micro-SaaS onderwerpmatrix →
Waarom falen latentie-only alerts voor agents?
Klassieke servicemonitoring is ontwikkeld voor een aanvraag die start, eindigt en een statuscode retourneert. Een autonome agent-run volgt dit contract niet. Het kan tools in een boomstructuur aanroepen, dezelfde tool opnieuw proberen met iets andere argumenten, een plan halverwege opgeven of doorgaan lang nadat een mens zou zijn gestopt. Een groene p99-latentiegrafiek kan naast een doorlopende planner zitten die tokens verbrandt zonder vooruitgang te boeken.
Wat is een vier-stappen-watchpatroon?
Ga niet pagina's maken voor elke langzame run. Lange runs die nog steeds vooruitgang boeken, zijn geen lussen. Alertmoeheid is hoe monitoringproducten sterven. Geef de voorkeur aan een veranderingssnelheid tegen een agent-specifieke baseline, en vereis dan een spoor zodat elke alert kan worden gesloten met bewijs.
Wat zijn signalen die de moeite waard zijn om te pagina's maken?
Ga niet pagina's maken voor elke langzame run. Lange runs die nog steeds vooruitgang boeken, zijn geen lussen. Alertmoeheid is hoe monitoringproducten sterven. Geef de voorkeur aan een veranderingssnelheid tegen een agent-specifieke baseline, en vereis dan een spoor zodat elke alert kan worden gesloten met bewijs.
Wat gebeurt er als baselines breken — registreer waarom?
Een modelwijziging, een promptwijziging, een nieuwe tool of een wijziging in verkeersmix zal uw nummers veranderen. Als u deze gebeurtenissen niet registreert, ziet elke release eruit als mysterieuze drift. Houd een eenvoudig wijzigingslogboek naast de metrische gegevens: welk model, welke prompt-hash, welke tools waren ingeschakeld en wanneer de verkeerssamenstelling veranderde. Consumenten van producent-uitgegeven scores (vertrouwen, drift, scan) in opkomende OTel-voorstellen worden al gewaarschuwd dat methode-tokens ertoe doen — wanneer de scoringsmethode verandert, moet de correlatie opnieuw worden verankerd in plaats van de sprong als agent-misgedrag te behandelen.
Wat is monitoring niet?
Monitoring vertelt u dat er iets is gebeurd. Een runtime-staplimiet of -guardrail stopt het. Het verwarren van de twee leidt tot over-claiming. AgentPulse garandeert niet dat alerts altijd op tijd zullen afgaan om gebruikersimpact te voorkomen. We claimen geen 100% detectie. We claimen niet dat u nooit een lus zult missen. Deze eerlijkheidslijnen bestaan omdat FTC-stijl marketingregels valse zekerheid bestraffen, en omdat operators tools verdienen die hun beperkingen verklaren.
Alleen voor beslissingsondersteuning. Geen uptime-SLA, beveiligingsaudit of garantie dat agents nooit falen.