Observability legt een trace vast van elke request: hoe lang het duurde, wat het kostte, welk model en welke provider het bediende, en welke pipeline-fasen draaiden. Elke fase is een eigen getimede span, dus een trace is een echte uitsplitsing van waar de tijd naartoe ging. Het vastleggen gebeurt na de respons, dus het voegt nooit latency toe.
trace · spans · metrics
Een request loopt door guard, memory, retrieval, de firewall, routing en het model, en het enige dat je ziet is één getal aan het eind. Was het de retrieval-stap, de firewall, of het model zelf? Zonder een uitsplitsing per fase kun je het niet zien, dus kun je het trage of het dure deel niet met enige zekerheid oplossen.
Zet het aan en elke request wordt vanaf de volgende call vastgelegd. Het vastleggen draait op een achtergrondqueue, dus het vertraagt nooit de respons waar je gebruiker op wacht.
Traces worden geschreven op een achtergrondqueue nadat de respons is verstuurd. Mocht het vastleggen ooit mislukken, dan blijft je request onaangetast. Observability is alleen-lezen over je verkeer.
Spans leggen faseanamen, timings en status vast, nooit je prompts, completions of de inhoud van opgehaalde context. De trace toont de vorm, niet de data.
Eén factureerbaar event per vastgelegde trace, en het lezen van traces en dashboards is altijd gratis. Sample een fractie van het verkeer om het volume bij tenants met hoge doorvoer te beheersen.
Sommige tracing vertraagt elke request, lekt gevoelige inhoud naar een externe tool, of rekent je geld om naar je eigen data te kijken. Deze doet niets daarvan.
Maak een sleutel aan, zet Observability aan, en zie vanaf de volgende call elke request fase voor fase uitgesplitst.
We use privacy-friendly, EU-hosted analytics to understand how Akumi is used. Accept analytics cookies, or continue without them. See our cookie policy.
