Observability zeichnet einen Trace jeder Anfrage auf: wie lange sie gedauert hat, was sie gekostet hat, welches Modell und welcher Anbieter sie bedient hat und welche Pipeline-Stufen gelaufen sind. Jede Stufe ist ihr eigener zeitgestoppter Span, sodass ein Trace eine echte Aufschlüsselung darüber ist, wohin die Zeit geflossen ist. Die Aufzeichnung erfolgt nach der Antwort, sodass nie Latenz hinzukommt.
trace · spans · metrics
Eine Anfrage durchläuft Guard, Memory, den Abruf, die Firewall, das Routing und das Modell, und alles, was Sie am Ende sehen, ist eine einzige Zahl. War es der Abrufschritt, die Firewall oder das Modell selbst? Ohne eine Aufschlüsselung pro Stufe können Sie es nicht erkennen, und so können Sie weder den langsamen noch den teuren Teil mit irgendeiner Sicherheit beheben.
Schalten Sie es ein, und jede Anfrage wird ab dem nächsten Aufruf aufgezeichnet. Die Aufzeichnung läuft auf einer Hintergrund-Queue, sodass sie nie die Antwort verlangsamt, auf die Ihr Nutzer wartet.
Traces werden auf einer Hintergrund-Queue geschrieben, nachdem die Antwort gesendet wurde. Falls die Aufzeichnung jemals fehlschlägt, bleibt Ihre Anfrage unberührt. Observability ist nur lesend über Ihren Traffic.
Spans zeichnen Stufennamen, Zeiten und Status auf, nie Ihre Prompts, Vervollständigungen oder den Inhalt des abgerufenen Kontexts. Der Trace zeigt die Form, nicht die Daten.
Ein abrechenbares Ereignis pro aufgezeichnetem Trace, und das Lesen von Traces und Dashboards ist immer kostenlos. Sampeln Sie einen Bruchteil des Traffics, um das Volumen bei durchsatzstarken Mandanten zu steuern.
Manches Tracing verlangsamt jede Anfrage, lässt sensible Inhalte in ein Drittanbieter-Tool durchsickern oder berechnet Ihnen Geld dafür, Ihre eigenen Daten anzusehen. Dieses tut nichts davon.
Erstellen Sie einen Key, aktivieren Sie Observability und sehen Sie ab dem nächsten Aufruf jede Anfrage Stufe für Stufe aufgeschlüsselt.
We use privacy-friendly, EU-hosted analytics to understand how Akumi is used. Accept analytics cookies, or continue without them. See our cookie policy.
