← Zurück zum Blog

OpenTelemetry-GenAI-Spans Können Prompts in Dauerhafte Logs Verwandeln

Die GenAI-Konventionen von OpenTelemetry ermöglichen die konfigurierbare Erfassung von Modelleingaben und -ausgaben. Prompt-Inhalte sind sensible Daten, keine gewöhnlichen Observability-Metadaten.

Ein OpenTelemetry-Trace kann zu einer zweiten Kopie jedes Prompts, Dokumentauszugs oder jeder Modellantwort werden, die eine Anwendung verarbeitet. Das ist beim Debugging hilfreich, kann sensible Inhalte aber auch in Collector, Exporter und Aufbewahrungssysteme übertragen, die für Betriebsmetadaten ausgelegt sind.

Die OpenTelemetry-GenAI-Semantikkonventionen definieren Spans, Events und Metriken für Modell- und Agentenoperationen. Die Konventionen haben derzeit den Status Development. Laut Event-Leitfaden können Instrumentierungen Nutzereingaben und Modellantworten erfassen, wenn die Inhaltserfassung konfiguriert ist. Die Designentscheidung liegt bei Ihnen: Ein Trace kann eine Inferenz beschreiben, ohne ihren Payload zu speichern.

Betriebsmetadaten und Inhalte trennen

Ein nützlicher Inferenz-Span kann Operation, Modellname, Anbieter, Dauer, Status, Tokenanzahl und einen Fehler-Typ mit niedriger Kardinalität erfassen. Damit lassen sich Betriebsfragen beantworten: Welches Modell ist langsam, wie oft schlagen Anfragen fehl oder hat sich der Tokenverbrauch nach einem Deployment verändert?

Prompt- und Antworttexte beantworten eine andere Frage. Sie können Kontodaten, personenbezogene Informationen, von Nutzern eingefügte Zugangsdaten, Gesundheitsdaten, Kundendokumente oder interne Anweisungen enthalten. Nach der Erfassung können Inhalte in einen SDK-Puffer, eine Collector-Warteschlange, ein Trace-Backend, einen Suchindex, ein Backup oder einen Incident-Screenshot kopiert werden. Jedes Ziel ist ein weiterer Ort, an dem Zugriff und Löschung kontrolliert werden müssen.

Die GenAI-Konventionen machen die Inhaltserfassung konfigurierbar; Beispiele sind die Erfassung nur in Events oder sowohl in Spans als auch in Events. Verwechseln Sie diese Einstellung nicht mit einem vollständigen Datenschutzmechanismus. Eine Instrumentierungsbibliothek kann Attribute ergänzen, und Anwendungscode oder Exporter können unabhängig davon Anfrage- und Antwortdaten anhängen.

In Produktion standardmäßig keine Inhalte erfassen

Halten Sie Prompt- und Antwortinhalte aus der regulären Produktionstelemetrie heraus. Senden Sie Metadaten, die Servicezustand und Kostenanalyse unterstützen, und verwenden Sie Prompt-Vorlagen oder Versionskennungen statt des gerenderten Prompts. Erfassen Sie keine Tool-Argumente, abgerufenen Passagen, Nutzerkennungen oder Gesprächsverläufe als „Debug-Kontext“.

Wenn eine Untersuchung in Produktion tatsächlich Inhalte benötigt, behandeln Sie die Erfassung als zeitlich begrenzten Diagnosemodus für einen bestimmten Zweck. Verlangen Sie eine ausdrückliche Änderung, begrenzen Sie betroffenen Dienst und Zeitraum, beschränken Sie den Zugriff auf benannte Verantwortliche und legen Sie vor Erfassungsbeginn eine kurze Löschfrist fest. Aktivieren Sie die globale Inhaltserfassung nicht aus Bequemlichkeit während eines laufenden Vorfalls.

Sampling ist keine Datenschutzgrenze: Der gesampelte Trace enthält weiterhin den vollständigen Payload. Auch das Ersetzen eines Namens durch einen Hash macht einen Prompt nicht anonym, wenn Text oder umgebende Attribute die Person identifizieren können. Sicherer ist es, Inhalte, die zur Klärung der Betriebsfrage nicht erforderlich sind, gar nicht erst zu erfassen.

An der Quelle und im Collector filtern

Verwenden Sie Instrumentierungseinstellungen, um die Ausgabe sensibler Inhalte von Anfang an zu verhindern. Ergänzen Sie Collector-seitige Filterung oder Schwärzung als Defense-in-Depth-Maßnahme, bevor Telemetrie externe Exporter oder Langzeitspeicher erreicht. Die OpenTelemetry-Sicherheitsleitlinien beschreiben Attribute-, Filter-, Redaktions- und Transform-Prozessoren; nachträgliche Verarbeitung kann eine frühere Offenlegung in einem Puffer oder Exporter jedoch nicht rückgängig machen.

Prüfen Sie den tatsächlich exportierten Payload, nicht nur die Dashboard-Ansicht. Senden Sie synthetische Prompts mit Canary-Zeichenfolgen, untersuchen Sie Spans und Events an der Collector-Grenze und stellen Sie sicher, dass Prompts, Antworten, Geheimnisse und personenbezogene Felder fehlen. Wiederholen Sie den Test nach Instrumentierungsupdates: Semantikkonventionen und Bibliotheksvorgaben können sich ändern, und ein neues Attribut kann den Datenfluss erweitern.

Geben Sie Trace-Daten schließlich eigene Aufbewahrungs- und Zugriffsregeln. Observability-Systeme haben häufig breiteren technischen Zugriff und längere Aufbewahrung als die Anwendungsdatenbank. Halten Sie Debug-Metadaten knapp, trennen Sie genehmigte Diagnosedaten von regulärer Telemetrie und definieren Sie die Löschung aus Warteschlangen, Indizes und Backups ausdrücklich.

Quellen

Comments

Loading comments…