← Retour au blog

Les Spans GenAI d’OpenTelemetry Peuvent Transformer les Prompts en Journaux Persistants

OpenTelemetry permet de configurer la capture des entrées et sorties GenAI. Le contenu des prompts est une donnée sensible, pas une métadonnée ordinaire.

Une trace OpenTelemetry peut devenir une seconde copie de chaque prompt, extrait de document ou réponse de modèle traité par l’application. C’est utile pour le débogage, mais cela peut aussi transférer du contenu sensible vers des collectors, exporters et systèmes de conservation conçus pour les métadonnées opérationnelles.

Les conventions sémantiques GenAI d’OpenTelemetry définissent des spans, des événements et des métriques pour les opérations de modèles et d’agents. Elles sont actuellement au statut Development. Leur documentation sur les événements indique que les instrumentations peuvent capturer les entrées utilisateur et les réponses du modèle si la capture du contenu est configurée. Le choix de conception vous appartient : une trace peut décrire une inférence sans stocker son payload.

Séparer les métadonnées d’opération du contenu

Un span d’inférence utile peut enregistrer l’opération, le nom du modèle, le fournisseur, la durée, le statut, le nombre de tokens et un type d’erreur à faible cardinalité. Ces champs répondent à des questions opérationnelles : quel modèle est lent, à quelle fréquence les requêtes échouent ou si l’utilisation des tokens a changé après un déploiement.

Le corps du prompt et de la réponse répond à une autre question. Il peut contenir des données de compte, des informations personnelles, des identifiants collés par un utilisateur, des données de santé, des documents clients ou des instructions internes. Une fois capturé, ce contenu peut être copié dans un buffer de SDK, une file de collector, un backend de traces, un index de recherche, une sauvegarde ou une capture d’écran d’incident. Chaque destination devient un nouvel endroit où contrôler l’accès et la suppression.

Les conventions GenAI rendent la capture du contenu configurable, par exemple avec une capture uniquement dans les événements ou dans les spans et événements. Ne confondez pas ce paramètre avec un contrôle de confidentialité complet. Une bibliothèque d’instrumentation peut ajouter des attributs, et le code applicatif ou un exporter peut joindre séparément les données de requête et de réponse.

Faire de l’absence de contenu la configuration de production

Excluez le contenu des prompts et des réponses de la télémétrie de production courante. Émettez des métadonnées utiles à l’analyse de l’état du service et des coûts ; utilisez des modèles de prompts ou des étiquettes de version à la place du prompt rendu. N’enregistrez pas les arguments d’outils, passages récupérés, identifiants utilisateur ou historiques de conversation sous forme de « contexte de débogage ».

Si une enquête en production exige réellement le contenu, traitez la capture comme un mode de diagnostic temporaire et limité à une finalité. Exigez une modification explicite, limitez le service et la période concernés, réservez l’accès à des intervenants nommés et fixez une courte échéance de suppression avant de commencer. N’activez pas la capture globale par commodité pendant un incident actif.

L’échantillonnage n’est pas une frontière de confidentialité : la trace échantillonnée contient toujours le payload complet. De même, remplacer un nom par un hash ne rend pas le prompt anonyme si le texte ou les attributs environnants peuvent identifier la personne. Le choix le plus sûr consiste à ne pas recueillir le contenu inutile à la résolution de la question opérationnelle.

Filtrer à la source et dans le collector

Configurez l’instrumentation pour empêcher l’émission du contenu sensible dès le départ. Ajoutez un filtrage ou une rédaction côté collector en défense en profondeur, avant l’arrivée de la télémétrie chez des exporters externes ou dans un stockage à long terme. Les recommandations de sécurité OpenTelemetry décrivent des processors d’attributs, de filtrage, de rédaction et de transformation, mais un post-traitement ne peut pas annuler une exposition antérieure dans un buffer ou un exporter.

Testez le payload réellement exporté, pas seulement la vue du dashboard. Envoyez des prompts synthétiques contenant des chaînes canaris, inspectez spans et événements à la frontière du collector, puis vérifiez l’absence de prompts, réponses, secrets et champs personnels. Recommencez après les mises à jour d’instrumentation : les conventions sémantiques et les valeurs par défaut des bibliothèques peuvent évoluer, et un nouvel attribut peut élargir le flux de données.

Enfin, appliquez aux traces leurs propres règles d’accès et de conservation. Les systèmes d’observabilité offrent souvent un accès technique plus large et une conservation plus longue que la base applicative. Réduisez les métadonnées de débogage, séparez tout flux de diagnostic approuvé de la télémétrie courante et définissez explicitement la suppression des files, index et sauvegardes.

Sources

Comments

Loading comments…