← Torna al blog

Gli Span GenAI di OpenTelemetry Possono Trasformare i Prompt in Log Persistenti

Le convenzioni GenAI di OpenTelemetry permettono di configurare la cattura di input e output dei modelli. Il contenuto dei prompt è un dato sensibile, non un metadato di osservabilità ordinario.

Una trace OpenTelemetry può diventare una seconda copia di ogni prompt, estratto di documento o risposta del modello elaborata dall’applicazione. È utile per il debug, ma può anche trasferire contenuti sensibili a collector, exporter e sistemi di conservazione progettati per metadati operativi.

Le convenzioni semantiche GenAI di OpenTelemetry definiscono span, eventi e metriche per le operazioni di modelli e agenti. Attualmente le convenzioni hanno stato Development e la guida agli eventi afferma che le instrumentazioni possono acquisire input degli utenti e risposte dei modelli quando la cattura dei contenuti è configurata. La scelta progettuale è tua: una trace può descrivere un’inferenza senza memorizzarne il payload.

Separare i metadati dell’operazione dal contenuto

Uno span di inferenza utile può registrare operazione, nome del modello, provider, durata, stato, conteggio dei token e un tipo di errore a bassa cardinalità. Questi campi aiutano a rispondere a domande operative: quale modello è lento, quanto spesso falliscono le richieste o se l’uso di token è cambiato dopo un deployment.

Il corpo del prompt e della risposta risponde a un’altra domanda. Può contenere dati dell’account, informazioni personali, credenziali incollate da un utente, dati sanitari, documenti dei clienti o istruzioni interne. Una volta acquisito, il contenuto può essere copiato in un buffer SDK, una coda del collector, un backend di trace, un indice di ricerca, un backup o uno screenshot di un incidente. Ogni destinazione diventa un altro luogo in cui gestire accessi e cancellazione.

Le convenzioni GenAI rendono configurabile la cattura dei contenuti, per esempio solo negli eventi oppure sia negli span sia negli eventi. Non confondere questa impostazione con un controllo completo della privacy. Una libreria di instrumentation può aggiungere attributi e il codice dell’applicazione o un exporter può allegare autonomamente dati di richiesta e risposta.

In produzione, non acquisire contenuti come impostazione predefinita

Escludi i contenuti di prompt e risposte dalla telemetria di produzione ordinaria. Emetti metadati utili per analizzare lo stato del servizio e i costi; usa template di prompt o etichette di versione invece del prompt renderizzato. Evita di registrare argomenti degli strumenti, passaggi recuperati, identificatori degli utenti o cronologia della conversazione come “contesto di debug”.

Se un’indagine in produzione richiede davvero contenuti, tratta la cattura come una modalità diagnostica temporanea e limitata a uno scopo. Richiedi una modifica esplicita, restringi il servizio e l’intervallo di tempo interessati, limita l’accesso a responsabili identificati e imposta una scadenza breve per la cancellazione prima di iniziare. Non abilitare la cattura globale per comodità durante un incidente attivo.

Il campionamento non è una barriera di privacy: la trace campionata contiene ancora il payload completo. Allo stesso modo, sostituire un nome con un hash non rende anonimo un prompt se il testo o gli attributi circostanti possono identificare la persona. La scelta più sicura è non acquisire contenuti non necessari per risolvere la questione operativa.

Filtrare alla fonte e nel collector

Usa le impostazioni di instrumentation per impedire fin dall’inizio l’emissione di contenuti sensibili. Aggiungi filtraggio o redazione lato collector come difesa in profondità, prima che la telemetria raggiunga exporter esterni o archivi a lungo termine. Le indicazioni di sicurezza OpenTelemetry descrivono processor per attributi, filtri, redazione e trasformazione, ma il post-processing non può annullare un’esposizione avvenuta in un buffer o exporter precedente.

Verifica il payload effettivamente esportato, non solo la vista nel dashboard. Invia prompt sintetici con stringhe-canary, ispeziona span ed eventi al confine del collector e verifica che prompt, risposte, segreti e campi personali siano assenti. Ripeti il test dopo gli aggiornamenti dell’instrumentation: convenzioni semantiche e impostazioni predefinite delle librerie possono cambiare e un nuovo attributo può ampliare il flusso di dati.

Infine, applica alle trace regole specifiche di accesso e conservazione. I sistemi di observability spesso consentono un accesso più ampio ai team tecnici e trattengono i dati più a lungo del database applicativo. Mantieni essenziali i metadati di debug, separa gli eventuali flussi diagnostici approvati dalla telemetria ordinaria e definisci esplicitamente la cancellazione da code, indici e backup.

Fonti

Comments

Loading comments…