Los Spans GenAI de OpenTelemetry Pueden Convertir los Prompts en Registros Persistentes
OpenTelemetry permite configurar la captura de entradas y salidas GenAI. Trata el contenido de los prompts como dato sensible, no como metadato rutinario.
Un trace de OpenTelemetry puede convertirse en una segunda copia de cada prompt, fragmento de documento o respuesta de modelo que procesa la aplicación. Esto ayuda a depurar, pero también puede llevar contenido sensible a collectors, exporters y sistemas de retención diseñados para metadatos operativos.
Las convenciones semánticas GenAI de OpenTelemetry definen spans, eventos y métricas para operaciones de modelos y agentes. Actualmente, las convenciones tienen el estado Development, y su guía de eventos indica que las instrumentaciones pueden capturar entradas de usuarios y respuestas de modelos cuando se configura la captura de contenido. La decisión de diseño es tuya: un trace puede describir una inferencia sin guardar su payload.
Separar los metadatos de operación del contenido
Un span de inferencia útil puede registrar la operación, el nombre del modelo, el proveedor, la duración, el estado, el recuento de tokens y un tipo de error de baja cardinalidad. Esos campos ayudan a responder preguntas operativas: qué modelo va lento, con qué frecuencia fallan las solicitudes o si el consumo de tokens cambió tras un despliegue.
El cuerpo del prompt y de la respuesta responde a otra pregunta. Puede contener datos de cuentas, información personal, credenciales pegadas por un usuario, datos de salud, documentos de clientes o instrucciones internas. Una vez capturado, ese contenido puede copiarse a un buffer del SDK, una cola del collector, un backend de traces, un índice de búsqueda, una copia de seguridad o una captura de pantalla de un incidente. Cada destino se convierte en otro lugar donde hay que controlar el acceso y la eliminación.
Las convenciones GenAI permiten configurar la captura de contenido; incluyen opciones como capturar solo en eventos o tanto en spans como en eventos. No confundas ese ajuste con un control de privacidad completo. Una biblioteca de instrumentación puede añadir atributos, y el código de la aplicación o un exporter puede adjuntar datos de solicitud y respuesta por su cuenta.
Usar la ausencia de contenido como base en producción
Mantén el contenido de prompts y respuestas fuera de la telemetría rutinaria de producción. Emite metadatos que permitan analizar el estado y el coste del servicio, y usa plantillas de prompts o etiquetas de versión en lugar del prompt renderizado. Evita registrar argumentos de herramientas, pasajes recuperados, identificadores de usuarios o el historial de conversación como «contexto de depuración».
Si una investigación en producción realmente necesita contenido, trata la captura como un modo de diagnóstico temporal y limitado a una finalidad. Exige un cambio explícito, limita el servicio y el período afectados, restringe el acceso a responsables identificados y establece un plazo breve de eliminación antes de empezar. No habilites la captura global de contenido por comodidad durante un incidente activo.
El muestreo no es una frontera de privacidad: el trace muestreado sigue conteniendo el payload completo. Del mismo modo, sustituir un nombre por un hash no vuelve anónimo un prompt si el texto o los atributos relacionados pueden identificar a la persona. La opción más segura es no recopilar contenido que no sea necesario para resolver la cuestión operativa.
Filtrar en origen y en el collector
Usa la configuración de instrumentación para evitar que el contenido sensible se emita desde el principio. Añade filtrado o redacción en el collector como defensa en profundidad, antes de que la telemetría llegue a exporters externos o al almacenamiento a largo plazo. La guía de seguridad de OpenTelemetry describe processors de atributos, filtros, redacción y transformación, pero el posprocesamiento no deshace una exposición previa en un buffer o exporter.
Prueba el payload exportado realmente, no solo la vista del dashboard. Envía prompts sintéticos con cadenas canario, inspecciona spans y eventos en el límite del collector y comprueba que no aparezcan prompts, respuestas, secretos ni campos personales. Repite la prueba tras actualizar la instrumentación: las convenciones semánticas y los valores predeterminados de las bibliotecas pueden cambiar, y un atributo nuevo puede ampliar el flujo de datos.
Por último, aplica a los traces su propia política de acceso y retención. Los sistemas de observabilidad suelen tener acceso más amplio para ingeniería y retención más larga que la base de datos de la aplicación. Mantén reducidos los metadatos de depuración, separa cualquier flujo de diagnóstico aprobado de la telemetría rutinaria y define cómo se eliminarán las colas, los índices y las copias de seguridad.
Comments
Loading comments…