Spans GenAI do OpenTelemetry Podem Transformar Prompts em Logs Persistentes
As convenções GenAI do OpenTelemetry permitem configurar a captura de entradas e saídas dos modelos. Trate o conteúdo dos prompts como dado sensível, não como metadado rotineiro de observabilidade.
Um trace do OpenTelemetry pode se tornar uma segunda cópia de cada prompt, trecho de documento ou resposta de modelo processada pela aplicação. Isso ajuda na depuração, mas também pode levar conteúdo sensível a collectors, exporters e sistemas de retenção projetados para metadados operacionais.
As convenções semânticas GenAI do OpenTelemetry definem spans, events e métricas para operações de modelos e agentes. As convenções estão atualmente marcadas como Development, e a orientação sobre events diz que as instrumentações podem capturar entradas do usuário e respostas do modelo quando a captura de conteúdo é configurada. A decisão de design é sua: um trace pode descrever uma inferência sem armazenar seu payload.
Separe metadados da operação do conteúdo
Um span de inferência útil pode registrar a operação, o nome do modelo, o provedor, a duração, o status, a contagem de tokens e um tipo de erro de baixa cardinalidade. Esses campos ajudam a responder a perguntas operacionais: qual modelo está lento, com que frequência as requisições falham ou se o uso de tokens mudou após uma implantação.
O corpo do prompt e da resposta responde a outra pergunta. Ele pode conter dados de conta, informações pessoais, credenciais coladas por um usuário, dados de saúde, documentos de clientes ou instruções internas. Depois da captura, esse conteúdo pode ser copiado para um buffer de SDK, fila de collector, backend de traces, índice de busca, backup ou captura de tela de incidente. Cada destino se torna outro local onde é preciso controlar acesso e exclusão.
As convenções GenAI tornam a captura de conteúdo configurável; há opções como capturar apenas em events ou capturar em spans e events. Não confunda essa configuração com um controle de privacidade completo. Uma biblioteca de instrumentação pode acrescentar atributos, e o código da aplicação ou um exporter pode anexar dados de requisição e resposta de forma independente.
Adote a ausência de conteúdo como padrão em produção
Mantenha o conteúdo dos prompts e das respostas fora da telemetria rotineira de produção. Emita metadados que ajudem a analisar a saúde do serviço e custos; use templates de prompt ou identificadores de versão no lugar do prompt renderizado. Evite registrar argumentos de ferramentas, trechos recuperados, identificadores de usuário ou histórico de conversa como “contexto de depuração”.
Se uma investigação em produção realmente precisar do conteúdo, trate isso como um modo de diagnóstico temporário e limitado a uma finalidade. Exija uma alteração explícita, restrinja o serviço e o período afetados, limite o acesso a responsáveis identificados e defina um prazo curto de exclusão antes de iniciar a coleta. Não habilite a captura global de conteúdo por conveniência durante um incidente.
Amostragem não é uma fronteira de privacidade: o trace amostrado ainda contém o payload completo. Da mesma forma, trocar um nome por um hash não torna o prompt anônimo quando o texto ou os atributos ao redor podem identificar alguém. A opção mais segura é não coletar conteúdo que não seja necessário para responder à questão operacional.
Filtre na origem e no collector
Use as configurações de instrumentação para impedir que conteúdo sensível seja emitido desde o início. Acrescente filtragem ou redação no collector como defesa em profundidade, antes que a telemetria chegue a exporters externos ou ao armazenamento de longo prazo. A orientação de segurança do OpenTelemetry descreve processors de atributos, filtros, redação e transformação, mas o pós-processamento não desfaz a exposição em um buffer ou exporter anterior.
Teste o payload realmente exportado, não apenas a visualização no dashboard. Envie prompts sintéticos com strings-canário, inspecione spans e events na fronteira do collector e verifique se prompts, respostas, segredos e campos pessoais estão ausentes. Repita o teste após atualizações de instrumentação: as convenções semânticas e os padrões das bibliotecas podem mudar, e um atributo novo pode ampliar o fluxo de dados.
Por fim, aplique à telemetria de traces suas próprias regras de acesso e retenção. Sistemas de observabilidade costumam ter acesso mais amplo para engenharia e retenção mais longa do que o banco da aplicação. Mantenha os metadados de depuração enxutos, separe qualquer fluxo diagnóstico aprovado da telemetria rotineira e defina explicitamente como filas, índices e backups serão excluídos.
Comments
Loading comments…