GenAI-спаны OpenTelemetry Могут Превратить Промпты в Постоянные Логи
Семантические соглашения GenAI в OpenTelemetry позволяют настраивать сбор входных и выходных данных моделей. Содержимое промпта — чувствительные данные, а не обычные метаданные наблюдаемости.
Трассировка OpenTelemetry может стать второй копией каждого промпта, фрагмента документа или ответа модели, обработанного приложением. Это полезно для отладки, но может перенести чувствительное содержимое в collectors, exporters и системы хранения, рассчитанные на операционные метаданные.
Семантические соглашения OpenTelemetry для GenAI определяют спаны, события и метрики для операций моделей и агентов. Сейчас у этих соглашений статус Development, а руководство по событиям говорит, что инструментирование может собирать пользовательский ввод и ответы модели при настройке захвата содержимого. Решение о проектировании остаётся за вами: трассировка может описать инференс, не сохраняя его payload.
Отделяйте метаданные операции от содержимого
Полезный спан инференса может фиксировать операцию, название модели, провайдера, длительность, статус, число токенов и тип ошибки с низкой кардинальностью. Эти поля помогают отвечать на операционные вопросы: какая модель работает медленно, как часто завершаются ошибкой запросы и изменилось ли использование токенов после развёртывания.
Текст промпта и ответа отвечает на другой вопрос. Он может содержать данные учётной записи, персональную информацию, вставленные пользователем учётные данные, медицинские сведения, документы клиентов или внутренние инструкции. После захвата данные могут копироваться в буфер SDK, очередь collector, хранилище трассировок, поисковый индекс, резервную копию или скриншот инцидента. Каждое назначение становится ещё одним местом, где нужно контролировать доступ и удаление.
Соглашения GenAI позволяют настраивать захват содержимого; например, только в событиях или одновременно в спанах и событиях. Не считайте эту настройку полноценным механизмом приватности. Библиотека инструментирования может добавлять атрибуты, а код приложения или exporter — независимо прикреплять данные запросов и ответов.
В production по умолчанию не собирайте содержимое
Не включайте тексты промптов и ответов в обычную production-телеметрию. Передавайте метаданные для анализа состояния сервиса и затрат, а вместо отрендеренного промпта используйте шаблоны или метки версий. Не записывайте аргументы инструментов, извлечённые фрагменты, идентификаторы пользователей или историю диалога как «контекст отладки».
Если для расследования в production действительно нужно содержимое, рассматривайте сбор как временный режим диагностики с ограниченной целью. Требуйте явного изменения конфигурации, ограничьте затронутый сервис и период, предоставьте доступ только названным специалистам и до начала сбора задайте короткий срок удаления. Не включайте глобальный захват содержимого только ради удобства во время инцидента.
Сэмплирование не является границей приватности: выбранная трассировка всё равно содержит полный payload. Аналогично, замена имени на хеш не делает промпт анонимным, если текст или сопутствующие атрибуты позволяют установить личность. Безопаснее не собирать данные, которые не нужны для решения операционной задачи.
Фильтруйте на источнике и в collector
Используйте настройки инструментирования, чтобы не допустить выдачу чувствительного содержимого изначально. Дополните их фильтрацией или редактированием на стороне collector как дополнительной защитой, до передачи телеметрии внешним exporters или в долговременное хранилище. Руководство OpenTelemetry по безопасности описывает processors для атрибутов, фильтрации, редактирования и преобразования, но постобработка не отменит утечку в более раннем буфере или exporter.
Проверяйте фактически экспортируемый payload, а не только отображение в dashboard. Отправьте синтетические промпты со строками-маркерами, проверьте спаны и события на границе collector и убедитесь, что промпты, ответы, секреты и персональные поля отсутствуют. Повторяйте тест после обновления инструментирования: семантические соглашения и настройки библиотек могут меняться, а новый атрибут способен расширить поток данных.
Наконец, задайте отдельные правила хранения и доступа для трассировок. Системы наблюдаемости часто доступны более широкому кругу инженеров и хранят данные дольше, чем база приложения. Сократите отладочные метаданные, отделите утверждённый диагностический поток от обычной телеметрии и явно определите удаление данных из очередей, индексов и резервных копий.
Comments
Loading comments…