← ブログに戻る

OpenTelemetryのGenAI SpanはPromptを永続ログに変える可能性がある

OpenTelemetryのGenAI規約では、モデルの入力と出力を設定に応じて収集できます。Promptの内容は通常のobservabilityメタデータではなく、機微データとして扱ってください。

OpenTelemetryのtraceは、アプリケーションが処理するすべてのprompt、文書の抜粋、モデル応答の二次コピーになり得ます。デバッグには役立ちますが、機微な内容を、運用メタデータ向けに設計されたcollector、exporter、保持システムへ移すことにもなります。

OpenTelemetryのGenAI semantic conventionsは、モデルやagentの操作に対するspan、event、metricを定義しています。現在、規約のステータスは Development であり、eventのガイダンスでは、content captureを設定するとinstrumentationがユーザー入力やモデル応答を収集できるとされています。設計上の判断は実装者にあります。traceはpayloadを保存せずに推論処理を記録できます。

操作メタデータと内容を分ける

有用な推論spanには、操作、モデル名、provider、所要時間、status、token数、低カーディナリティのエラー種別を記録できます。これらの項目があれば、どのモデルが遅いか、リクエストがどれだけ失敗するか、デプロイ後にtoken使用量が変化したかといった運用上の質問に答えられます。

promptや応答の本文は別の問いに答えるデータです。アカウント情報、個人情報、ユーザーが貼り付けた認証情報、健康データ、顧客文書、内部指示が含まれることがあります。収集後、その内容はSDK buffer、collector queue、trace backend、検索index、backup、インシデントのスクリーンショットなどに複製される可能性があります。複製先ごとにアクセス制御と削除を管理しなければなりません。

GenAI規約では、eventのみ、またはspanとeventの両方など、content captureを設定できます。この設定を完全なプライバシー制御と混同しないでください。instrumentation libraryが属性を追加することもあれば、アプリケーションコードやexporterがリクエストと応答のデータを別途添付することもあります。

本番環境では内容を収集しない設定を基本にする

通常の本番telemetryにはpromptや応答本文を含めないでください。サービスの健全性やコスト分析に役立つメタデータを出力し、render後のpromptではなくprompt templateやversion labelを使います。tool引数、取得した文章、ユーザー識別子、会話履歴を「デバッグコンテキスト」として記録することも避けます。

本番調査で内容が本当に必要な場合は、目的と期間を限定した一時的な診断モードとして扱います。明示的な変更を要求し、対象サービスと時間範囲を絞り、指名された対応者だけにアクセスを許可し、収集開始前に短い削除期限を決めてください。稼働中のインシデントで便利だからという理由で、内容収集を全体に有効化してはいけません。

サンプリングはプライバシー境界ではありません。サンプリングされたtraceにもpayload全体が含まれます。同様に、名前をhashに置き換えても、文章や周囲の属性から個人を特定できるならpromptは匿名化されません。運用上の疑問を解決するために不要な内容を収集しないことが、より安全な選択です。

発生源とcollectorの両方でフィルターする

instrumentation設定を使って、最初から機微な内容を出力しないようにします。さらに、telemetryが外部exporterや長期保管先に届く前に、collector側のフィルタリングやredactionを多層防御として追加します。OpenTelemetryのセキュリティガイダンスにはattribute、filter、redaction、transform processorが紹介されていますが、後処理では、先行するbufferやexporterで起きた露出を取り消せません。

dashboard表示だけでなく、実際にexportされるpayloadをテストしてください。canary文字列を含む合成promptを送り、collectorの境界でspanとeventを調べ、prompt、応答、秘密情報、個人項目がないことを確認します。instrumentationを更新した後もテストを繰り返してください。semantic conventionsやlibraryの初期設定は変わる可能性があり、新しい属性がデータフローを広げることがあります。

最後に、traceデータには独自の保持・アクセスルールを適用します。observabilityシステムは、アプリケーションデータベースより広いエンジニアアクセスと長い保持期間を持つことがよくあります。デバッグメタデータを最小限にし、承認済みの診断用streamを通常のtelemetryから分離し、queue、index、backupでの削除動作を明確にしてください。

出典

Comments

Loading comments…