← ব্লগে ফিরে যান

OpenTelemetry GenAI Span Prompt-কে স্থায়ী Log-এ পরিণত করতে পারে

OpenTelemetry-র GenAI convention মডেলের input ও output কনফিগার করে সংগ্রহের সুযোগ দেয়। Prompt-এর বিষয়বস্তুকে সংবেদনশীল ডেটা হিসেবে দেখুন, সাধারণ observability metadata হিসেবে নয়।

OpenTelemetry trace, application-এ process হওয়া প্রতিটি prompt, document excerpt বা model response-এর দ্বিতীয় copy হয়ে উঠতে পারে। Debugging-এ এটি কাজে লাগে, কিন্তু সংবেদনশীল বিষয়বস্তুকে এমন collector, exporter ও retention system-এও পাঠাতে পারে যেগুলো operational metadata-র জন্য তৈরি।

OpenTelemetry-র GenAI semantic convention মডেল ও agent operation-এর জন্য span, event এবং metric নির্ধারণ করে। এই convention-গুলোর বর্তমান status Development; event guidance অনুযায়ী content capture configure থাকলে instrumentation user input ও model response সংগ্রহ করতে পারে। নকশার সিদ্ধান্ত আপনার: payload সংরক্ষণ না করেও trace inference-এর বিবরণ দিতে পারে।

Operation metadata ও content আলাদা রাখুন

একটি কার্যকর inference span-এ operation, model name, provider, duration, status, token count এবং low-cardinality error type রাখা যায়। এসব field operational প্রশ্নের উত্তর দেয়: কোন model ধীর, request কতবার ব্যর্থ হচ্ছে, বা deployment-এর পরে token usage বদলেছে কি না।

Prompt ও response-এর body অন্য ধরনের প্রশ্নের উত্তর দেয়। তাতে account detail, ব্যক্তিগত তথ্য, user-এর paste করা credential, health data, customer document বা অভ্যন্তরীণ নির্দেশনা থাকতে পারে। সংগ্রহের পর এগুলো SDK buffer, collector queue, trace backend, search index, backup বা incident screenshot-এ কপি হতে পারে। প্রতিটি গন্তব্য access ও deletion নিয়ন্ত্রণের আরেকটি জায়গা।

GenAI convention-এ content capture configure করা যায়; যেমন শুধু event-এ, অথবা span ও event উভয় জায়গায় capture। এই switch-কে পূর্ণ privacy control ভাববেন না। Instrumentation library attribute যোগ করতে পারে, আবার application code বা exporter স্বাধীনভাবে request ও response data যুক্ত করতে পারে।

Production-এ content না নেওয়াকে default করুন

Prompt ও response body-কে নিয়মিত production telemetry-র বাইরে রাখুন। Service health ও cost analysis-এ সহায়ক metadata পাঠান, আর rendered prompt-এর বদলে prompt template বা version label ব্যবহার করুন। Tool argument, retrieved passage, user identifier বা conversation history-কে “debug context” হিসেবে রেকর্ড করবেন না।

Production investigation-এ সত্যিই content দরকার হলে capture-কে সাময়িক ও নির্দিষ্ট উদ্দেশ্যের diagnostic mode হিসেবে দেখুন। স্পষ্ট configuration change বাধ্যতামূলক করুন, প্রভাবিত service ও সময়সীমা সীমিত রাখুন, access শুধু নির্দিষ্ট responder-দের দিন, এবং সংগ্রহ শুরু করার আগে স্বল্প deletion deadline ঠিক করুন। চলমান incident-এর সুবিধার জন্য global content capture চালু করবেন না।

Sampling privacy boundary নয়: sample করা trace-এও সম্পূর্ণ payload থাকে। একইভাবে, নামকে hash দিয়ে বদলালেই prompt anonymous হয় না, যদি text বা আশপাশের attribute থেকে ব্যক্তিকে চেনা যায়। Operational প্রশ্নের উত্তর দিতে যে content দরকার নেই, তা সংগ্রহ না করাই নিরাপদ।

Source ও collector—দুই জায়গাতেই filter করুন

Instrumentation setting দিয়ে শুরুতেই সংবেদনশীল content emit হওয়া ঠেকান। Telemetry বাহ্যিক exporter বা দীর্ঘমেয়াদি storage-এ যাওয়ার আগে collector-side filtering বা redaction-কে defense in depth হিসেবে যোগ করুন। OpenTelemetry security guidance-এ attribute, filter, redaction ও transform processor বর্ণনা করা হয়েছে; কিন্তু পরবর্তী processing আগের buffer বা exporter-এ ঘটে যাওয়া exposure ফিরিয়ে নিতে পারে না।

Dashboard view নয়, সত্যিই export হওয়া payload পরীক্ষা করুন। Canary string-সহ synthetic prompt পাঠান, collector boundary-তে span ও event পরীক্ষা করুন, এবং নিশ্চিত করুন prompt, response, secret ও ব্যক্তিগত field নেই। Instrumentation upgrade-এর পর আবার পরীক্ষা করুন: semantic convention ও library default বদলাতে পারে, নতুন attribute data flow বাড়াতে পারে।

শেষে trace data-র জন্য আলাদা access ও retention policy রাখুন। Observability system-এ প্রায়ই application database-এর চেয়ে বেশি engineer-এর access থাকে এবং ডেটা বেশিদিন রাখা হয়। Debug metadata কমান, অনুমোদিত diagnostic stream-কে নিয়মিত telemetry থেকে আলাদা করুন, এবং queue, index ও backup-এ deletion কীভাবে হবে তা স্পষ্ট করুন।

সূত্র

Comments

Loading comments…