وقتی داده‌های تولیدشده با هوش مصنوعی به حقیقت مبنای تصمیم‌های آینده تبدیل می‌شوند

www.oreilly.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

تصویری درباره تبدیل داده‌های تولیدشده با هوش مصنوعی به مبنای تصمیم‌های آینده

تولیدکنندگان پیش از سپردن کارهای حساس به تأمین‌کنندگان، صلاحیت آن‌ها را ارزیابی می‌کنند. برای مثال، شرکتی که قصد دارد قطعات موردنیاز یک محصول تحت نظارت قانونی، مانند تجهیزات پزشکی، را از تأمین‌کننده‌ای تهیه کند، ابتدا مدارکی مانند گواهی‌های کیفیت، گزارش‌های آزمایش، اسناد بیمه و مجوزهای قانونی را جمع‌آوری و بررسی می‌کند. امروزه، در بسیاری از موارد، نخستین بررسی این مدارک را یک عامل هوش مصنوعی انجام می‌دهد. عامل اسناد را ارزیابی می‌کند و نتیجه‌ای پیشنهادی ارائه می‌دهد. سپس یک فرایند کسب‌وکار تعیین می‌کند که آیا این نتیجه برای تأیید صلاحیت تأمین‌کننده کافی است یا خیر. پس از پذیرش تأمین‌کننده، این تصمیم در سامانه مدیریت تأمین‌کنندگان شرکت ثبت می‌شود. از آن پس، فرایندهای تأمین، داشبوردهای آمادگی و گزارش‌های پروژه همگی به همین سابقه استناد می‌کنند، بی‌آنکه بررسی اولیه را دوباره انجام دهند.

اما این فرایند ممکن است به شکل زیر دچار مشکل شود: یک عامل هوش مصنوعی مسئول ارزیابی تأمین‌کنندگان، مدارک یک تأمین‌کننده جدید را بررسی می‌کند و به این نتیجه می‌رسد که گواهی کیفیت اجباری او معتبر است. فرایند ارزیابی نیز این نتیجه را می‌پذیرد، تأمین‌کننده در سامانه به‌عنوان شرکتی منطبق با الزامات ثبت می‌شود و مسئول تدارکات، او را برای یک سفارش پیش‌رو تأیید می‌کند. چند روز بعد، یک کارشناس انسانی متوجه می‌شود که گواهی موردنظر قطعه‌ای را که قرار است خریداری شود پوشش نمی‌دهد؛ زیرا عامل هوش مصنوعی دامنه اعتبار گواهی را اشتباه خوانده است. ساعت ۱۱ صبح، کارشناس اطلاعات تأمین‌کننده را اصلاح می‌کند و پرونده را برای بررسی مجدد می‌فرستد. اما ساعت ۲ بعدازظهر، داشبورد آمادگی همچنان تأمین‌کننده را تأییدشده نشان می‌دهد و گزارش پروژه نیز او را منطبق با الزامات معرفی می‌کند. تصمیم مسئول تدارکات برای انتخاب این تأمین‌کننده همچنان به قوت خود باقی است و هیچ هشداری به او نمی‌دهد که مدارک پشتیبان تصمیمش تغییر کرده‌اند.

اشتباه در تشخیص دامنه اعتبار، تنها یکی از عواملی است که می‌تواند ارزیابی یک گواهی را بی‌اعتبار کند. ممکن است گواهی پس از بررسی لغو شود، پیش از ارسال سفارش منقضی شود، به کارخانه‌ای غیر از محل تولید قطعه مربوط باشد یا جعلی از آب درآید. در همه این موارد، ممکن است اطلاعات تأمین‌کننده اصلاح شود، اما سامانه‌هایی که پیش‌تر بر اساس ارزیابی قدیمی عمل کرده‌اند، همچنان به آن استناد کنند.

در این مثال، هیچ‌یک از سامانه‌ها دچار نقص فنی نشده‌اند. هر کدام اطلاعاتی را پردازش کرده‌اند که طبق قواعد و مسئولیت‌های محلی خود معتبر به نظر می‌رسیده است؛ بااین‌حال، نتیجه نهایی نادرست بوده است. شرکت تولیدکننده یک مقدار را اصلاح کرده، اما تأثیر آن را اصلاح نکرده است. بخشی از این مشکل آشناست: سامانه‌های سازمانی همواره در هماهنگ نگه‌داشتن گزارش‌ها، نمایه‌ها، حافظه‌های نهان و وضعیت گردش کار با اطلاعات مرجع با دشواری روبه‌رو بوده‌اند. ورود عامل‌های هوش مصنوعی این مسئله را پیچیده‌تر می‌کند، زیرا آن‌ها صرفاً داده جابه‌جا نمی‌کنند، بلکه نتیجه‌گیری تولید می‌کنند. یک نتیجه‌گیری ممکن است از چند منبع مختلف شکل بگیرد، در گزارش‌ها با عبارت‌های دیگری بازنویسی شود و بعداً چنان بازیابی شود که گویی مدرکی مستقل است. تطبیق داده‌ها می‌تواند مقادیر ذخیره‌شده را با یکدیگر هماهنگ کند، اما نمی‌تواند نشان دهد سوابقی که با عبارت‌های متفاوت نوشته شده‌اند، همگی از یک نتیجه‌گیری واحد سرچشمه گرفته‌اند یا تصمیم‌هایی را شناسایی کند که پیش‌تر بر اساس آن نتیجه‌گیری گرفته شده‌اند.

این مشکل به صنعت تولید محدود نیست. در تجربه کاری ما در حوزه‌های بانکداری، مخابرات و منابع، هر جا خروجی یک عامل هوش مصنوعی به سابقه‌ای تبدیل می‌شود که سامانه‌های دیگر به آن اعتماد می‌کنند، همین مسئله دیده می‌شود. برای مثال، طبقه‌بندی یک مورد به‌عنوان تقلب در پرونده ثبت می‌شود، ارزیابی ریسک در گزارش مدیریتی خلاصه می‌شود یا تشخیص یک حادثه به بخشی از پایگاه دانش تبدیل می‌شود. در تمام این موارد، همانند مثال تأمین‌کننده، نتیجه‌گیری با عبور از هر مرحله بخشی از زمینه اولیه خود را از دست می‌دهد و بر تصمیم‌هایی تأثیر می‌گذارد که در آینده گرفته می‌شوند.

این نتیجه‌گیری ممکن است حتی به فرایند توسعه مدل‌ها بازگردد. ارزیابی‌های پذیرفته‌شده به نمونه‌های برچسب‌گذاری‌شده، مجموعه‌داده‌های ارزیابی و داده‌های تنظیم دقیق مدل تبدیل می‌شوند و مدل بعدی آن‌ها را حقیقت مبنا در نظر می‌گیرد. اگر یک ارزیابی نادرست درباره تأمین‌کننده، با وجود اصلاح در سامانه‌های عملیاتی همچنان باقی بماند، ممکن است مدل آینده آن را یاد بگیرد. چه نتیجه‌گیری در داشبورد ظاهر شود، چه در گزارش ثبت شود و چه به مجموعه‌داده آموزشی راه پیدا کند، مسئله اساسی یکسان است: چگونه می‌توان تمام تصمیم‌های مهمی را پیدا کرد که به نتیجه‌ای وابسته‌اند که احتمال تغییر آن وجود دارد؟

وقتی یک پاسخ اعتبار و اختیار پیدا می‌کند

دوباره به نتیجه‌گیری عامل هوش مصنوعی درباره معتبر بودن گواهی تأمین‌کننده توجه کنید. زمانی که عامل این نتیجه را تولید می‌کند، صرفاً با یک ادعای تولیدشده روبه‌رو هستیم؛ ادعایی که مدل مطرح کرده و تا زمانی که فرایند ارزیابی آن را برای کاربردی مشخص، مانند تأیید تأمین‌کننده برای خرید، نپذیرفته باشد، هیچ اعتبار رسمی در کسب‌وکار ندارد. عبارت «گواهی معتبر است» نیز در طول انتقال میان سامانه‌ها معنای متفاوتی پیدا می‌کند. در پاسخ عامل، مشخص است که این عبارت بخشی از یک ارزیابی با کمک هوش مصنوعی است. اما وقتی همان عبارت در پرونده اصلی تأمین‌کننده ثبت می‌شود، دیگر شبیه یک واقعیت قطعی به نظر می‌رسد. داشبورد بخش بیشتری از زمینه را حذف می‌کند: فقط نشان می‌دهد تأمین‌کننده تأیید شده است، بدون آنکه مشخص کند کدام بررسی‌ها هنوز تکمیل نشده‌اند یا آیا بررسی مجددی در جریان است. گزارش پروژه نیز نتیجه را به یک جمله خلاصه می‌کند و نمایه جست‌وجو آن جمله را به بخش‌هایی تقسیم می‌کند که هر کدام می‌توانند به‌تنهایی بازیابی شوند.

سامانه‌های سازمانی در این مسیر معمولاً مقدار تولیدشده توسط عامل را حفظ می‌کنند، اما شرایط و محدودیت‌هایی را که نتیجه در آن‌ها به دست آمده است از دست می‌دهند. ممکن است برچسبی که نشان می‌دهد یک ارزیابی با هوش مصنوعی تولید شده، در پرونده تأمین‌کننده باقی بماند، اما از آمار داشبورد، خروجی داده‌ها یا بخش بازیابی‌شده از نمایه حذف شود. هرچه این زمینه بیشتر از بین برود، نتیجه‌گیری اعتبار سامانه‌ای را پیدا می‌کند که در آن نگهداری می‌شود.

به همین دلیل، باید دو پرسش را از یکدیگر جدا نگه داشت: چه کسی یک نتیجه را تولید کرده است؟ و چه کسی اجازه دارد به آن اتکا کند؟ ممکن است یک عامل مجاز باشد نتیجه‌ای پیشنهادی را ثبت کند، اما اجازه نداشته باشد آن را به یک واقعیت رسمی در کسب‌وکار تبدیل کند. یک ارزیابی ممکن است برای انتقال تأمین‌کننده به مرحله بالاتری از صف بررسی کافی باشد، اما برای تأیید نهایی او یا آزادسازی وجه پرداختی کفایت نکند. مرز میان این دو به میزان حساسیت موضوع و کنترل‌هایی بستگی دارد که برای آن کاربرد مشخص، اختیار لازم را اعطا می‌کنند. پس از آنکه فرایند ارزیابی نتیجه‌ای را پذیرفت، سامانه‌های پایین‌دستی معمولاً آن را قطعی تلقی می‌کنند و بررسی‌ها را تکرار نمی‌کنند. این کار از نظر بهره‌وری منطقی است، اما مسئولیتی نیز ایجاد می‌کند: این سامانه‌ها همچنان باید بدانند کدام تصمیم‌ها به آن نتیجه وابسته‌اند و این وابستگی تحت چه شرایطی شکل گرفته است.

وقتی تکرار یک نتیجه به‌اشتباه تأیید مستقل تلقی می‌شود

پذیرش یک نتیجه باعث تکثیر آن نیز می‌شود. وقتی تأمین‌کننده در سامانه منطبق با الزامات ثبت شد، داشبورد آمادگی او را تأییدشده نشان می‌دهد، فرایند تأمین به مرحله بعد می‌رود و گزارش پروژه نیز همان تأیید را تکرار می‌کند. اگر عامل هوش مصنوعی دیگری بعداً درباره این تأمین‌کننده پرس‌وجو کند، ممکن است هم پرونده تأمین‌کننده و هم گزارش پروژه را به‌عنوان دو سند مجزا بازیابی کند؛ اسنادی که هر دو ظاهراً از یک نتیجه‌گیری پشتیبانی می‌کنند. در پرونده تأمین‌کننده، گزارش پروژه و داشبورد، ممکن است به‌ترتیب گفته شود مدارک تأیید شده‌اند، کنترل‌ها با موفقیت انجام شده‌اند و نتیجه نهایی مورد تأیید است. آنچه تأیید چندگانه به نظر می‌رسد، در واقع تکثیر یک ارزیابی واحد است. از آنجا که هر سامانه عبارت‌بندی یا قالب این نتیجه را تغییر می‌دهد، تشخیص تکراری بودن آن آسان نیست.

حتی یک مدل قوی‌تر نیز لزوماً نمی‌تواند این تکرار را شناسایی کند، اگر سامانه بازیابی اسناد، نسخه‌های مختلف را به‌صورت مدارکی نامرتبط به آن ارائه دهد. رتبه‌بندی مجدد نتایج، ارتباط آن‌ها با پرس‌وجو را بهبود می‌بخشد، اما ممکن است تمام نسخه‌های تکراری مرتبط باشند. دستور دادن به مدل برای جست‌وجوی شواهد مستقل نیز نمی‌تواند زنجیره منشأ اطلاعاتی را که پیش از رسیدن اسناد به مدل حذف شده است، دوباره بازسازی کند. حافظه عامل‌ها مشکل را تشدید می‌کند. عاملی که نتیجه‌گیری خودش را ثبت کند و یک هفته بعد دوباره آن را بازیابی کند، در واقع به خودش استناد کرده است، بی‌آنکه متن بازیابی‌شده این موضوع را نشان دهد. در گردش کارهای چندعاملی نیز خلاصه یک عامل به زمینه کاری عامل دیگری تبدیل می‌شود و عامل سوم ممکن است هنگام انجام یک بررسی ظاهراً مستقل، هر دو نتیجه قبلی را بخواند.

ردیابی زنجیره تصمیم‌ها؛ حلقه مفقوده در فرایند بازیابی

ابزارهای موجود بخش‌هایی از این مسئله را پوشش می‌دهند. استاندارد W3C PROV موجودیت‌ها، فعالیت‌ها و عامل‌های دخیل در تولید داده را مدل‌سازی می‌کند و منشأ اطلاعات و مسئولیت‌ها را مشخص می‌سازد.[۱] چارچوب OpenLineage فراداده‌های استانداردی را برای ردیابی منشأ مجموعه‌داده‌ها، وظایف و اجراها تعریف می‌کند.[۲] روش ثبت رویداد یا Event Sourcing نیز تغییرات وضعیت یک برنامه را به‌صورت توالی رویدادها ثبت می‌کند.[۳] استاندارد PROV به‌اندازه‌ای انعطاف‌پذیر است که بتوان تمام مثال تأمین‌کننده را با آن مدل‌سازی کرد. مشکل در نحوه پیاده‌سازی این ابزارهاست. ابزارهای ردیابی منشأ داده اغلب در مرز مجموعه‌داده‌ها و وظایف متوقف می‌شوند و به‌ندرت تا سابقه تصمیم یا لایه بازیابی اطلاعاتی پیش می‌روند که زمینه موردنیاز عامل هوش مصنوعی را گردآوری می‌کند. در شکل رایج پیاده‌سازی، هیچ‌یک از این ابزارها به پرسش اصلی پس از تغییر ارزیابی گواهی پاسخ نمی‌دهد: کدام تصمیم‌ها هنوز به این ارزیابی وابسته‌اند؟ ردیابی زنجیره تصمیم‌ها این سازوکارها را گسترش می‌دهد و رابطه میان شواهد اولیه، ادعای تولیدشده، اختیاری که به آن ادعا داده شده و تصمیم‌های متکی بر آن را ثبت می‌کند.

ردیابی منشأ داده به ما می‌گوید یک ادعا به کجا منتقل شده است؛ ردیابی زنجیره تصمیم‌ها نشان می‌دهد سازمان به دلیل باور کردن آن ادعا چه اقداماتی انجام داده است.

در مثال تأمین‌کننده، این زنجیره از گواهی آغاز می‌شود، به ارزیابی عامل هوش مصنوعی می‌رسد، سپس به سابقه تأمین‌کننده که آن ارزیابی را پذیرفته است متصل می‌شود و در ادامه به تصمیم مسئول تدارکات برای انتخاب تأمین‌کننده و داشبورد، گزارش و نمایه جست‌وجویی می‌رسد که از همان ارزیابی استفاده کرده‌اند. اگر بعداً مشخص شود گواهی معتبر نبوده است، این زنجیره به سامانه امکان می‌دهد تصمیم مربوط به تأمین را پیدا کند و تمام گزارش‌ها، گردش کارها و خروجی‌های هوش مصنوعی را که ارزیابی قدیمی را به ارث برده‌اند، شناسایی کند؛ آن هم پیش از آنکه هر یک از آن‌ها بر تصمیم دیگری تأثیر بگذارد.

این زنجیره همچنین مرز میان بازیابی خودکار توسط نرم‌افزار و پاسخ‌گویی سازمانی را مشخص می‌کند. نرم‌افزار می‌تواند موارد متأثر را شناسایی کند، مانع از نمایش ارزیابی لغوشده به‌عنوان مدرک معتبر و به‌روز شود و برای فرد مسئول تصمیم، یک وظیفه بررسی مجدد ایجاد کند. اما این فرد است که تصمیم می‌گیرد آیا تصمیم قبلی همچنان معتبر است، باید لغو شود یا لازم است موضوع به مشتریان یا نهادهای نظارتی اطلاع داده شود. برای مثال، ممکن است سامانه به‌طور خودکار نتایج قدیمی را از نمایه جست‌وجو حذف کند، اما تغییر تصمیمی را که درباره تأمین‌کننده گرفته شده است، همچنان به تأیید انسانی موکول کند.

الگویی عملیاتی برای حفظ وابستگی تصمیم‌ها

این الگو از همان نقطه‌ای آغاز می‌شود که خروجی عامل هوش مصنوعی وارد سامانه مرجع اطلاعات می‌شود. عامل، نتیجه خود را به‌عنوان یک پیشنهاد ثبت می‌کند و آن را به مدارکی که بررسی کرده است پیوند می‌دهد. سپس یک گردش کار قطعی که مسئولیت آن بر عهده بخش کسب‌وکار است، تصمیم می‌گیرد آیا این پیشنهاد برای کاربردی مشخص اعتبار پیدا می‌کند یا خیر. اگر انجام یکی از بررسی‌های الزامی ممکن نباشد، نتیجه در حد پیشنهاد باقی می‌ماند و هرگز بی‌سروصدا به یک ارزیابی تأییدشده ارتقا پیدا نمی‌کند. جدا نگه‌داشتن پیشنهادها از ارزیابی‌های پذیرفته‌شده مانع از تأیید ناخواسته آن‌ها می‌شود، اما به‌تنهایی اتفاقات بعدی را ثبت نمی‌کند؛ برای مثال، زمانی که تصمیم مربوط به تأمین به یک ارزیابی پذیرفته‌شده متکی می‌شود. این تصمیم باید پیوندی با آن ارزیابی و نسخه مدارکی داشته باشد که ارزیابی بر اساس آن‌ها انجام شده است. برای این کار نیازی نیست یک گراف جامع از تمام اطلاعاتی که عامل با آن‌ها سروکار داشته ساخته شود. در تصمیم‌های دارای پیامدهای مهم، کافی است بتوان تأثیر ارزیابی را حتی پس از پایان گردش کار ردیابی کرد.

سابقه وابستگی که این ارتباط را نگهداری می‌کند، می‌تواند بسیار ساده و کم‌حجم باشد. برای مثال تأمین‌کننده، چنین سابقه‌ای ممکن است به شکل زیر باشد:

{
 "assertion_id": "asr-7781",
 "claim": "Mandatory certificate valid for supplier S-204",
 "evidence_snapshot": "evd-2291@v3",
 "authority": {
 "granted_by": "qualification-workflow",
 "scope": ["sourcing-approval"]
 },
 "dependent_decisions": ["sourcing-5520"],
 "derived_artifacts": ["dashboard:readiness",
 "report:program-q3",
 "index:supplier-docs"],
 "status": "accepted"
}

وقتی ارزیابی مربوط به گواهی پس گرفته می‌شود، وضعیت این سابقه به «لغوشده» تغییر می‌کند و فیلدهای dependent_decisions و derived_artifacts فهرست تمام مواردی را نشان می‌دهند که باید دوباره بررسی شوند.

سابقه وابستگی باید هنگام انتقال ارزیابی به سامانه‌های پایین‌دستی نیز حفظ شود، زیرا ممکن است همان نتیجه بعداً از طریق گزارش پروژه یا نمایه جست‌وجو دوباره وارد گردش کار شود. وقتی یک عامل هوش مصنوعی در مرحله بعد هم پرونده تأمین‌کننده و هم گزارش پروژه را بازیابی می‌کند، لایه بازیابی باید تشخیص دهد که هر دو از یک منشأ مشترک آمده‌اند و در واقع دو نسخه از یک ارزیابی واحد هستند. اگر آن ارزیابی لغو شده باشد، لایه بازیابی باید هر دو نسخه را پیش از رسیدن به عامل فیلتر کند یا درباره آن‌ها هشدار دهد.

وقتی مشخص می‌شود یک ارزیابی اشتباه بوده است، آن را لغو می‌کنند و تأمین‌کننده دوباره به مرحله بررسی بازمی‌گردد. سابقه وابستگی به سرویس‌های مختلف امکان می‌دهد تصمیم‌های متکی بر آن ارزیابی را پیدا کنند، داشبوردها را دوباره محاسبه کنند، گزارش‌ها را برای تولید مجدد علامت‌گذاری کنند، نتایج قدیمی را از جست‌وجو حذف کنند و گردش کارهای در انتظار را متوقف سازند. تصمیم‌هایی که اجرای آن‌ها آغاز شده است، برای بررسی به مسئولان مربوط ارجاع داده می‌شوند و هیچ‌کدام به‌طور خودکار لغو نمی‌شوند. بی‌اعتبار کردن داده‌های حافظه نهان، به‌روزرسانی نمایه‌های برداری، تولید مجدد گزارش‌ها و بازگرداندن گردش کارها، همگی بخش‌هایی از یک فرایند واحد برای بازیابی هستند. اصلاح زمانی به‌اندازه کافی پیش رفته است که ارزیابی قدیمی دیگر مبنای هیچ تصمیم جاری نباشد.

این الگو چه زمانی ارزش هزینه کردن دارد؟

همه خروجی‌های هوش مصنوعی به ردیابی زنجیره تصمیم‌ها نیاز ندارند. اگر پاسخی کم‌اهمیت باشد، هرگز ذخیره نشود، دوباره به‌عنوان مدرک مورد استفاده قرار نگیرد و تولید مجدد آن هزینه زیادی نداشته باشد، ثبت معمولی رویدادها کافی است. اما زمانی که یک ارزیابی تولیدشده با هوش مصنوعی بتواند بر تأیید یک درخواست، پرداخت، ایمنی، انطباق با مقررات یا تصمیم‌های بعدی ماشین‌ها تأثیر بگذارد، استفاده از این روش ارزش پیدا می‌کند. تا زمانی که خطای چنین ارزیابی‌ای کشف شود، ممکن است نتیجه از قبل بر اقدامات سازمان تأثیر گذاشته باشد. بنابراین، فرایند بازیابی باید در مهلتی تکمیل شود که با ظرفیت زمانی فرایند کسب‌وکار سازگار است. این الگو هزینه کارهای لازم برای بازیابی را کاهش می‌دهد؛ کارهایی که شامل یافتن تصمیم‌های متأثر از تغییر شواهد و بررسی مجدد آن‌هاست.

این روش همچنین به معنای ردیابی تک‌تک کلماتی نیست که یک عامل تولید می‌کند. واحدی که باید ردیابی شود، یک ادعای مهم و اثرگذار است؛ یعنی گزاره‌ای مشخص، مانند «گواهی معتبر است»، که اگر نادرست باشد می‌تواند تصمیمی را تغییر دهد. ممکن است یک ارزیابی طولانی درباره تأمین‌کننده فقط شامل یک یا دو ادعای مهم از این نوع باشد. ثبت وابستگی‌های مربوط به همین ادعاها، از نگهداری ردپای کامل تمام نوشته‌های عامل مفیدتر است و هزینه کمتری از نظر فضای ذخیره‌سازی، مخاطرات حریم خصوصی و عملیات دارد.

ردیابی منشأ اطلاعات باید به‌اندازه کافی دقیق باشد تا شواهد مستقل همچنان مستقل باقی بمانند. برای مثال، اگر دو آزمایشگاه به‌طور جداگانه یک گواهی را اعتبارسنجی کنند، سامانه نباید صرفاً به دلیل یکسان بودن نتایج، آن‌ها را در یک منبع واحد ادغام کند. آنچه اهمیت دارد این است که آیا مشاهدات منشأ مشترکی دارند یا خیر؛ شباهت عبارت‌ها به‌تنهایی چیزی را ثابت نمی‌کند.

چگونه بفهمیم اصلاح اطلاعات به تمام بخش‌های وابسته رسیده است؟

صرف ثبت وابستگی‌ها چندان ارزشی ندارد، مگر آنکه اصلاح اطلاعات واقعاً در طول این زنجیره جریان پیدا کند. به همین دلیل، این الگو به یک روش آزمایش نیاز دارد. در یک محیط کنترل‌شده، ابتدا یک ارزیابی نادرست وارد سامانه می‌شود و اجازه داده می‌شود تا به گزارش و نمایه جست‌وجو راه پیدا کند. سپس آن ارزیابی لغو می‌شود. آزمایش تنها زمانی موفق است که تصمیم متأثر قابل شناسایی باشد و نسخه‌های قدیمی دیگر در مهلت بازیابی تعیین‌شده برای فرایند، به‌عنوان شواهد معتبر و جاری نمایش داده نشوند.

سه شاخص نشان می‌دهند که آزمایش تا چه اندازه موفق بوده است. نخست، «پوشش تصمیم» است؛ یعنی سهم تصمیم‌های دارای پیامدهای مهم که می‌توان آن‌ها را تا ارزیابی پشتیبانشان ردیابی کرد. دوم، «زمان شناسایی تأثیر» است؛ یعنی فاصله زمانی میان لغو یک ارزیابی و شناسایی تصمیم‌هایی که از آن تأثیر گرفته‌اند. سوم، «نشت شواهد منسوخ» است؛ یعنی تعداد نسخه‌های لغوشده‌ای که همچنان به‌عنوان شواهد معتبر و جاری بازگردانده می‌شوند. اهداف هر شاخص به نوع فرایند بستگی دارد. برای مثال، ممکن است در تأیید یک پرداخت لازم باشد تصمیم‌های متأثر ظرف یک ساعت شناسایی شوند و هیچ داده منسوخی نشت نکند؛ درحالی‌که برای تعیین اولویت در صف بررسی، ممکن است مهلتی یک‌روزه قابل قبول باشد.

بازسازی دوباره تصمیم‌گیری درباره تأمین‌کننده

اکنون دوباره به مثال تأمین‌کننده بازگردیم و آن را با استفاده از این الگو اجرا کنیم. وقتی عامل هوش مصنوعی مسئول بررسی تأمین‌کننده به این نتیجه می‌رسد که گواهی معتبر است، ارزیابی خود را به‌عنوان یک پیشنهاد ثبت می‌کند و آن را به اسنادی که بررسی کرده است پیوند می‌دهد. فرایند ارزیابی تأمین‌کننده، این نتیجه را بررسی می‌کند، برای استفاده از آن در تصمیم تأمین اختیار لازم را اعطا می‌کند و سابقه وابستگی توضیح‌داده‌شده در بخش قبل را ثبت می‌کند. داشبورد و گزارش پروژه همچنان از ارزیابی پذیرفته‌شده استفاده می‌کنند و عامل دیگری که بعداً هر دو را بازیابی می‌کند، متوجه می‌شود که آن‌ها دو نسخه از یک ارزیابی واحد هستند.

وقتی کارشناس در ساعت ۱۱ صبح اطلاعات را اصلاح می‌کند، ارزیابی لغو می‌شود و تأمین‌کننده دوباره به مرحله بررسی بازمی‌گردد. اما این بار اصلاح در تمام زنجیره منتشر می‌شود. داشبورد دوباره محاسبه می‌شود، گزارش پروژه برای تولید مجدد علامت‌گذاری می‌شود، سوابق قدیمی از نمایه جست‌وجو حذف می‌شوند و برای مسئول تدارکات وظیفه‌ای جهت بررسی مجدد تصمیم تأمین ایجاد می‌شود. تا ساعت ۲ بعدازظهر، داشبورد وضعیت تأمین‌کننده را در حال بررسی نشان می‌دهد.

اکنون مسئول تدارکات می‌تواند ببیند که ارزیابی گواهی تغییر کرده است، کدام تصمیم به آن وابسته بوده و چه گزارش‌ها و سوابقی آن را بازتاب داده‌اند. اشتباه اولیه همچنان رخ داده است، اما این بار دامنه انتشار آن مشخص است و پیامدهایش دوباره در اختیار فردی قرار گرفته که می‌تواند برای رفع آن اقدام کند.

حقیقت مبنا از تصمیم بعدی آغاز می‌شود

در مثال تأمین‌کننده، مسئول تدارکات هرگز پاسخ مدل را به‌عنوان نتیجه نهایی نپذیرفت. این ارزیابی زمانی به حقیقت مورد پذیرش سازمان تبدیل شد که سامانه تأمین‌کنندگان آن را تأیید کرد، گردش کار بر اساس آن پیش رفت، گزارش پروژه آن را تکرار کرد و سامانه‌های بعدی نیز اعتبار آن را به ارث بردند.

ردیابی زنجیره تصمیم‌ها اصالت مدارک اولیه را اثبات نمی‌کند، جایگزین کنترل‌های کیفیت داده یا مجوزهای دسترسی نمی‌شود و دقت نتیجه‌گیری‌های مدل را تضمین نمی‌کند. این روش به مرحله پس از تولید یک ارزیابی می‌پردازد: اینکه تأثیر آن چگونه در تصمیم‌های وابسته ثبت، شناسایی و دوباره بررسی می‌شود. برای شرکت تولیدکننده، اصلاح سابقه گواهی تنها نخستین گام بود. بازیابی کامل همچنین مستلزم یافتن تصمیم تأمین متکی بر آن ارزیابی و جلوگیری از بازگشت نسخه‌های منسوخ به‌عنوان شواهد معتبر و جاری بود.


داده‌های تولیدشده با هوش مصنوعی از لحظه‌ای به حقیقت مبنا تبدیل می‌شوند که تصمیم بعدی دیگر درباره منشأ آن‌ها پرس‌وجو نکند.


منابع

  1. کنسرسیوم وب جهان‌گستر (W3C)، «مروری بر PROV: آشنایی با مجموعه اسناد PROV»، ۳۰ آوریل ۲۰۱۳. مشاهده راهنمای مروری W3C PROV.
  2. OpenLineage، «چارچوبی باز برای گردآوری و تحلیل منشأ داده». مشاهده مستندات OpenLineage.
  3. مارتین فاولر، «ثبت رویداد»، ۱۲ دسامبر ۲۰۰۵. مطالعه مقاله ثبت رویداد.