همه داده های ارزشمند سازمان در جدول نیستند

وقتی صحبت از داده می شود، بسیاری از مدیران داشبورد و فایل اکسل را تصور می کنند. در حالی که بخش مهمی از دانش سازمان در قراردادها، دستورالعمل ها، نامه ها، گزارش های فنی و حتی توضیح هایی است که کارکنان درباره یک تصمیم ثبت کرده اند. این منابع می توانند به سامانه های هوشمند کمک کنند، اما تنها وقتی بدانیم چطور به آنها اعتماد کنیم.

مشکل نخست آن است که متن های سازمانی مثل اعداد یک جدول رفتار نمی کنند. یک قرارداد ممکن است اصلاحیه داشته باشد. دستورالعمل ایمنی ممکن است نسخه قدیمی و جدید داشته باشد. دو سند هم ممکن است درباره یک موضوع با زبان متفاوت حرف بزنند. سیستم اگر این تفاوت ها را نبیند، از متن درست هم پاسخ غلط می سازد.

جست و جو در سند با استناد به سند فرق دارد

فرض کنید کارمند از دستیار می پرسد سقف اختیار امضای یک قرارداد چقدر است. سیستم ممکن است پاسخ را از فایل قدیمی پیدا کند، در حالی که بخشنامه جدید رقم دیگری گفته است. راه حل صرفا افزودن اسناد بیشتر نیست. باید نسخه معتبر، تاریخ اجرا، حوزه کاربرد و سطح دسترسی سند روشن باشد.

در چنین کاربردی، پاسخ بهتر است همراه با بخش قابل بررسی منبع ارائه شود. اگر دو سند با هم تعارض دارند، سیستم باید تعارض را نشان دهد، نه اینکه یکی را به دلخواه انتخاب کند. برای برخی سوال ها حتی بهترین پاسخ این است: «اطلاعات کافی برای تصمیم ندارم.»

داده مصنوعی چه کمکی می کند؟

گاهی به علت محرمانگی یا کمیاب بودن رویدادها نمی توان از داده واقعی به شکل آزاد در آزمایش استفاده کرد. داده مصنوعی، یعنی داده ای که برای شبیه سازی ویژگی ها یا سناریوهای مورد نظر ساخته شده، می تواند به آزمایش جریان کار و بررسی حالت های نادر کمک کند. مثلا می توان سناریوهای متفاوت درخواست مشتری را برای آزمودن یک سامانه تولید کرد.

اما یک دام مهم وجود دارد: داده مصنوعی جای واقعیت را نمی گیرد. اگر آن را با فرض های اشتباه بسازیم، ممکن است سیستم روی آزمون مصنوعی عالی کار کند و در محیط واقعی ضعیف باشد. داده مصنوعی همچنین به خودی خود تضمین نمی کند که خطر افشای اطلاعات محرمانه از بین رفته باشد. روش ساخت و ارزیابی آن اهمیت دارد.

تاریخ مصرف داده را جدی بگیریم

یک دانشنامه سازمانی شاید امروز دقیق باشد و سه ماه دیگر درباره قیمت، قانون یا ساختار سازمان اطلاعات نادرست بدهد. پس باید از ابتدا مشخص کنیم داده چه زمانی کهنه می شود و چه کسی مسئول به روزرسانی آن است.

برای هر منبع مهم، سه ویژگی را ثبت کنید: اعتبار، تازگی و اجازه استفاده. این سه ویژگی به اندازه شکل ذخیره سازی مهم اند. سند معتبر ولی قدیمی ممکن است برای تاریخچه تصمیم مفید باشد و برای اجرای امروز خطرناک.

من پیشنهاد می کنم اولین آزمایش روی اسناد را با یک مجموعه کوچک و مشخص شروع کنید. به جای بارگذاری تمام فایل های سازمان، مثلا فقط دستورالعمل های تایید شده یک فرایند را وارد کنید، برای آنها نسخه و مالک تعیین کنید و پاسخ ها را با پرسش های واقعی کارکنان بسنجید.

دانش سازمان چرا در فایل ها گم می شود؟

بسیاری از سازمان ها اسناد فراوان دارند اما دسترسی به پاسخ معتبر دشوار است. دستورالعمل ها در پوشه های مختلف ذخیره شده اند، نسخه جدید و قدیم کنار هم قرار دارند و افراد برای یافتن پاسخ به همکار باتجربه تلفن می زنند. اضافه کردن یک دستیار مبتنی بر اسناد می تواند زمان جست و جو را کاهش دهد؛ اما اگر نظم مرجع وجود نداشته باشد، سامانه شاید با سرعت بیشتری همان آشفتگی را بازتاب دهد. جست و جوی هوشمند جای مدیریت دانش را نمی گیرد.

برای هر گروه سند باید مشخص باشد نسخه معتبر کدام است، چه کسی آن را تایید کرده، از چه تاریخی اجرا می شود و چه کسانی اجازه دیدن آن را دارند. این اطلاعات بهتر است همراه سند نگهداری شوند نه در ذهن چند کارمند. وقتی یک بخشنامه تازه منتشر می شود، سیستم باید بداند پاسخ پیشین دیگر معتبر نیست. همچنین لازم است بتوانیم به پرسش «این پاسخ دقیقا از کجا آمده؟» جواب بدهیم. پاسخ بی منبع، حتی اگر درست باشد، برای بسیاری از تصمیم های سازمانی کافی نیست.

متن و جدول باید یکدیگر را کامل کنند

فرض کنید مدیر می پرسد «فروش فصل گذشته چرا کمتر از برنامه بود؟» جدول های فروش مقدار اختلاف را نشان می دهند، ولی توضیح علت شاید در گزارش جلسه، نامه تامین کننده یا یادداشت مدیر منطقه باشد. اگر سامانه فقط به داده عددی دسترسی داشته باشد، ممکن است از روی روندها علت بسازد. اگر فقط سند بخواند، شاید عدد دقیق را اشتباه گزارش کند. ترکیب درست داده ساختاریافته و سند متنی می تواند تصویر کامل تری بدهد، به شرط آنکه زمان و دامنه هر منبع سازگار باشد.

یک طراحی قابل اتکا باید عدد را از مرجع عددی تایید شده بگیرد و توضیح را از سندی که به همان دوره و واحد مربوط است. اگر دو منبع اختلاف دارند، اختلاف را پنهان نکند. این رویکرد برای تصمیم های اعتباری، عملیات صنعتی و گزارش های مدیریتی اهمیت ویژه ای دارد. در این حوزه ها پاسخ خوش بیان کافی نیست؛ مسیر رسیدن به نتیجه باید قابل بررسی باشد.

داده مصنوعی را برای آزمون فشار به کار ببرید

پس از ساخت یک مجموعه داده مصنوعی، می توان از آن برای بررسی فشار سیستم، آزمودن رابط کاربری یا پوشش حالت های نادر استفاده کرد. مثلا مجموعه ای از شکل های مختلف پرسش را بسازید و ببینید دستیار در برابر ابهام یا ورودی ناقص چه می کند. این آزمون، رفتار فنی محصول را در سناریوهای طراحی شده می سنجد؛ برای سنجش عملکرد در دنیای واقعی، همچنان به نمونه های معتبر و مجاز از همان محیط نیاز داریم.

زمان، بخش فراموش شده کیفیت است

در بعضی کاربردها پاسخ درست دیروز، امروز اشتباه است. نرخ تعرفه، فهرست محصولات، قواعد اعتبارسنجی یا دستورالعمل ایمنی ممکن است تغییر کند. بنابراین علاوه بر صحت سند، باید درباره زمان اعتبار آن هم حساس باشیم. یک سامانه خوب می تواند تاریخ داده را نشان دهد و وقتی اطلاعات کهنه است هشدار بدهد. برای بعضی پرسش ها حتی بهتر است از پاسخ دادن خودداری کند تا منبع تازه در اختیار قرار گیرد.

برای مدیریت این موضوع، سندها را با تاریخ اجرا، تاریخ بازبینی و مسئول به روزرسانی ثبت کنید. روش خارج کردن نسخه های منسوخ را نیز مشخص کنید. در پایگاه های داده، تغییر تعریف شاخص را مانند تغییر مقدار عدد جدی بگیرید. اگر معلوم نباشد شاخص امروز همان معنای سال گذشته را دارد یا نه، تحلیل روند قابل اعتماد نخواهد بود. فراموش نکنیم «جدیدترین» همیشه به معنای «معتبرترین» نیست؛ باید مرجع تایید شده را بشناسیم.

از یک مجموعه کوچک و معتبر شروع کنید

به جای بارگذاری بی حساب همه پوشه های سازمان، یک مجموعه محدود با مالک مشخص انتخاب کنید. نمونه پرسش های واقعی کاربران را جمع کنید و برای هر سوال منبع پاسخ را مشخص سازید. سپس موارد دشوار را آزمایش کنید: دو نسخه متناقض، سند بدون تاریخ، سوال خارج از دامنه و اطلاعات با سطح دسترسی متفاوت. اگر سیستم در این محیط کوچک رفتار قابل اتکا داشت، دامنه را به تدریج گسترش دهید. مقیاس دادن به آشفتگی آسان است؛ ساختن اعتماد بسیار دشوارتر.

چطور بفهمیم سند واقعا به سوال مربوط است؟

در سیستم های پرسش و پاسخ، پیدا شدن یک قطعه متن مشابه به معنای مرتبط بودن آن نیست. ممکن است سند درباره محصولی دیگر، شعبه ای متفاوت یا دوره ای قدیمی باشد. برای همین ارزیابی بازیابی باید جدا از ارزیابی متن نهایی انجام شود. ابتدا ببینیم منابع درست انتخاب شده اند یا نه؛ سپس بررسی کنیم نتیجه از همان منابع به درستی استخراج شده است یا نه. اگر این دو خطا را مخلوط کنیم، اصلاح مدل ممکن است مشکلی را حل نکند که از جست و جو ناشی شده است.

می توان مجموعه ای از سوال های واقعی و منابع مرجع آنها تهیه کرد. در آزمون، علاوه بر پاسخ درست، بررسی کنیم سند معتبر در نتایج وجود دارد، نسخه مناسبی انتخاب شده و دسترسی مجاز رعایت شده است. همین مجموعه باید با ورود اسناد تازه به روز شود. کار با اسناد فقط مسئله تولید متن نیست؛ مسئله اداره مرجع معتبر در طول زمان است.

برای یک کاربرد حساس، نمایش تاریخ و شناسه نسخه سند نیز مفید است. خواننده لازم نیست به نتیجه فقط اعتماد کند؛ باید بتواند آن را بررسی کند. این ویژگی به ویژه وقتی چند واحد از دستورالعمل مشابه استفاده می کنند از اختلاف برداشت جلوگیری می کند.

در پروژه های مبتنی بر متن، کیفیت هوش مصنوعی از کیفیت نظم و انضباط دانشی سازمان جدا نیست. ماشینی کردن جست و جو آسان تر از ساختن یک مرجع قابل اعتماد است.