اعتماد به هوش مصنوعی را با یک بند اخلاقی در قرارداد نمی سازند
در این یادداشت
گاهی در پایان طراحی یک سامانه هوشمند از تیم می خواهیم «اصول اخلاقی» را هم اضافه کند. یک اسلاید درباره انصاف و شفافیت می سازیم و تصور می کنیم موضوع حل شده است. اما اخلاق فناوری چیزی نیست که بعد از ساخت سیستم روی آن نصب کنیم. از همان لحظه ای شروع می شود که تصمیم می گیریم سیستم چه کسی را ببیند، چه چیزی را اندازه بگیرد و اختیار چه کاری را داشته باشد.
فرض کنید شرکتی از مدل برای اولویت بندی درخواست های استخدام استفاده می کند. اگر داده سال های گذشته نشان دهنده فرصت های نابرابر بوده باشد، مدل ممکن است همان الگو را یاد بگیرد. حتی حذف چند ویژگی حساس هم همیشه این مشکل را رفع نمی کند؛ ویژگی های دیگر ممکن است به صورت غیرمستقیم همان اطلاعات را بازتاب دهند.
انصاف را باید در نتیجه بررسی کرد
به جای اینکه فقط بگوییم «مدل ما بی طرف است»، باید بپرسیم عملکرد آن برای گروه های مرتبط چگونه تفاوت دارد و آیا این تفاوت توجیه پذیر است یا نه. پاسخ به این سوال به زمینه کاربرد، داده و قوانین مربوط بستگی دارد. یک معیار ساده برای همه مسائل وجود ندارد.
همین طور شفافیت را نباید با انتشار کد مدل اشتباه گرفت. برای کسی که درخواستش رد شده، توضیح فنی درباره وزن های شبکه عصبی شاید هیچ فایده ای نداشته باشد. او نیاز دارد بداند کدام اطلاعات در تصمیم موثر بوده، چه کسی مسئول است و چگونه می تواند خطا را اصلاح یا به نتیجه اعتراض کند.
حق توقف، بخشی از اعتماد است
اگر سامانه اشتباه کرد، چه اتفاقی می افتد؟ آیا مسئول شیفت می تواند آن را موقت متوقف کند؟ آیا روش دستی جایگزین وجود دارد؟ آیا می توان نتیجه را پیش از اثرگذاری بر مشتری بازبینی کرد؟ اینها پرسش های طراحی هستند، نه فقط حقوقی.
به ویژه در کاربردهای حساس، اعتماد بدون امکان مداخله انسانی ناقص است. مداخله هم باید واقعی باشد. اگر کارشناس زیر فشار زمان فقط دکمه تایید را بزند، حضور انسان به تنهایی کنترل موثری ایجاد نمی کند. باید اطلاعات، وقت و اختیار لازم را داشته باشد.
سند لازم است، اما رفتار مهم تر است
برای هر کاربرد مهم می توان یک پرونده کوتاه نگه داشت: هدف سیستم، داده های مورد استفاده، مواردی که نباید از آن استفاده شود، نتایج ارزیابی، خطاهای شناخته شده و افراد مسئول. با تغییر مدل یا داده، این پرونده باید به روز شود.
فایده چنین کاری فقط پاسخ دادن به حسابرس نیست. وقتی بین تیم کسب و کار، فناوری و حقوقی اختلاف پیش می آید، همه می توانند به تعریف مشترک برگردند. به جای بحث کلی درباره «هوش مصنوعی مسئولانه»، درباره یک تصمیم مشخص گفت و گو می کنند.
اخلاق فقط موضوع نیت خوب نیست
ممکن است تیمی با بهترین نیت، سامانه ای طراحی کند که در عمل به گروهی از کاربران آسیب بیشتری بزند. دلیل می تواند داده نامتوازن، تعریف ناقص موفقیت یا نبود امکان اعتراض باشد. بنابراین «ما قصد تبعیض نداریم» برای اثبات انصاف کافی نیست. باید نتیجه را بررسی کنیم. در یک سامانه پیشنهاد وام، لازم است مشخص شود کدام ویژگی ها وارد تصمیم می شوند، چه محدودیت قانونی وجود دارد و آیا گروه های مختلف با خطاهای نامتناسب مواجه می شوند یا نه.
در بعضی کاربردها حتی مفهوم انصاف ساده نیست. ممکن است دو معیار عدالت با هم تعارض داشته باشند یا داده موجود امکان نتیجه گیری مطمئن ندهد. وظیفه مدیر این نیست که یک شعار کلی را جای این دشواری بگذارد. باید با مشارکت متخصص حوزه، حقوقی، داده و نمایندگان کاربران، معیار مناسب همان تصمیم را تعیین کند. این کار زمان می برد، اما اعتماد واقعی از همین بررسی های دشوار ساخته می شود.
توضیح پذیری را با نمایش فرمول اشتباه نگیریم
وقتی مشتری درباره یک تصمیم مهم سوال می کند، لزوما به جزئیات معماری مدل نیاز ندارد. او می خواهد بداند تصمیم بر اساس چه اطلاعاتی گرفته شده، آیا می تواند داده اشتباه را اصلاح کند و از چه راهی به آن اعتراض کند. پاسخ فنی پیچیده ممکن است برای متخصص مفید باشد، اما برای کاربر عادی گنگ باقی بماند. توضیح پذیری باید متناسب با مخاطب باشد: مدیر ریسک به شواهد اعتبارسنجی نیاز دارد، کاربر به دلیل قابل فهم و مسیر پیگیری.
در بسیاری از پروژه ها، تیم پس از تکمیل مدل به فکر توضیح دادن خروجی می افتد. بهتر است از ابتدا تعیین شود چه اطلاعاتی برای دفاع از تصمیم باید ثبت شوند. آیا نسخه مدل مشخص است؟ آیا ورودی های موثر قابل بازیابی اند؟ آیا تصمیم انسانی جدا از پیشنهاد ماشین ثبت می شود؟ بدون این ردپاها، حتی اگر امروز بتوانیم توضیح قانع کننده بدهیم، بررسی شکایت چند ماه بعد دشوار خواهد بود.
اختیار ماشین را متناسب با خطر محدود کنیم
همه کاربردها نیازمند یک سطح کنترل نیستند. تولید پیش نویس یک خبرنامه با توصیه ای که بر دریافت خدمت ضروری اثر دارد متفاوت است. در حالت اول، بازخوانی معمول شاید کافی باشد. در حالت دوم، ممکن است بازبینی انسانی اجباری، ثبت علت تصمیم و امکان اعتراض لازم باشد. این تفاوت باید در طراحی سیستم دیده شود، نه اینکه پس از وقوع خطا با یک دستورالعمل اداری به آن پاسخ بدهیم.
گاهی تصور می شود حضور انسان در حلقه تصمیم به تنهایی مشکل را حل می کند. اما اگر کارشناس روزانه صدها خروجی را بدون زمان کافی تایید کند، نظارت انسانی به امضای صوری تبدیل می شود. باید مطمئن شویم فرد اختیار رد کردن پیشنهاد، دسترسی به شواهد و فرصت بررسی دارد. کنترل ظاهری خطرناک است، چون به سازمان احساس اطمینان بی دلیل می دهد.
با خطا چه می کنیم؟
اعتماد فقط به جلوگیری از خطا مربوط نیست؛ به رفتار پس از خطا هم وابسته است. فرض کنید سامانه به کاربر اطلاعات اشتباه داده و تصمیم او بر اساس همان پاسخ گرفته شده است. آیا رویداد ثبت شده؟ آیا سازمان می تواند افراد متاثر را شناسایی کند؟ چه کسی مسئول اطلاع رسانی و اصلاح است؟ اگر پاسخ روشن نباشد، حتی یک خطای محدود می تواند به بحران اعتماد تبدیل شود.
برای کاربردهای حساس، سناریوی خطا را پیش از انتشار تمرین کنید. مثلا بررسی کنید اگر مدل اطلاعات نادرست درباره یک حق قانونی ارائه کرد، چگونه خدمت را متوقف یا اصلاح می کنید. وظیفه تیم فقط پیدا کردن ایراد فنی نیست؛ باید اثر آن بر افراد را هم پیگیری کند. ثبت رخداد، مسیر رسیدگی به شکایت و اختیار توقف از اجزای اصلی طراحی مسئولانه اند.
یک کمیته بدون اختیار کافی نیست
برخی سازمان ها برای هوش مصنوعی کمیته اخلاق تشکیل می دهند، اما اگر این کمیته فقط در پایان پروژه نظر مشورتی بدهد، اثر محدودی خواهد داشت. بهتر است معیارهای خطر از ابتدای انتخاب کاربرد وارد شوند و نقاط تصمیم روشن باشند. مسئول کسب و کار، فناوری، حقوقی و ریسک باید بدانند کجا نظر تخصصی می دهند و چه کسی تصمیم نهایی را می گیرد. حتی برای پروژه کوچک هم می توان نسخه ساده ای از این سازوکار داشت.
در جلسه بازبینی، به جای پرسش کلی «آیا سامانه اخلاقی است؟» بپرسید: چه کسی تحت تاثیر قرار می گیرد؟ کدام خطا برای او پرهزینه است؟ آیا می تواند اشتباه را اصلاح کند؟ آیا معیارها در طول زمان پایش می شوند؟ و در صورت اختلاف، کدام مرجع تصمیم می گیرد؟ این سوال ها اخلاق را از شعار به اداره روزمره تبدیل می کنند.
عدالت را به یک عدد خلاصه نکنید
ممکن است نرخ خطای دو گروه تقریبا یکسان باشد، اما پیامد اشتباه برای آنها متفاوت باشد. در تصمیم درباره خدمات ضروری، یک رد اشتباه می تواند بسیار پرهزینه تر از یک تایید اشتباه باشد. بنابراین تیم باید بداند کدام نوع خطا مهم تر است و چرا. انتخاب معیار نیازمند گفت و گو درباره هدف خدمت، حقوق افراد و قواعد حوزه فعالیت است. همیشه پاسخ ساده و بی تعارض وجود ندارد.
همچنین مقایسه گروه ها بدون توجه به اندازه نمونه، کیفیت اطلاعات و شرایط واقعی می تواند گمراه کننده باشد. اگر داده برای یک گروه اندک است، باید محدودیت نتیجه را اعلام کنیم. نباید با یک نمودار زیبا ادعای انصاف قطعی کرد. بررسی منظم، ثبت فرض ها و امکان اصلاح تصمیم از هر مهر تایید همیشگی معتبرتر است.
برای سازمان های کوچک هم می توان نسخه ساده این کار را اجرا کرد: سناریوهای حساس را مشخص کنید، نمونه های واقعی را با مجوز لازم بررسی کنید و از فردی خارج از تیم سازنده بخواهید درباره پیامد اشتباه سوال کند. مهم داشتن یک روند زنده برای دیدن آسیب احتمالی است، نه جمع آوری مدرک تشریفاتی.
پرسشی که دوست دارم مدیران از تیم خود بپرسند این است: «اگر این تصمیم درباره خود شما یا یکی از نزدیکانتان گرفته می شد، چه توضیح و چه حق اعتراضی را منصفانه می دانستید؟» این سوال جای ارزیابی فنی و حقوقی را نمی گیرد، اما به ما یادآوری می کند پشت هر رکورد داده ممکن است یک انسان باشد.