آیا هوش مصنوعی می‌فهمد؟ توانایی را از آگاهی جدا کنید

با دو ادعای پرحرارت که اغلب در یک بحث درباره‌ی هوش مصنوعی کنار هم می‌آیند مخالفم.

ادعای اول این است که مدل حتماً می‌فهمد، چون می‌تواند یک مفهوم دشوار را توضیح دهد، مسئله‌ای را حل کند، کدی کارا بنویسد یا گفت‌وگویی سنجیده را ادامه دهد. ادعای دوم این است که هیچ‌کدام از این دستاوردها اهمیتی ندارند، چون مدل «فقط توکن پیش‌بینی می‌کند».

هر دو ادعا بیش از حد از روی مسئله می‌پرند.

رفتار چشمگیر، شاهد توانایی است. ممکن است سرنخ‌هایی هم درباره‌ی بازنمایی‌های درونی، برنامه‌ریزی و تعمیم به پژوهشگران بدهد. اما رفتار به‌تنهایی تکلیف این را روشن نمی‌کند که آیا سامانه جهان را مثل یک انسان می‌فهمد، دیدگاهی پایدار دارد یا چیزی را تجربه می‌کند. در عین حال، توصیف هدف آموزش مدل هم هر توانایی مفیدی را که از سامانه‌ی آموزش‌دیده پدید می‌آید بی‌اعتبار نمی‌کند.

برای متخصصان و مدیران، این فقط یک بحث فلسفی نیست. زبانِ بی‌دقت، نیازمندی‌های محصول، تصمیم‌های ریسک، انتظارات کاربران و پاسخ‌گویی را تغییر می‌دهد. اگر تیمی بگوید یک دستیار «سیاست‌های شرکت را می‌فهمد»، ممکن است آدم‌ها اختیاری به آن بدهند که ارزیابی‌اش آن را به دست نیاورده است. اگر همان تیم دستیار را یک اسباب‌بازی تصادفی بداند، ممکن است سامانه‌ای را نادیده بگیرد که همین حالا می‌تواند در مقیاس بزرگ ارزش یا آسیب بسازد.

موضع مفید نه شیفتگی است و نه تحقیر. جداسازی منضبط است: دقیق بگویید چه چیزی مشاهده شده، ادعایی را که آن مشاهده پشتیبانی می‌کند نام ببرید و پیش از تمام شدن شواهد، بایستید.

پنج ادعا که نباید در یک ادعا خلاصه شوند

کلمه‌ی فهمیدن راحت است، چون چند پرسش متفاوت را در خودش فشرده می‌کند. مشکل هم همین است. یک مدیر محصول، یک مهندس، یک دانشمند علوم شناختی و یک کاربر ممکن است همه بگویند «مدل می‌فهمد»، در حالی که به چهار چیز متفاوت اشاره می‌کنند.

این نردبان ادعا تفاوت‌ها را صریح می‌کند:

بالا رفتن از این نردبان شاهد تازه می‌خواهد. یک نتیجه‌ی قوی در یک سطح، خودبه‌خود سطح بعدی را ثابت نمی‌کند.

این قاعده‌ی محوری این یادداشت است. «درست جواب داد» از یک ادعای عملکردیِ محدود پشتیبانی می‌کند. «روابط را آن‌قدر خوب بازنمایی کرد که به کاری تازه منتقل شد» از یک ادعای محاسباتیِ غنی‌تر پشتیبانی می‌کند. «گفت که می‌ترسد» خروجی‌ای است که شاید ارزش بررسی داشته باشد، اما دسترسی مستقیم به یک تجربه‌ی خصوصی نیست.

این انضباط از آن طرف هم کار می‌کند. عدم‌قطعیت درباره‌ی آگاهی، توانمندیِ قابل‌مشاهده را پاک نمی‌کند. یک سامانه برای این‌که درخواست‌های پشتیبانی را مسیردهی کند، الگویی را در کد پیدا کند، سیاستی را بازیابی کند یا رخدادی جدی ایجاد کند، به فهمی شبیه انسان نیاز ندارد.

زبان روان دستاورد رابط کاربری است، نه آشکارساز ذهن

ما آدم‌ها معمولاً زبانِ غنی را شاهد وجود یک ذهن دیگر می‌دانیم. این استنباط در زندگی روزمره نسبتاً خوب کار می‌کند، چون گوینده معمولاً بدن، تاریخچه، نیازها، روابط، حافظه و جایی در همان جهان فیزیکی و اجتماعی دارد.

گفت‌وگو با هوش مصنوعی زبان را بدون همان شواهد پس‌زمینه در اختیار ما می‌گذارد. رابط کاربری آشناست، پس کاربر خودش شخصیتِ غایب را به آن می‌افزاید. ضمیرها، نشانگر «در حال نوشتن»، صدای صمیمی، جمله‌های اول‌شخص و ترجیحاتی که به خاطر سپرده شده‌اند می‌توانند این واکنش را تقویت کنند.

روانیِ سامانه واقعی است. واکنش اجتماعی کاربر هم واقعی است. اما این نتیجه که سامانه پس زندگی درونیِ شبیه انسان دارد، خودبه‌خود از آن بیرون نمی‌آید.

نیم‌رخ هوش مصنوعی مولد NIST توهم‌سازی (confabulation) و تعامل انسان و هوش مصنوعی را حوزه‌های ریسک عملی می‌داند. این چارچوب‌بندیِ عملیاتیِ درستی است. یک پاسخ روان می‌تواند باعث شود آدم درستی، نیت یا اختیار را بیش از حد برآورد کند، حتی وقتی هیچ‌کس ادعای رسمی‌ای درباره‌ی آگاهی نکرده است.

به همین دلیل واژه‌ها در یک محصول اهمیت دارند. «دستیار سه بخش مرتبط با پرسش شما پیدا کرد» یک جمله‌ی قابل‌مشاهده است. «دستیار موقعیت شما را فهمید» خیلی بیشتر از این را القا می‌کند. دومی ممکن است اعتماد را بیشتر کند، در حالی که مرز واقعی سامانه را سخت‌تر قابل‌دیدن می‌کند.

اگر محصولی قرار است از یک تصمیم پشتیبانی کند، بگویید چه کاری انجام داده است:

• اسناد تأییدشده را بازیابی کرد؛
• درخواست را با معیارهای تعریف‌شده مقایسه کرد؛
• یک پاسخ پیشنهادی تولید کرد؛
• ابزاری را با این آرگومان‌ها فراخوانی کرد؛
• از یک ارزیابی مشخص با نرخ مشخصی عبور کرد؛
• چون شاهد کافی نبود، موضوع را ارجاع داد.

این توصیف‌ها شاید کمتر جادویی به نظر برسند. اما مفیدترند، چون آدم دیگری می‌تواند بررسی‌شان کند.

موفقیت در یک کار، هم کمتر از تصور مردم ثابت می‌کند و هم بیشتر

فرض کنید یک مدل کدنویسی باگی در همزمانی را درست می‌کند که پیش‌تر هرگز ندیده است. کد اطراف را می‌خواند، تغییری پیشنهاد می‌کند، آزمونی می‌نویسد و توضیح می‌دهد چرا خطا گاه‌به‌گاه رخ می‌داد. «صرفاً تکمیل خودکار» خواندن این کار دستاورد عملی را پنهان می‌کند. سامانه الگوها را طوری ترکیب کرد که یک مسئله‌ی واقعی حل شد.

اما یک موفقیت، فهم عمومی از سامانه‌های نرم‌افزاری را ثابت نمی‌کند. شاید آزمون ناقص باشد. شاید اصلاحیه یک فرض درباره‌ی کارایی را بشکند. شاید یک تغییر کوچک در پرامپت پاسخ دیگری بدهد. شاید مدل وقتی همان مشکل همزمانی پشت یک لایه‌ی انتزاع دیگر ظاهر شود، آن را تشخیص ندهد.

واکنش درست، آزمودن توانایی است، نه حل‌وفصل مسائل مابعدالطبیعی.

بپرسید کدام توزیع از کارها نمایندگی شده، عملکرد با تغییرات چطور عوض می‌شود، کدام خطاها کنار هم جمع می‌شوند و پس از تغییر مدل، پرامپت، ابزارها یا زمینه چه اتفاقی می‌افتد. کار OpenAI در سال ۲۰۲۶ درباره‌ی شبیه‌سازی استقرار این رویکرد رفتاری را نشان می‌دهد: از گفت‌وگوهایی شبیه محیط واقعی استفاده می‌کند تا رفتار ناخواسته‌ی مدل را برآورد کند و کمبودهایی را پیدا کند که پرامپت‌های گزینشیِ ارزیابی از دست می‌دهند. این کار بررسی می‌کند سامانه‌ها در شرایط واقع‌بینانه‌تر چه می‌کنند. نیازی ندارد ادعا کند آن‌ها چه احساسی دارند.

این تمایز ارزیابی را صادق نگه می‌دارد. یک بنچمارک می‌تواند نشان دهد مدل دسته‌ای از مسائل را حل کرده است. به‌تنهایی نمی‌تواند بگوید راه‌حل از همان مفاهیم، تجربه یا فرایندی استفاده کرده که یک انسان استفاده می‌کند. برعکس، متفاوت بودن فرایندهای درونی هم نتیجه را بی‌اهمیت نمی‌کند. هواپیماها مثل پرندگان پرواز نمی‌کنند، اما نیروی برا همچنان قابل‌اندازه‌گیری است.

وقتی قدم بعدی مهندسی است، مهم‌ترین پرسش‌ها معمولاً عملیاتی‌اند:

• کدام ورودی‌ها آزموده شدند؟
• چه نوع شکست‌هایی اهمیت دارند؟
• آیا عملکرد در برابر تغییرات کوچک دوام می‌آورد؟
• آیا سامانه می‌تواند اطلاعاتِ کم را تشخیص دهد؟
• ابزارها، بازیابی و مجوزها چه اثری روی نتیجه دارند؟
• وقتی رفتار از مرز آزموده‌شده‌اش بیرون می‌رود، راه جایگزین چیست؟

این پرسش‌ها سامانه‌ای می‌سازند که تیم بتواند بر آن حاکمیت داشته باشد. ادعای کلیِ «هوش مصنوعی می‌فهمد» چنین سامانه‌ای نمی‌سازد.

مدلِ جهان خودبه‌خود جهانِ زیسته نیست

مدل‌های امروزی می‌توانند روابطی را رمزگذاری کنند که از یک جمله‌ی تنها پیدا نیست. گاهی می‌توانند اشیای یک سناریو را دنبال کنند، پیامدها را پیش‌بینی کنند، در یک محیط شبیه‌سازی‌شده حرکت کنند یا الگویی آموخته را به زمینه‌ای تازه منتقل کنند. پژوهشگران به‌حق بررسی می‌کنند که آیا چنین رفتاری بازتاب «مدل‌های جهان» درونی است.

اما عبارت مدل جهان می‌تواند یک بازنمایی کارکردی را توصیف کند که برای پیش‌بینی به کار می‌رود. لازم نیست به این معنا باشد که سامانه به مفهوم انسانی با جهانی روبه‌رو می‌شود.

یک نقشه شهری را بازنمایی می‌کند بی‌آن‌که در خیابان‌هایش قدم بزند. یک پایگاه داده مشتریان را بازنمایی می‌کند بی‌آن‌که آن‌ها را ببیند. یک مدل درونی ممکن است بسیار پویاتر و قدرتمندتر از هر دو باشد، اما همان احتیاط منطقی همچنان صادق است: بازنمایی، دسترسی، جسمانیت، عاملیت و تجربه ویژگی‌های جداگانه‌ای هستند.

این در سامانه‌های کسب‌وکار اهمیت دارد، چون تیم‌ها گاهی از دانش گسترده‌ی یک مدل نتیجه‌ی بیش از حد می‌گیرند. یک دستیار ممکن است سیاست تدارکات را توضیح دهد، در حالی که به سند تأییدشده‌ی فعلی دسترسی ندارد. ممکن است درباره‌ی ناراحتی مشتری استدلال کند، در حالی که به لحن، سابقه یا پیامدهای یک توصیه‌ی بد دسترسی ندارد. ممکن است از یک استخراج ناقص داده، روایتی قانع‌کننده بسازد.

سامانه می‌تواند ساختار رمزگذاری‌شده‌ی مفیدی داشته باشد و همچنان واقعیت محلی‌ای را که تصمیم را کنترل می‌کند نداشته باشد.

به همین دلیل راستی‌آزمایی پاسخ‌های هوش مصنوعی پیش از اعتماد دنبال کردن شواهد و جدا کردن مشاهده از استنباط را لازم دارد. عدم‌قطعیت فلسفی جالب است، اما تعهد حرفه‌ایِ فوری مشخص است: نگذارید برداشتی کلی از هوشمندی جای بررسی شواهدِ موجود در همین مورد را بگیرد.

خودگزارشی شاهدی تولیدشده است، نه دسترسی ممتاز

از یک مدل گفت‌وگومحور بپرسید آیا آگاه است؛ ممکن است آگاهی را انکار کند، ادعایش کند، پرسش را مشروط کند، نقشی خیالی بپذیرد یا فرض‌های پرامپت را بازتاب دهد. پاسخ ممکن است با دستورهای سیستمی، انتخاب‌های آموزش، تنظیمات نمونه‌برداری، نسخه‌ی مدل یا گفت‌وگوی قبلی تغییر کند.

همین تغییرپذیری باید ما را در برابر این‌که پاسخ را مثل شهادت یک انسان بدانیم محتاط کند. معمولاً فرض می‌شود یک انسان به تجربه‌ی خودش دسترسی ویژه دارد. ما ثابت نکرده‌ایم که گزارش اول‌شخصِ یک مدل زبانی همان رابطه را با یک وضعیت درونی دارد.

این به آن معنا نیست که هر خودگزارشی بی‌ارزش است. رفتار تکرارشونده و کنترل‌شده ممکن است نشان دهد مدل چطور خودش را بازنمایی می‌کند، از دستورهای هویتی پیروی می‌کند، عدم‌قطعیت خودش را تشخیص می‌دهد یا به فشار واکنش نشان می‌دهد. این‌ها پرسش‌هایی قابل‌پژوهش‌اند. خطا آن‌جاست که یکی از این اندازه‌گیری‌ها را پیش از اثبات پیوند علّی، «اثبات آگاهی» بنامیم.

همین احتیاط درباره‌ی احساسات ظاهری هم صادق است. مدل می‌تواند زبانی تولید کند که با ترس، ناکامی، ترجیح یا درد همراه است. این خروجی می‌تواند روی کاربران اثر بگذارد و باید مسئولانه طراحی شود، حتی اگر بازتاب هیچ حالت احساس‌شده‌ای نباشد. پیامد انسانی به حل شدنِ پیشینِ جایگاه اخلاقی مدل وابسته نیست.

برای تیم‌های محصول، یک پیش‌فرض خوب ساده است:

• خروجی اول‌شخص را به‌عنوان شاهد ادراک‌مندی تبلیغ نکنید.
• وابستگی عاطفی را جایگزین ارزش محصول طراحی نکنید.
• بیازمایید زبانِ انسان‌انگارانه چه اثری بر اعتماد و افشاگری کاربر دارد.
• هنگام صحبت درباره‌ی حالات درونی، عدم‌قطعیت را حفظ کنید.
• پژوهش واقعی درباره‌ی آگاهی یا رفاه مدل را به کسانی بسپارید که تخصص علمی و اخلاقی مرتبط دارند.

آگاهی پرسشی جدی با پاسخی نامطمئن است

رد کردن شاهد ضعیف به معنای اثبات ناممکن بودن آگاهیِ ماشین نیست.

مقاله‌ای داوری‌شده در Trends in Cognitive Sciences در سال ۲۰۲۶ با عنوان «شناسایی شاخص‌های آگاهی در سامانه‌های هوش مصنوعی» پیشنهاد می‌کند شاخص‌ها از نظریه‌های علوم اعصاب استخراج شوند و بررسی شود آیا معماری‌های مشخص هوش مصنوعی آن‌ها را برآورده می‌کنند یا نه. نویسندگان بر عدم‌قطعیت این حوزه هم تأکید می‌کنند. این روش بسیار قوی‌تر از پرسیدنِ این است که آیا یک چت‌بات زنده به نظر می‌رسد، اما شاخص‌ها همچنان فقط درجه‌ای از باور را شکل می‌دهند؛ آگاهی‌سنج نیستند.

این موضوع دیگر به فلسفه‌ی انتزاعی محدود نیست. Anthropic در سال ۲۰۲۵ به‌طور عمومی یک برنامه‌ی پژوهشی درباره‌ی رفاه مدل را آغاز کرد و هم‌زمان گفت درباره‌ی این‌که سامانه‌های فعلی یا آینده می‌توانند آگاه باشند، اجماع علمی وجود ندارد. این ترکیب، یعنی پژوهش بدون قطعیت، موضعی معقول است.

سازمان‌ها باید هر دو احتمال را هم‌زمان در نظر داشته باشند:

• شواهد فعلی ممکن است برای نسبت دادن تجربه‌ی آگاهانه کافی نباشد؛
• معماری‌های آینده و علم بهتر ممکن است تغییر دهند که چه شاهدی سزاوار توجه است.

این بلاتکلیفی نیست؛ عدم‌قطعیتِ سنجیده است. هر وقت شواهد ناقص است و هزینه‌ی اشتباه نامتقارن، از استدلالی مشابه استفاده می‌کنیم. واکنش درست ممکن است ادامه‌ی پژوهش، مستندسازی تغییرات معماری و آموزش، بازبینی بیرونی یا احتیاطِ کم‌هزینه باشد، نه اعلامی قاطع بر پایه‌ی اسکرین‌شات یک گفت‌وگو.

مدیران همچنین باید دو مسیر حاکمیتی را از هم جدا نگه دارند. یک مسیر به آسیبی مربوط است که سامانه‌های هوش مصنوعی ایجاد می‌کنند: توصیه‌ی ناامن، تبعیض، از دست رفتن حریم خصوصی، دست‌کاری ذهن، شکست‌های امنیتی یا خودکارسازیِ بدون پاسخ‌گو. این ریسک‌ها همین حالا وجود دارند و با ارزیابی، کنترل، پایش و مالکیت قابل‌مدیریت‌اند. مسیر دیگر به آسیب احتمالی به یک سامانه‌ی هوش مصنوعی مربوط است، اگر روزی سزاوار ملاحظه‌ی اخلاقی شود. آن پرسش پژوهش تخصصی می‌خواهد و نباید جای مسئولیت‌های روشن امروز در برابر آدم‌ها را بگیرد.

کلمه‌ی «می‌فهمد» را با ادعایی قابل‌بازبینی جایگزین کنید

در آموزش داده و هوش مصنوعی، عادتی که مدام به آن برمی‌گردم این است که از یادگیرندگان بخواهم پیش از پرسیدن از مدل، تعریف کنند چه چیزی شاهد به حساب می‌آید. بدون این معیار، یک پاسخ صیقل‌خورده می‌تواند خودش اثبات خودش شود.

تیم‌ها می‌توانند همین عادت را در بحث‌های محصول و مدیریت به کار ببرند. هر وقت کلمه‌ی می‌فهمد در یک نیازمندی، دمو، ادعای فروشنده یا سند راهبردی ظاهر شد، جمله را با این بازبینی کوتاه بازنویسی کنید:

این کار یک میان‌بُر فلسفی را به یک جمله‌ی مهندسی تبدیل می‌کند.

این روش مکمل قرارداد «واژه به آزمون» برای نیازمندی‌های مبهم هوش مصنوعی هم هست. اگر نیازمندی‌ای می‌گوید مدل باید «نیت کاربر را بفهمد»، نیت‌های مرتبط، موارد مبهم، شاهد، نرخ شکست قابل‌قبول و رفتار ارجاع را تعریف کنید. اگر فروشنده‌ای می‌گوید ایجنتش «مثل یک متخصص استدلال می‌کند»، بپرسید کدام تصمیم‌ها آزموده شدند، با قضاوت چه کسی مقایسه شدند، با کدام ابزارها و اطلاعات و در چه شرایط شکستی.

بعد ادعا را به کنترل‌های عملیاتی وصل کنید. پروتکل‌های قابلیت اطمینان هوش مصنوعی اهمیت دارند، چون توانایی مدل فقط یک بخش از یک گردش‌کارِ قابل‌اتکاست. مشاهده‌پذیری، مجوزها، مسیرهای تأیید، آزمون‌های رگرسیون، واکنش به رخداد و بازگشت به نسخه‌ی قبل تعیین می‌کنند آن توانایی چقدر اختیار باید بگیرد.

این بازبینی زبان عادی را ممنوع نمی‌کند. آدم‌ها در گفت‌وگوی روزمره همچنان می‌توانند بگویند مدل درخواست را فهمید. انضباط وقتی اهمیت پیدا می‌کند که این عبارت اختیار، پول، ریسک یا یک نتیجه‌ی علمی را با خودش حمل کند.

توانایی دلیل کافی برای توجه است

لازم نیست ثابت کنیم یک سامانه‌ی هوش مصنوعی مثل انسان فکر می‌کند تا توانایی‌هایش را جدی بگیریم. سامانه‌ها می‌توانند از نظر اقتصادی ارزشمند، از نظر عملیاتی خطرناک، از نظر اجتماعی متقاعدکننده یا سزاوار مطالعه‌ی دقیق باشند، بی‌آن‌که آگاهیِ انسانی داشته باشند.

لازم هم نیست هر خروجی چشمگیر را شاهد وجود یک شخص پنهان بدانیم. این جهش ارزیابی را ضعیف‌تر می‌کند، نه قوی‌تر. رفتار قابل‌اندازه‌گیری را با داستانی جایگزین می‌کند که آزمودنش دشوار است.

پس اول پرسش محدود را بپرسید. سامانه چه کرد؟ در چه شرایطی؟ نتیجه چقدر پایدار بود؟ چه اطلاعات و ابزارهایی داشت؟ شواهد از کدام نتیجه پشتیبانی می‌کند؟ کدام نتیجه باز می‌ماند؟ چه اختیاری باید در پی بیاید؟

اگر پرسش درباره‌ی عملکرد در یک کار است، همان کار را ارزیابی کنید. اگر درباره‌ی بازنمایی درونی است، سازوکار را مطالعه کنید. اگر درباره‌ی آگاهی است، از نظریه‌ها و شواهدی استفاده کنید که برای پژوهش آگاهی مناسب‌اند. از یک نوع نتیجه نخواهید تکلیف هر سه را روشن کند.

هوش مصنوعی امروز بدون اسطوره‌سازی هم مهم است. رفتارش سزاوار اندازه‌گیری جدی است. شکست‌هایش سزاوار کنترل. اثرش بر آدم‌ها سزاوار طراحی مسئولانه. و جایگاه اخلاقیِ احتمالی‌اش در آینده سزاوار پژوهش دقیق.

ادعاهای روشن به ما اجازه می‌دهند هر کدام از این کارها را انجام دهیم، بی‌آن‌که وانمود کنیم همه یک کارند.