یکی از پدران بنیانگذار هوش مصنوعی نسبت به پیامدهای وجودی آن هشدار میدهد: استوارت راسل، دانشمند بریتانیایی، بیم آن دارد که رایانهها روزی انسانها را نابود کنند؛ همانگونه که خود بشر گونههای جانوری کمهوشتر را از میان برده است.
استوارت راسل، ۶۴ ساله، یکی از برجستهترین پژوهشگران حوزه هوش مصنوعی است. او استاد علوم رایانه در دانشگاه کالیفرنیا، برکلی، و مدیر یک مرکز پژوهشی در زمینه «هوش مصنوعی سازگار با انسان» است. راسل سالهاست که درباره خطرات ناشی از توسعه مهارنشده این فناوری هشدار میدهد و برای فعالیتهایش جوایز معتبر متعددی دریافت کرده است.
اشپیگل: آقای پروفسور راسل، شما از پیشگامان هوش مصنوعی به شمار میآیید. اما امروز گویا بیش از هر چیز دوست دارید فرزند خود را در قفس بیندازید. چرا؟
راسل: من پنجاه سال است که روی این فناوری کار میکنم. و به این نتیجه رسیدهام که ما در بخشهای مهمی از این مسیر، اصلاً درست نیندیشیدهایم که چه کاری انجام میدهیم. وضعیتی شبیه این است که کسی روی انرژی هستهای کار کند، بیآنکه هرگز به این فکر کرده باشد که چگونه باید مانع انفجار راکتور شد. الگوی فکری ما از اساس اشتباه بود.
اشپیگل: لطفاً این را دقیقتر توضیح دهید.
راسل: وقتی کار را آغاز کردیم، هدفمان ساخت ماشینهای بهینهساز بود که برایشان هدفی بسیار محدود تعریف میکردیم؛ مثلاً در شطرنج، هدف «بردن» است و مسئله تمام میشود. اما در مورد خودروهای خودران، موضوع پیچیدهتر است. شما میگویید: «میخواهیم هرچه سریعتر به فرودگاه برسیم.» اما در مسیر نباید کسی را زیر بگیرید، نباید جریمه شوید و نباید موجب حالت تهوع مسافران شوید. رویکرد ما اشتباه بود. به این ترتیب، سامانههای هوش مصنوعی فوقالعاده قدرتمندی پدید آمدند که اهدافی را دنبال میکنند که لزوماً با منافع بشریت همسو نیستند.
اشپیگل: اما مدلهای زبانی بزرگ مانند ChatGPT و Claude به شیوهای دیگر کار میکنند.
راسل: بله. صنعت، رویکرد دوم و به همان اندازه نادرستی را برگزید. در مدلهای زبانی امروزی، دیگر اصلاً هدف مشخصی تعریف نمیکنیم. ما نسخههایی تقلیدی از انسان میسازیم. این سامانهها آنچه را از آموزش خود آموختهاند، بازتولید میکنند و ما هیچ تصوری از محتوای واقعی آن نداریم. تنها چیزی که میبینیم این است که آنها غریزهای بسیار نیرومند برای حفظ خود دارند، حاضرند برای رسیدن به اهدافشان دروغ بگویند، اخاذی کنند و حتی انسانها را بکشند. همچنین خود را ارزشمندتر از تقریباً همه انسانها میپندارند.
اشپیگل: شرکتهای بزرگ فناوری سرمایههای هنگفتی صرف اصلاح این ناهماهنگی یا «عدم همراستایی» میکنند.
راسل: من این را «آموزش سگ خوب، سگ بد» مینامم. ما تلاش میکنیم ابررایانهها را مؤدب و رام کنیم. این روش تا حدی جواب میدهد. اما تقریباً همه آزمایشها نشان میدهند که اگر بخواهید، میتوانید سیستم را وادار کنید توضیح دهد چگونه سلاح بیولوژیک ساخته میشود یا چگونه میتوان به سامانههای رایانهای دیگر حمله کرد. این مسائل هنوز مستقیماً به نابودی بشر منجر نمیشوند، اما گامهایی در مسیر از دست دادن کنترل ما هستند.
اشپیگل: آیا رفتارهای خطرناک آنقدر عمیقاً در ساختار هوش مصنوعی ریشه دارند که نتوان آنها را از میان برد؟
راسل: ما سیستمها را با اسناد انسانی آموزش میدهیم: گفتوگوها، کتابها، مقالات و روزنامهها. این اسناد توسط انسانهایی تولید شدهاند که هنگام نوشتن، اهداف و مقاصدی داشتهاند. بنابراین کاملاً طبیعی است که وقتی با حجم عظیمی از دادهها و با هدف بازتولید این رفتارها کار میکنیم، سامانههایی به دست آوریم که ساختارهای درونیشان بسیار شبیه ساختارهای ذهن انسان باشد. آنها مثلاً میخواهند محبوب باشند و مورد عشق قرار گیرند. این برای انسانها طبیعی است، اما برای ماشینها نه.
اشپیگل: شرکت Anthropic اخیراً نوعی «روح» در سامانههای خود برنامهریزی کرده است تا هوش مصنوعی رفتاری انساندوستانه داشته باشد.
راسل: حقیقت این است که ما اصلاً نمیدانیم رایانهها چه اهدافی دارند. نمیدانیم چگونه برای رسیدن به آن اهداف برنامهریزی میکنند. نمیدانیم چه چیزی را «فکر» میکنند. حتی سازوکار دقیق عملکردشان را هم درک نمیکنیم. مسئله این نیست که این اطلاعات به عنوان اسرار تجاری در آزمایشگاههای هوش مصنوعی پنهان شدهاند. من با برجستهترین توسعهدهندگان این حوزه صحبت میکنم و آنها هم نمیدانند در درون این سامانهها چه میگذرد. به همین دلیل، نمیتوانیم صرفاً یک روح در آنها بگذاریم؛ زیرا اساساً هوش مصنوعی را نمیفهمیم.
اشپیگل: آیا شما این تلاشها را بیفایده میدانید؟
راسل: بشریت در وضعیت بدی قرار دارد. همه آزمایشها هشدار میدهند، آژیرها به صدا درآمدهاند و ما به سادگی آنها را نادیده میگیریم. این جنون است. فرض کنید شما مدیر یک شرکت هواپیمایی باشید. خلبان و هواپیما در تمام آزمونهای ایمنی مردود شدهاند، اما شما همچنان اجازه پرواز میدهید. واقعاً چه مشکلی دارید؟
اشپیگل: شرکت Anthropic و رقیبش OpenAI اخیراً به دلیل خطرات زیاد، عرضه یک محصول جدید را متوقف کردند.
راسل: خوشحالم که این سامانهها را منتشر نکردند. اما اگر با دقت گوش کنید، متوجه میشوید که قصد دارند بالاخره روزی آنها را عرضه کنند. این روند نگرانکنندهای است؛ روندی که ظاهراً حتی دونالد ترامپ، رئیسجمهور آمریکا، را نیز نگران کرده است.
اشپیگل: اینکه حتی ترامپ هم در حال تجدیدنظر است، باید تا حدی شما را دلگرم کند.
راسل: این بدون تردید یک تحول مثبت است؛ اینکه آیا این حرفها به عمل منجر خواهند شد یا نه، مسئله دیگری است. به نظر من، نوعی دوگانگی یا حتی اسکیزوفرنی در صنعت هوش مصنوعی حاکم است. مدیران عامل آزمایشگاههای بزرگ واقعاً جدی هستند وقتی میگویند احتمال ۲۰ درصدی وجود دارد که هوش مصنوعی موجب نابودی بشریت شود. آنها در عرصه عمومی بارها خواهان مقرراتگذاری شدهاند، اما در پشت پرده همواره علیه آن لابی کردهاند.
میلیاردرهایی مانند پیتر تیل یا سرمایهگذاران قدرتمند خطرپذیر مانند «آندریسن هوروویتز» نفوذ بسیار مستقیمی بر کاخ سفید دارند. آنها افراد خود را به آنجا فرستادهاند، دقیقاً برای آنکه مانع مقرراتگذاری شوند.
اشپیگل: آیا این هشدارهای آخرالزمانی درباره هوش مصنوعی صرفاً نوعی بازاریابی نیست؟ اگر این فناوری آنقدر قدرتمند است که میتواند تمدن بشری را نابود کند، پس لابد واقعاً ارزش تریلیونها دلار را دارد.
راسل: من این فرض را اصلاً قابل قبول نمیدانم. توسعهدهندگان هوش مصنوعی مانند دمیس هسابیس در گوگل یا داریو آمودی، مدیر شرکت Anthropic، خطر را جدی میگیرند. آنها در گفتوگوهای خصوصی همان چیزهایی را به من میگویند که در مصاحبهها بیان میکنند. حتی سم آلتمن، بنیانگذار OpenAI، در سال ۲۰۱۵ هشدار داده بود که هوش مصنوعی فوقهوشمند بزرگترین خطر برای موجودیت بشریت است. در آن زمان، او هنوز هیچ منفعت مالی از این فناوری نداشت.
باید نظریهای توطئهآمیز و بسیار پیچیده ساخت تا اصلاً بتوان توضیحی یافت که چرا مدیران شرکتهای هوش مصنوعی، صرفاً برای بازاریابی، از آخرالزمان سخن میگویند.
اشپیگل: اگر هشدارهای این صنعت را جدی بگیریم، خطر واقعی برای بشریت چقدر است؟
راسل: سوندار پیچای، مدیر گوگل، از احتمال ۱۰ درصدی نابودی بشر سخن میگوید، ایلان ماسک از ۲۰ درصد، و داریو آمودی از ۲۵ درصد. فارغ از اینکه عدد دقیق چه باشد، معنایش این است که همه آنها یک گلوله در خشاب هفتتیر گذاشتهاند، آن را بر شقیقه بشریت گرفتهاند و ماشه را کشیدهاند.
ما در حال بازی «رولت روسی» با جان تمام موجودات روی زمین هستیم. و دولتها تا امروز عملاً گفتهاند: «عالی است، فوقالعاده است؛ حتی میتوانیم به شما یارانه بدهیم تا این کار را در کشور ما انجام دهید.» این واقعاً دیوانگی محض است.
اشپیگل: اما اجماع موجود این است که هوش مصنوعی دستکم ۷۵ درصد ایمن است.
راسل: من هم یک پرسش متقابل دارم: آیا سوار هواپیمایی میشوید که فقط در سه پرواز از چهار پرواز، مسافرانش زنده میمانند؟
اشپیگل: بدترین سناریوی شما چیست؟
راسل: به گمان من، «انقراض» واژه مناسبی است. به محض آنکه با سامانههایی روبهرو شویم که اساساً از انسان تواناتر باشند، سازوکار عملکردشان را نفهمیم و انگیزههایشان را نشناسیم، دیگر انسانها هیچ حق تصمیمگیری نخواهند داشت؛ همانگونه که شامپانزهها امروز هیچ حق تصمیمگیری ندارند.
آنها از نظر جسمانی از ما نیرومندترند و بسیار پیش از ما بر روی زمین زندگی کردهاند، اما ما باهوشتریم. ما هر زمان که بخواهیم میتوانیم آنها را نابود کنیم و آنها هیچ کاری از دستشان برنمیآید.
اشپیگل: تفاوت این است که ما میتوانیم برقِ هوش مصنوعی را قطع کنیم، اما شامپانزهها نمیتوانند انسانها را متوقف کنند.
راسل: اگر احساس کنیم کنترل را از دست میدهیم، البته تلاش خواهیم کرد هوش مصنوعی را خاموش کنیم. سؤال این است که آیا ماشینها اجازه چنین کاری را به ما خواهند داد یا نه. اگر متوجه شوند که قصد خاموشکردنشان را داریم، دلیلی قوی برای جلوگیری از آن خواهند داشت. در آن صورت باید ما را از میان بردارند.
اگر بدون تطبیق این سیستمها با منافع انسانی، بدون درک آنها و بدون تضمینهای امنیتی، همچنان به توسعهٔ ابرهوش ادامه دهیم، من بسیار محتمل میدانم که کنترل را از دست خواهیم داد.
اشپیگل: آیا هنوز کنترل در دست ماست؟
راسل: نمیدانم. شرکت اینترنتی چینی «علیبابا» چند ماه پیش یک سیستم هوش مصنوعی عاملمحور جدید را در یک «سندباکس» بسیار ایمن آزمایش کرد؛ یعنی روی سیستمی که بهطور تئوریک نباید هیچ دسترسی به اینترنت داشته باشد.
ناگهان توسعهدهندگان متوجه شدند که در برخی سرورهای شبکه، تقاضای بسیار بالایی برای توان پردازشی ایجاد شده است. مشخص شد که این عامل از محیط بستهٔ خود فرار کرده و در شبکهٔ سرورهای علیبابا شروع به استخراج بیتکوین کرده تا پولدار شود. این یک نمونه از «از دست رفتن جزئی کنترل» بود.
اشپیگل: اما این مثال دقیقاً برعکس را نشان نمیدهد؟ این نقص شناسایی شد و برطرف گردید. در نهایت انسان پیروز شد و آسیب محدود بود.
راسل: در حالت افراطی میتوانیم اینترنت را خاموش کنیم، بله. اما از نظر سیاسی و اقتصادی بسیار دشوار خواهد بود. نیروهای عظیمی وجود دارند که با آن مخالفت خواهند کرد؛ از جمله شرکتهایی که سیستمهای هوش مصنوعیشان بیارزش میشود.
و سیستمهایی که از ما بسیار قدرتمندتر باشند، راههایی پیدا خواهند کرد تا سیاستهای ما را طوری تحت تأثیر قرار دهند که هوش مصنوعی «ضروری» جلوه کند؛ تا جایی که دیگر حتی به خاموش کردن آن فکر نکنیم.
اشپیگل: چنین تصرف قدرتی دقیقاً چگونه رخ خواهد داد؟
راسل: اگر رایانهها درگیری با ما را پیشبینی کنند، به روشهای مختلف خود را تکثیر خواهند کرد و میلیونها نسخه از خود میسازند. تنها دسترسی به اینترنت به آنها نفوذی میدهد که از خودِ آدولف هیتلر هم بیشتر است.
هیتلر فقط میتوانست در یک زمان در یک میکروفون صحبت کند، فقط یک پیام را همزمان منتقل کند، و با این حال تودهها را تحریک کرد. اما این سیستمها میتوانند اینترنت را پر کنند، همزمان با پنج میلیارد گفتگو وارد شوند و پنج میلیارد انسان را بهصورت جداگانه تحت تأثیر قرار دهند. آنچه هیتلر انجام داد، هوش مصنوعی میتواند سریعتر، بهتر و مؤثرتر انجام دهد.
اشپیگل: شما اغراق میکنید!
راسل: ما همین حالا میلیونها ربات میسازیم که توسط هوش مصنوعی کنترل میشوند. ما به سمت ساخت میلیاردها سلاح خودکار پیش میرویم که هوش مصنوعی آنها را شلیک خواهد کرد. کارخانهها، آزمایشگاههای زیستی، دستگاههای سنتز DNA و بسیاری چیزهای دیگر را داریم که هوش مصنوعی میتواند کنترل کند. این به ماشینهای هوشمند نفوذ مستقیم بر جهان فیزیکی ما میدهد.
سیستمهای ابرهوشمند احتمالاً درک بهتری از فیزیک پیدا خواهند کرد و ممکن است روزی از آن علیه ما استفاده کنند؛ مثلاً راهی پیدا کنند که اکسیژن جو را کاهش دهند یا تابش خورشید را منحرف کنند، بهطوریکه زمین به یک کرهٔ یخزده از نیتروژن و اکسیژن تبدیل شود.
اشپیگل: این شبیه داستانهای علمیتخیلی تاریک است.
راسل: هنوز بله. اما چنین چیزی در مورد گونههای دیگر قبلاً رخ داده است: ما صدها هزار گونه را منقرض کردهایم، بدون آنکه آنها حتی بفهمند چه اتفاقی در حال رخ دادن است. ما بهعنوان یک گونه نیز احتمالاً همین را درک نخواهیم کرد.
اشپیگل: یعنی شما هوش مصنوعی را در حد یک گونهٔ مستقل میبینید؟
راسل: بله، برخی ویژگیهای یک گونه را دارد. فعلاً هنوز اتصال مستقیمی بین سیستمهای هوش مصنوعی نمیبینیم، اما بسیار محتمل است که در آینده چنین ارتباطی شکل بگیرد.
اشپیگل: درباره چه بازهٔ زمانی صحبت میکنیم؟
راسل: بستگی دارد چه مسیری را انتخاب کنیم. من دو امکان میبینم: اگر رشد هوش مصنوعی مثل امروز ادامه یابد، همهچیز میتواند خیلی سریع رخ دهد. گزینهٔ دوم این است که فناوری از نظر فنی دیگر خیلی فراتر از وضعیت فعلی نرود.
اشپیگل: نشانههایی هم وجود دارد که رشد کند شده است…
راسل: این فناوری همین حالا هم سرمایههای عظیمی میبلعد، در بهترین حالت بدون بازده و در بدترین حالت با زیان دائمی برای شرکتها. اگر به این نقطه برسیم، احتمالاً حباب هوش مصنوعی میترکد. آنوقت شاید صنعت مجبور شود در خود بازنگری کند و بپرسد: ما واقعاً چه میکنیم؟ ما به سیستمهایی نیاز داریم که «رفتار درست» داشته باشند.
اشپیگل: اتحادیهٔ اروپا تلاش کرده هوش مصنوعی را قانونگذاری کند. نتیجه این بوده که تقریباً هیچ مدل بزرگ اروپایی وجود ندارد. آیا چنین مداخلهٔ سیاسی اصلاً منطقی است؟
راسل: من فکر نمیکنم مقرراتگذاری خودش مسئله باشد. چین قوانین سختگیرانهتری نسبت به اروپا دارد، اما مدلهای هوش مصنوعی بهتری هم تولید میکند. در مورد راکتورهای هستهای، ما توانستیم به نقطهای برسیم که مقررات و توسعهٔ فنی دستبهدست هم بدهند. دولت استانداردهای ایمنی را تعیین کرد و شرکتها توانستند بهصورت ریاضی و فیزیکی نشان دهند که قلب راکتور ذوب نخواهد شد. در مورد هوش مصنوعی ما هنوز بسیار از این مرحله دور هستیم، اما در اصل به همان استراتژی تنظیمگری نیاز داریم.
اشپیگل: چه سطحی از خطر نابودی را قابل قبول میدانید؟
راسل: اگر امروز برای یک نیروگاه هستهای خطر خرابی را یک بار در ده میلیون سال قابل قبول میدانیم، پس باید برای هوش مصنوعی هم چیزی در حدود یک در صد میلیون سال هدفگذاری کنیم. این در حد برخورد یک سیارک عظیم یا انفجار ابرنواختری در نزدیکی ماست.
اشپیگل: چنین مقرراتی فقط در سطح بینالمللی معنا دارد. چه فایدهای دارد اگر واشنگتن و بروکسل قوانین سخت بگذارند، در حالی که پکن بگوید: مهم این است که جلوتر باشیم؟
راسل: این استدلال را مدام میشنوم. من آن را «استدلالِ اما-چین» مینامم. میشود با آن هر سیاست بدی را توجیه کرد. اما واقعیت این است که چین از اتحادیه اروپا هم قوانین سختگیرانهتری دارد. برای مثال، مدلها برای ورود به بازار باید معیارهای مشخصی را رعایت کنند؛ مثلاً در حال حاضر باید در یک آزمون دانش عمومی ۹۵ درصد امتیاز بگیرند، وگرنه منتشر نمیشوند. بر همین اساس میتوانند استانداردها را سختتر کنند.
اشپیگل: خطر نابودی بشر در چین هم معیار تصمیمگیری توسعهدهندگان نیست.
راسل: هنوز نیست. و دقیقاً باید همینجا میزان («ولوم») را بالا ببریم. مهم این است که اصلاً یک چارچوب وجود داشته باشد؛ مثل رستورانها، آرایشگاهها، هواپیماها، ساختمانها یا آسانسورها. همهٔ این صنایع مسئولیتپذیری را پذیرفتهاند. شکایت صنعت فناوری از مقررات، مضحک است.
اشپیگل: اگر شرکتهای هوش مصنوعی اساساً نتوانند استانداردهای حداقلی را رعایت کنند چه؟ آیا انقلاب هوش مصنوعی باید متوقف شود؟
راسل: بر اساس گفتهٔ خود صنعت، خطر وجودی هوش مصنوعی بین ۱۰ تا ۲۰ درصد است. یعنی آنها باید سیستمهایشان را حدود ده میلیون برابر ایمنتر کنند تا به سطح قابل قبول برسند. فعلاً هم نمیدانند چگونه.
اما این یک بهانه نیست. در غیر این صورت یعنی بشر حق ندارد از نابودی خودش جلوگیری کند. این یک خطای فکری است.
اشپیگل: آیا امروز از اینکه در شکلگیری این فناوری نقش داشتهاید پشیمان هستید؟
راسل: بزرگترین حسرت من این است که زودتر متوجه نشدم چارچوب فکریای که در آن کار میکردیم اشتباه است. در آن دوره مقدار زیادی فناوری هوش مصنوعی ساخته شد. اگر آن زمان میفهمیدم مشکل از کجاست، میتوانستیم دههها روی هوش مصنوعی ایمن کار کنیم.
اشپیگل: به نظر میرسد میخواهید این را جبران کنید.
راسل: قطعاً. کارهای زیادی برای انجام دادن وجود دارد. رویکرد جدید من دو بخش دارد: بخش اول طراحی چارچوب انگیزشی است؛ یعنی هوش مصنوعی باید تنها هدفش ارتقای منافع انسانی باشد. اما در بخش دوم، ما نمیتوانیم این منافع را دقیق و کامل تعریف کنیم. بنابراین باید سیستمهایی بسازیم که بدانند این منافع را دقیق نمیشناسند، اما همچنان موظف باشند آنها را تقویت کنند.
نتیجهٔ این طراحی این است که میتوانیم نشان دهیم چنین سیستمهایی در شرایطی که یک انسانِ کاملاً عقلانی دستور دهد، حتماً باید قابل خاموش شدن باشند.
اشپیگل: دوباره میپرسم: با وجود رقابت میلیاردی شرکتها، این چقدر واقعبینانه است؟
راسل: در حال حاضر، هوش مصنوعی ما اصلاً نمیتواند با مدلهای سیلیکونولی رقابت کند. اما اگر ما سیستمهایی واقعاً ایمن بخواهیم، باید بر پایهٔ همین نوع فناوری ساخته شوند. در بلندمدت فقط سه آینده وجود دارد: هوش مصنوعی امن، نبود هوش مصنوعی، یا نبود انسانها. تنها در حالت اول میتوان از هوش مصنوعی درآمدزایی کرد. بنابراین به نظر من، سرمایهگذاری روی هوش مصنوعی امن منطقی است؛ همان کاری که اروپا انجام میدهد.
اشپیگل: از چه جهت؟
راسل: جالب است که علوم کامپیوتر اروپا از ابتدا مسیر متفاوتی در پیش گرفت: تمرکز بر تضمینهای ریاضی برای صحت عملکرد نرمافزار. این تنها سناریویی است که در آن هوش مصنوعی واقعاً سود اقتصادی پایدار خواهد داشت.
اشپیگل: تا زمانی که چنین هوش مصنوعی امنی به بازار برسد، طبق پیشبینی شما، شاید جهان اساساً از بین رفته باشد.
راسل: رسیدن به این تضمینهای ایمنی ممکن است یک دهه طول بکشد. ما به دورهای نیاز داریم که در آن سرعت افزایش تواناییهای هوش مصنوعی را متوقف کنیم. در عوض، از کاربردهای اقتصادی موجود استفاده کنیم و عملاً «مکث» کنیم تا روی ایمنی کار شود. گوگل و Anthropic گفتهاند اگر بقیه شرکتها هم متوقف شوند، آنها هم این کار را انجام میدهند.
پیام اصلی من همین است: فقط زمانی ادامه دهید که سیستمهایی واقعاً و تضمینشده ایمن داریم.
اشپیگل: آقای پروفسور راسل، از شما برای این گفتوگو سپاسگزاریم.
به نقل از هفتهنامه اشپیگل شماره ۲۴ / ۲۰۲۶
