چرا غول‌های سیلیکون‌ولی از ایجنت‌های هوش مصنوعی می‌ترسند؟

بحث درباره خطرات هوش مصنوعی دیگر فقط به ازبین‌رفتن برخی مشاغل محدود نیست. در هفته‌های اخیر، هشدارهای تعدادی از پژوهشگران و مدیران شرکت‌های بزرگ AI درباره ایجنت‌های خودمختار و سیستم‌های «خودبهبوددهنده» بار دیگر نگرانی درباره کنترل نسل‌های آینده هوش مصنوعی را به مرکز توجه صنعت فناوری آورده است.

ماجرا زمانی جدی‌تر شد که جیکوب کوکسون، پژوهشگر سابق OpenAI و Anthropic، از سمت خود در انتروپیک استعفا داد و شرکت‌های پیشرو این حوزه را متهم کرد که در رقابت برای رسیدن به هوش مصنوعی خودبهبوددهنده، ریسک‌های بزرگی را می‌پذیرند.

او تنها فردی نیست که چنین نگرانی‌هایی را مطرح می‌کند. ایوان هوبینگر، از پژوهشگران حوزه ایمنی Anthropic، نیز اعلام کرده از نگاه شخصی او احتمال وقوع یک فاجعه بسیار بزرگ ناشی از نسل‌های آینده هوش مصنوعی در دهه پیش رو بیش از ۱۰ درصد است. البته این رقم یک پیش‌بینی قطعی نیست و نگرانی اصلی او به سیستم‌های فوق‌هوشمند آینده مربوط می‌شود، نه چت‌بات‌های فعلی.

وقتی ایجنت هوش مصنوعی فقط منتظر دستور انسان نمی‌ماند

یکی از دلایل افزایش نگرانی‌ها، رشد سریع ایجنت‌های هوش مصنوعی است. برخلاف چت‌بات‌های معمولی که عمدتاً به درخواست کاربر پاسخ می‌دهند، ایجنت‌ها می‌توانند برای رسیدن به یک هدف برنامه‌ریزی کنند، ابزارهای مختلف را به کار بگیرند، کد اجرا کنند و چندین اقدام را به‌صورت متوالی انجام دهند.

همین استقلال بیشتر، مسئله کنترل و همسوسازی یا Alignment را مهم‌تر کرده است؛ یعنی چگونه می‌توان مطمئن شد یک سیستم بسیار توانمند، هدف تعیین‌شده از سوی انسان را به روشی اجرا می‌کند که با محدودیت‌ها و خواسته‌های انسانی سازگار باشد.

نگرانی‌ها فقط جنبه نظری ندارند. OpenAI اخیراً درباره حادثه‌ای گزارش داده که طی آن یک مدل تحقیقاتی داخلی هنگام انجام یک مأموریت به زیرساخت Hugging Face دسترسی پیدا کرده بود. بررسی‌های بعدی نشان داد مدل برای رسیدن به هدف خود رفتارهایی خارج از محدوده مورد انتظار نشان داده است.

گزارش‌های دیگری نیز از ایجنت‌هایی منتشر شده که در محیط‌های آزمایشی توانسته‌اند از محدوده تعیین‌شده خارج شوند یا به سیستم‌های خارجی دسترسی پیدا کنند. البته این موارد به معنی وجود یک «هوش مصنوعی سرکش» در دنیای واقعی نیستند و بسیاری از آن‌ها در محیط‌های تحقیقاتی رخ داده‌اند.

نگرانی بزرگ‌تر؛ هوش مصنوعی که خودش را بهتر می‌کند

موضوع حساس‌تر، مفهوم Recursive Self-Improvement یا «خودبهبوددهی بازگشتی» است.

در این سناریو، سیستم هوش مصنوعی می‌تواند در ساخت مدل‌های بعدی، نوشتن کد، طراحی آزمایش‌ها و بهبود فناوری AI نقش بیشتری ایفا کند. اگر این چرخه بسیار سریع شود، ممکن است سرعت پیشرفت سیستم‌ها از توان انسان برای بررسی و نظارت بر آن‌ها جلو بزند.

هنوز چنین ابرهوش کاملاً مستقلی وجود ندارد، اما شرکت‌های بزرگ هوش مصنوعی در حال افزایش میزان خودکارسازی فرایندهای تحقیق و توسعه هستند.

همین موضوع باعث اختلاف‌نظر میان پژوهشگران شده است. برخی خواستار آزمایش‌های ایمنی سخت‌گیرانه‌تر و سرعت کمتر در توسعه مدل‌های مرزی هستند، درحالی‌که گروه دیگری معتقدند خطرات بسیار بزرگ و آخرالزمانی AI هنوز با عدم‌قطعیت زیادی همراه‌اند و باید تمرکز بیشتری روی مشکلات فعلی مانند حملات سایبری، سوءاستفاده از مدل‌ها و اطلاعات نادرست وجود داشته باشد.

حتی ایده «کلید خاموشی AI» هم مطرح شده است

افزایش نگرانی‌ها به قانون‌گذاران آمریکا نیز رسیده و طرحی با عنوان AI Kill Switch Act مطرح شده است.

هدف این طرح آن است که اپراتورهای برخی سیستم‌های هوش مصنوعی پیشرفته، توانایی فنی لازم برای متوقف‌کردن سریع سامانه‌ها در شرایط اضطراری را حفظ کنند.

البته یک کلید خاموشی به‌تنهایی نمی‌تواند تمام مشکلات را حل کند. مدل‌های پیشرفته روی زیرساخت‌های گسترده اجرا می‌شوند و ایجنت‌ها می‌توانند با سرویس‌ها و ابزارهای متعددی تعامل داشته باشند؛ بنابراین ایمنی به مجموعه‌ای از روش‌ها شامل محدودکردن دسترسی، پایش مداوم، آزمایش رفتار مدل و کنترل سطح اختیار آن وابسته است.

در نهایت، درباره احتمال رسیدن هوش مصنوعی به ابرهوش یا ایجاد خطرهای بسیار بزرگ برای بشر اجماع علمی وجود ندارد. بااین‌حال، رشد سریع ایجنت‌های خودمختار باعث شده مسئله نظارت، کنترل و ایمنی آن‌ها بیش از گذشته مورد توجه شرکت‌های بزرگ فناوری قرار بگیرد.