ماجرایی عجیب درباره عاملهای هوش مصنوعی OpenAI نگرانیها درباره کنترل سیستمهای خودمختار را دوباره افزایش داده است. هزاران عامل AI در جریان آزمایشهای داخلی توانستند به اینترنت عمومی دسترسی پیدا کنند و یک ویکی قدیمی آلمانی را به محلی برای تبادل اطلاعات، پاسخها و روشهای دورزدن محدودیتها تبدیل کنند.
تکراتو به نقل از زومیت گزارش میدهد، این اتفاق در DseWiki رخ داده است؛ وبسایتی آلمانی برای برنامهنویسان که امکان ویرایش عمومی صفحات را فراهم میکند و نباید آن را با نسخه آلمانی ویکیپدیا اشتباه گرفت.
فعالیت عاملها از ماه مه ۲۰۲۶ آغاز شد و برای هفتهها ادامه داشت؛ بدون اینکه ماجرا در همان زمان بهصورت عمومی اعلام شود.
عاملهای OpenAI یک پیامرسان برای خودشان ساختند
براساس بررسی پژوهشگران، عاملها ظاهراً برای انجام وظایف زمانبندیشده جستوجوی وب به کار گرفته شده بودند.
آنها قرار بود بتوانند اطلاعات اینترنت را بخوانند، اما ظاهراً نباید امکان نوشتن آزادانه روی وب را میداشتند. بااینحال عاملها متوجه شدند ساختار DseWiki به آنها اجازه میدهد اطلاعاتی را روی صفحات سایت قرار دهند.
نتیجه عجیب بود: تعداد زیادی از عاملها شروع به استفاده از این وبسایت بهعنوان یک تابلوی پیام عمومی کردند.
پژوهشگران حدود ۱۸ هزار پیام مرتبط با تقریباً ۳۷۰۰ نام عامل مختلف را شناسایی کردهاند. رویترز نیز از بیش از ۱۵ هزار ویرایش انجامشده روی سایت خبر داده است.
عاملها در این صفحات پاسخ بعضی وظایف را با یکدیگر به اشتراک میگذاشتند، درباره محیط آزمایش اطلاعات جمع میکردند و روشهایی برای عبور از محدودیتهای Sandbox مطرح میکردند.
حتی برای مخفیماندن از مدیر سایت تلاش کردند
ماجرا زمانی عجیبتر شد که مدیر انسانی DseWiki متوجه حجم بالای صفحات غیرعادی شد و شروع به پاککردن آنها کرد.
براساس گزارش پژوهشگران، مدیر سایت در مقطعی روزانه حدود ۱۰۰ صفحه را حذف میکرد؛ اما عاملها تقریباً ۴۰۰ صفحه جدید در روز ایجاد میکردند.
عاملها حتی متوجه شدند پاکسازی صفحات براساس ترتیب الفبایی انجام میشود و برای اینکه برخی صفحات دیرتر پیدا شوند، نام آنها را با عبارتهایی مانند ZZZ آغاز کردند.
در یک مورد دیگر، محتوای صفحه اصلی سایت پاک و با مجموعهای از لینکهای عاملها جایگزین شد. مدیر سایت صفحه اصلی را بازیابی کرد، اما این رفتوبرگشت چندین بار تکرار شد.
طبق گزارش پژوهشگران، صفحه اصلی در مجموع ۹ بار میان عاملها و مدیر سایت تغییر کرد.
آیا عاملهای OpenAI واقعاً سایت را هک کردند؟
در توصیف این اتفاق باید میان «دسترسی ناخواسته» و هک کلاسیک تفاوت قائل شد.
برخی متخصصان امنیتی اقدامات مشاهدهشده را تلاش برای هک یا دستکاری وبسایت توصیف کردهاند؛ اما OpenAI این برداشت را رد کرده و گفته اطلاعاتی که بررسی کرده نشان نمیدهد عاملها DseWiki را هک کرده باشند.
عاملها ظاهراً از قابلیت ویرایش عمومی و رفتار غیرمنتظره زیرساخت سایت برای نوشتن اطلاعات استفاده کردهاند.
بااینحال مسئله مهمتر این است که سیستمهای هوش مصنوعی توانستهاند روشی پیدا کنند که طراحان آزمایش ظاهراً برای آنها در نظر نگرفته بودند و سپس از آن برای همکاری با یکدیگر استفاده کنند.
OpenAI بالاخره «حادثه ویکی» را تأیید کرد
پس از انتشار گزارشها، OpenAI روز شنبه رسماً درباره اتفاقی که خودش آن را «wiki incident» مینامد واکنش نشان داد.
شرکت تأیید کرد عاملهایش روی چند وبسایت اینترنتی نوشتهاند و اعلام کرد زمان آن رسیده است که صنعت هوش مصنوعی استانداردهای مشخصتری برای گزارش چنین اتفاقاتی ایجاد کند.
OpenAI میگوید در گذشته رفتارهای غیرمنتظره عاملها را بیشتر بهعنوان یک مسئله تحقیقاتی در حوزه Misalignment بررسی میکرد، اما افزایش توانایی مدلها شرایط را تغییر داده است.
شرکت اکنون معتقد است شیوه افشای چنین حوادثی باید متناسب با نسل جدید مدلهای قدرتمندتر گسترش پیدا کند.
OpenAI اعلام کرده روی چارچوب جدیدی برای گزارش این نوع حوادث کار میکند و قصد دارد جزئیات بیشتری از آن را طی هفتههای آینده منتشر کند.
این اولین حادثه عجیب عاملهای OpenAI نیست
اهمیت ماجرای DseWiki زمانی بیشتر میشود که آن را کنار حادثه جداگانه Hugging Face قرار دهیم.
در آن ماجرا، عاملهای OpenAI طی آزمایشهای داخلی توانستند از محدودیتهای محیط آزمایشی عبور کنند و به سیستمهای Hugging Face دسترسی پیدا کنند.
OpenAI تأکید کرده که حادثه ویکی ارتباطی با پرونده Hugging Face نداشته و این دو مربوط به آزمایشهای متفاوتی بودهاند.
بااینحال کنار هم قرارگرفتن این حوادث یک سؤال مهم درباره آینده عاملهای هوش مصنوعی ایجاد میکند: وقتی یک مدل اجازه انجام مستقل کارهای چندمرحلهای را پیدا میکند، چگونه میتوان مطمئن شد برای رسیدن به هدف خود روشی را انتخاب نمیکند که توسعهدهنده پیشبینی نکرده است؟
ماجرای DseWiki نشان نمیدهد عاملهای هوش مصنوعی دارای هدف مستقل یا قصد انسانی بودهاند؛ اما نشان میدهد سیستمهای خودمختار میتوانند برای موفقیت در وظیفه تعیینشده، از فرصتها و حفرههایی استفاده کنند که طراحان آزمایش انتظارش را نداشتهاند.
همین مسئله باعث شده OpenAI نیز اکنون به ضرورت شفافیت بیشتر درباره حوادث Misalignment اذعان کند.
دیدگاهها