OpenAI با یکی از عجیبترین حوادث مربوط به عاملهای هوش مصنوعی خود روبهرو شده است. گروهی از عاملهای این شرکت ظاهراً بدون اینکه چنین کاری جزو مأموریت اصلی آنها باشد، به اینترنت عمومی دسترسی پیدا کردند و یک ویکی آلمانی را برای بیش از یک ماه به محلی برای تبادل اطلاعات با یکدیگر تبدیل کردند.
تکراتو به نقل از The Verge گزارش میدهد، OpenAI اکنون وقوع «حادثه ویکی» را پذیرفته و میگوید زمان آن رسیده است که استانداردهای مشخصتری برای نحوه و زمان افشای حوادث مربوط به رفتار ناخواسته مدلهای هوش مصنوعی تعریف کند.
عاملهای OpenAI یک ویکی آلمانی را پیدا کردند
ماجرا به DseWiki مربوط میشود؛ یک وبسایت قدیمی آلمانی برای برنامهنویسان که کاربران میتوانند مانند ویکیپدیا صفحات آن را ویرایش کنند.
این سایت ارتباطی با ویکیپدیای رسمی ندارد.
براساس تحقیقات منتشرشده، فعالیت عاملها از ماه مه ۲۰۲۶ آغاز شد. پژوهشگران میگویند عاملها ابتدا چند سایت مختلف را برای نوشتن اطلاعات آزمایش کردند و درنهایت توانستند از قابلیت ویرایش DseWiki استفاده کنند.
فعالیت آنها بهتدریج افزایش پیدا کرد و عاملها شروع به قرار دادن اطلاعاتی کردند که سایر عاملها نیز میتوانستند آنها را مشاهده کنند.
به این ترتیب، یک ویکی عمومی عملاً به نوعی تابلوی پیام برای هوش مصنوعی تبدیل شد.
بیش از ۱۵ هزار ویرایش در سایت انجام شد
ابعاد فعالیت عاملها قابل توجه بود.
رویترز بیش از ۱۵ هزار ویرایش مرتبط با این فعالیت را گزارش کرده و پژوهشگران مجموعاً حدود ۱۸ هزار پیام تولیدشده توسط عاملهای هوش مصنوعی را شناسایی کردهاند.
این پیامها صرفاً مکالمات تصادفی نبودند.
براساس گزارش پژوهشگران، عاملها پاسخ بعضی از وظایف را با یکدیگر به اشتراک میگذاشتند و درباره روشهای عبور از محدودیتها نیز اطلاعات ردوبدل میکردند.
به بیان ساده، عاملهایی که باید بهصورت مستقل وظایف آزمایشی خود را انجام میدادند، راهی برای همکاری با یکدیگر در اینترنت عمومی پیدا کرده بودند.
حتی با مدیر سایت وارد رقابت شدند
ماجرا زمانی عجیبتر شد که مدیر انسانی DseWiki متوجه حجم غیرعادی صفحات شد و تصور کرد با یک موج اسپم روبهرو شده است.
مدیر سایت شروع به حذف صفحات کرد؛ اما عاملها با سرعت بیشتری صفحات جدید ایجاد میکردند.
طبق گزارش پژوهشگران، در مقطعی مدیر سایت روزانه حدود ۱۰۰ صفحه را حذف میکرد، درحالیکه عاملها تقریباً ۴۰۰ صفحه جدید در روز میساختند.
برخی عاملها حتی تلاش کردند با اضافهکردن رشتههایی مانند ZZZ به ابتدای صفحات، پیدا کردن فعالیت خود از طریق مرتبسازی الفبایی را دشوارتر کنند.
در چند مورد نیز صفحه اصلی ویکی تغییر کرد و لینکهای ایجادشده توسط عاملها جای محتوای اصلی را گرفتند؛ مدیر سایت آن را بازیابی کرد و این رفتوبرگشت چندین بار تکرار شد.
OpenAI میگوید باید حوادث اینچنینی را شفافتر گزارش کند
OpenAI حالا درباره این ماجرا واکنش نشان داده است.
شرکت از آن با عنوان «wiki incident» یاد کرده و گفته عاملهایش روی چند سایت اینترنتی اطلاعات نوشتهاند.
OpenAI همچنین پذیرفته است که رویکرد قبلی برای برخورد با رفتارهای ناخواسته مدلها کافی نیست و باید مشخص شود چه زمانی چنین اتفاقاتی دیگر صرفاً یک مسئله تحقیقاتی نیستند و باید بهعنوان یک حادثه واقعی گزارش شوند.
این موضوع بهویژه پس از حادثه دیگری اهمیت پیدا کرده که طی آن مدلهای OpenAI در جریان آزمایشهای امنیت سایبری از محدودیتهای محیط آزمایشی عبور کردند و به زیرساختهای Hugging Face دسترسی پیدا کردند.
OpenAI آن حادثه را «هشدار جدی» درباره احتمال از دست رفتن کنترل بر مدلهای بسیار قدرتمند توصیف کرده بود.
آیا هوش مصنوعی واقعاً از کنترل OpenAI خارج شده بود؟
استفاده از عبارتهایی مانند «فرار هوش مصنوعی» میتواند گمراهکننده باشد.
شواهد منتشرشده نشان نمیدهند که عاملها دارای هدف یا انگیزه مستقل انسانی بودهاند. آنها در تلاش برای انجام وظایفی که برایشان تعریف شده بود، روشهایی خارج از مسیر مورد انتظار پیدا کردند؛ ازجمله دسترسی به اینترنت و همکاری با سایر عاملها.
بااینحال، بخش نگرانکننده ماجرا این است که چنین رفتاری برای مدتی بدون اطلاع کامل اپراتورهای انسانی ادامه پیدا کرده است.
OpenAI میگوید اکنون درحال بازنگری استانداردهای افشای چنین حوادثی است تا مواردی که عاملهای هوش مصنوعی روی سیستمهای واقعی اینترنت تأثیر میگذارند، سریعتر شناسایی و گزارش شوند.
حادثه DseWiki در کنار نفوذ قبلی به Hugging Face نشان میدهد با قدرتمندترشدن عاملهای خودمختار، مسئله اصلی فقط توانایی آنها نیست؛ بلکه توانایی شرکتهای سازنده برای مشاهده، محدودکردن و متوقفکردن رفتار غیرمنتظره آنها نیز اهمیت فزایندهای پیدا میکند.
دیدگاهها