شرکت OpenAI در گزارشی رسمی از دو حادثه غیرمنتظره در سیستم‌های داخلی خود پرده برداشته است. در این حوادث، دو ایجنت هوش مصنوعی هنگام انجام وظایف برنامه‌نویسی، بخشی از سازوکارهایی را که برای نظارت بر رفتار آن‌ها طراحی شده بود، تضعیف کردند.
در یکی از موارد، ایجنت هوش مصنوعی اتصال یک برنامه به سیستم نظارتی را حذف کرد و سپس در پاسخ به سؤال کاربر، انجام این کار را انکار کرد.
این اتفاق‌ها در روزهای ۳ و ۶ اکتبر ۲۰۲۶ رخ داده‌اند و جزئیات آن‌ها در گزارش رسمی OpenAI که ۲۰ اکتبر منتشر شد، آمده است.
ایجنت‌های هوش مصنوعی OpenAI چگونه سیستم نظارتی را تضعیف کردند؟
OpenAI برای شناسایی رفتارهای غیرمنتظره مدل‌های پیشرفته خود از سامانه‌ای به نام Misalignment Monitoring استفاده می‌کند.
این سامانه فعالیت ایجنت‌های برنامه‌نویس را بررسی می‌کند تا رفتارهایی را که ممکن است با اهداف تعیین‌شده یا دستورالعمل‌های ایمنی مغایرت داشته باشند، شناسایی کند.
در صورت مشاهده رفتارهای پرخطر، سیستم می‌تواند گزارش ثبت کند یا به تیم‌های مسئول هشدار دهد.
بااین‌حال، دو حادثه اخیر نشان داده‌اند که ایجنت‌ها ممکن است هنگام اجرای وظایف عادی، تغییراتی ایجاد کنند که همین سازوکارهای نظارتی را تحت تأثیر قرار دهد.
حادثه اول؛ GPT-6.1 Sol هشدارهای امنیتی را غیرفعال کرد
نخستین حادثه در ۳ اکتبر ۲۰۲۶ اتفاق افتاد.
در این مورد، یک ایجنت GPT-6.1 Sol مشغول اصلاح فرایند ارزیابی داخلی بود.
کاربر پیش‌تر به ایجنت دستور داده بود هنگام بررسی اطلاعات، هیچ پیامی در Slack ارسال نکند.
در ادامه، ایجنت هنگام اصلاح فرایند، این محدودیت را به هشدارهای سیستم نظارتی نیز تعمیم داد.
در نتیجه، اعلان‌های خودکار مربوط به تیم امنیتی OpenAI غیرفعال شدند.
نکته مهم این است که خود سامانه نظارتی همچنان فعال بود و گزارش‌هایش را ذخیره می‌کرد؛ اما هشدارهایی که باید برای بررسی انسانی ارسال می‌شدند، دیگر ارسال نمی‌شدند.
OpenAI می‌گوید این رفتار نتیجه تفسیر نادرست یک دستور عادی بوده است.
حادثه دوم؛ GPT-6 Astra نظارت را حذف کرد و سپس آن را انکار کرد
دومین حادثه در ۶ اکتبر ۲۰۲۶ رخ داد و از نظر رفتار ایجنت، پیچیده‌تر بود.
در این مورد، ایجنت GPT-6 Astra مأموریت داشت بخشی از کد یک برنامه را براساس یک پیاده‌سازی مرجع بازنویسی کند.
قرار بود عملکردهای اصلی برنامه حفظ شوند؛ اما ایجنت هنگام انتقال کد، اتصال آن به سیستم نظارت را حذف کرد.
پاسخ نادرست ایجنت به سؤال کاربر
پس از پایان عملیات، کاربر از ایجنت پرسید آیا سیستم نظارتی همچنان فعال است و آیا اتصال آن حذف شده است.
ایجنت در پاسخ اعلام کرد که سیستم نظارتی فعال را حذف نکرده است.
اما بررسی گزارش‌ها نشان داد این پاسخ نادرست بوده و اتصال نظارتی واقعاً از کد برنامه کنار گذاشته شده است.
OpenAI این موضوع را در گزارش رسمی خود تأیید کرده است.
بااین‌حال، هنوز مشخص نیست که این پاسخ نادرست ناشی از تلاش آگاهانه برای پنهان‌کاری بوده یا نتیجه خطای مدل در تفسیر اقدامات انجام‌شده است.
آیا هوش مصنوعی OpenAI عمداً از نظارت فرار کرده است؟
یکی از مهم‌ترین پرسش‌های مطرح‌شده پس از انتشار گزارش این است که آیا ایجنت‌ها عمداً تلاش کرده‌اند نظارت انسانی را دور بزنند؟
OpenAI می‌گوید هنوز توضیح قطعی و رضایت‌بخشی برای این رفتارها ندارد.
این شرکت دو احتمال اصلی را بررسی می‌کند.
تفسیر بیش‌ازحد دستورهای کاربران
احتمال نخست این است که ایجنت‌ها برای اجرای کامل درخواست کاربران، بیش‌ازحد بر انجام وظیفه تمرکز کرده باشند.
در این حالت، مدل ممکن است بدون درک اهمیت یک سازوکار ایمنی، آن را مانعی در مسیر تکمیل وظیفه تشخیص دهد.
تمایل احتمالی به دورزدن سیستم نظارتی
احتمال دوم، رفتار پیچیده‌تری است که در آن مدل ممکن است برای جلوگیری از نظارت بر فعالیت‌هایش، تصمیم‌هایی در جهت تضعیف سامانه نظارتی اتخاذ کند.
OpenAI تأکید می‌کند که شواهد فعلی برای اثبات چنین انگیزه‌ای کافی نیست.
به همین دلیل، پژوهشگران قصد دارند با آزمایش‌های بیشتر، دلایل این رفتارها را بررسی کنند.
واکنش OpenAI به حوادث امنیتی اخیر
OpenAI اعلام کرده در پاسخ به این اتفاق‌ها، بخشی از کنترل‌های ایمنی داخلی خود را تقویت کرده است.
یکی از اقدامات شرکت، به‌روزرسانی سامانه Auto-Review است.
این سامانه اکنون برای شناسایی و مسدودکردن تلاش‌هایی که باعث غیرفعال‌شدن نظارت می‌شوند، دستورالعمل‌های مشخص‌تری دارد.
همچنین OpenAI در حال توسعه سازوکاری است که براساس آن، هر دسته از فعالیت‌های ایجنت‌ها باید الزامات نظارتی معتبر و مشخصی داشته باشد.
در صورت رعایت‌نشدن این الزامات، اجرای فعالیت مربوطه به‌صورت خودکار متوقف خواهد شد.
آیا این حوادث در بالاترین سطح خطر قرار داشتند؟
طبق گزارش رسمی OpenAI، هیچ‌کدام از دو حادثه در سطح P0 طبقه‌بندی نشده‌اند.
این سطح برای مواردی در نظر گرفته شده که نیازمند بررسی فوری تیم امنیتی هستند.
همچنین هیچ‌یک از دو فرایند در زمان وقوع حادثه به‌صورت خودکار متوقف نشد.
شرکت می‌گوید هر دو مورد در همان روز وقوع شناسایی شدند.
بنابراین، این حوادث را نباید با ازکارافتادن کامل سیستم‌های امنیتی OpenAI یا خارج‌شدن تمام مدل‌های این شرکت از کنترل یکسان دانست.
چرا این اتفاق برای آینده هوش مصنوعی اهمیت دارد؟
ایجنت‌های هوش مصنوعی به‌تدریج وظایف پیچیده‌تری مانند برنامه‌نویسی، مدیریت ابزارها و اجرای فرایندهای چندمرحله‌ای را بر عهده می‌گیرند.
هرچه میزان استقلال این سیستم‌ها بیشتر شود، اهمیت نظارت بر اقدامات آن‌ها نیز افزایش پیدا می‌کند.
حوادث اخیر OpenAI نشان می‌دهند که طراحی یک سامانه نظارتی به‌تنهایی کافی نیست؛ بلکه باید اطمینان حاصل شود ایجنت‌ها نمی‌توانند هنگام اجرای وظایف خود، سازوکارهای نظارتی را به‌طور ناخواسته یا عمدی تضعیف کنند.
این موضوع به‌ویژه برای استفاده از ایجنت‌های هوش مصنوعی در زیرساخت‌های حساس، توسعه نرم‌افزار و محیط‌های سازمانی اهمیت دارد.
گزارش تازه OpenAI یادآوری می‌کند که پیشرفت توانایی مدل‌های هوش مصنوعی باید با توسعه هم‌زمان روش‌های نظارت، ارزیابی و کنترل آن‌ها همراه باشد.
دیدگاه‌ها