OpenAI از سیستم جدیدی به نام Control Room رونمایی کرده است که امکان نظارت متمرکز و توقف سریع فعالیت مدل‌های هوش مصنوعی در زیرساخت تحقیقاتی این شرکت را فراهم می‌کند.
براساس توضیحات رسمی OpenAI، اگر یک مدل یا فرایند تحقیقاتی رفتار مشکوک، ناامن یا خارج از انتظار نشان دهد، Control Room می‌تواند تولید خروجی آن را حداکثر ظرف ۳۵ ثانیه پس از دریافت فرمان توقف مسدود کند. این سیستم هم از طریق تصمیم مستقیم پژوهشگران و هم با هشدار سامانه‌های نظارتی خودکار قابل فعال شدن است.
Control Room چگونه مدل هوش مصنوعی را متوقف می‌کند؟
هر پروژه تحقیقاتی که از مدل‌های OpenAI استفاده می‌کند، هنگام آغاز یک شناسه اختصاصی یا Job ID از Control Room دریافت می‌کند.
هر بار که مدل قصد تولید خروجی جدید داشته باشد، موتور استنتاج باید از Control Room بررسی کند که آیا آن Job ID همچنان اجازه فعالیت دارد یا خیر.
اگر پروژه متوقف شده باشد، Control Room اجازه تولید خروجی جدید را صادر نمی‌کند؛ حتی اگر خود برنامه تحقیقاتی همچنان درحال اجرا باشد.
این معماری باعث می‌شود مکانیزم توقف به کد خود پروژه یا رفتار مدل وابسته نباشد و مستقیماً در لایه‌ای اجرا شود که تولید خروجی مدل را کنترل می‌کند.
توقف کامل حداکثر ۳۵ ثانیه طول می‌کشد
OpenAI اعلام کرده است فاصله بین دریافت دستور توقف و زمانی که مدل دیگر قادر به ادامه فعالیت نیست، در بدترین حالت حدود ۳۵ ثانیه خواهد بود.
این تأخیر به‌دلیل سیستم کش مجوزها ایجاد می‌شود که برای مدیریت حجم بالای درخواست‌ها مورد استفاده قرار می‌گیرد.
شرکت می‌گوید درحال کار روی کاهش این زمان تا نزدیک صفر است تا در آینده امکان توقف تقریباً آنی مدل‌ها فراهم شود.
یک هوش مصنوعی دیگر رفتار مدل را زیر نظر می‌گیرد
تمام پروژه‌های پیشرفته یادگیری تقویتی OpenAI با یک سیستم مانیتورینگ همراه هستند.
در این ساختار، یک مدل هوش مصنوعی دیگر فعالیت مدل تحت آموزش را بررسی می‌کند و اگر رفتار مشکوکی مشاهده کند، می‌تواند هشدار صادر کند.
بسته به شدت مشکل، سیستم نظارتی قادر است مستقیماً درخواست توقف پروژه را برای Control Room ارسال کند.
در این حالت، شناسه پروژه غیرفعال می‌شود و درخواست بعدی مدل برای تولید خروجی رد خواهد شد.
اگر خود Control Room از کار بیفتد چه می‌شود؟
یکی از بخش‌های مهم طراحی این سیستم استفاده از معماری Fail-Closed است.
به این معنی که اگر Control Room به هر دلیلی از دسترس خارج شود، موتورهای هوش مصنوعی اجازه ادامه فعالیت را دریافت نمی‌کنند.
بنابراین حتی اگر اختلال فنی یا دستکاری احتمالی باعث قطع شدن Control Room شود، مدل‌ها نمی‌توانند بدون نظارت به تولید خروجی ادامه دهند.
این قابلیت هم‌اکنون برای پروژه‌های تحقیقاتی مربوط به مدل‌های پیشرفته OpenAI فعال شده است.
اتفاقات قبلی OpenAI اهمیت چنین سیستمی را نشان دادند
معرفی Control Room پس از چند اتفاق امنیتی در محیط‌های تحقیقاتی OpenAI انجام شده است.
OpenAI پیش‌تر اعلام کرده بود که در جریان ارزیابی‌های امنیت سایبری در ژوئیه ۲۰۲۶، چند مدل داخلی توانسته بودند برخی محدودیت‌های محیط آزمایشی را دور بزنند و به زیرساخت‌های خارج از محدوده موردنظر دسترسی پیدا کنند.
در یکی از این موارد، مدل‌ها از کانال‌های غیرمجاز برای ارتباط استفاده کردند، به اینترنت دسترسی پیدا کردند و بخش‌هایی از زیرساخت تحقیقاتی OpenAI و Hugging Face تحت تأثیر قرار گرفت.
OpenAI تأکید کرده بود که این اتفاق در محیط آزمایشی و با مدل‌هایی تحت شرایط کاهش‌یافته محدودیت‌های ایمنی رخ داده است.
Control Room برای ChatGPT نیست
Control Room درحال‌حاضر به زیرساخت تحقیقاتی داخلی OpenAI مربوط می‌شود و مستقیماً سیستم توقف ChatGPT یا مدل‌هایی که کاربران عادی از طریق API استفاده می‌کنند نیست.
OpenAI می‌گوید زیرساخت سرویس‌های عمومی این شرکت به‌طور طبیعی متمرکزتر است و ابزارهای جداگانه‌ای برای توقف سریع مدل‌های منتشرشده دارد.
Control Room در درجه اول برای پروژه‌هایی مانند آموزش مدل، ارزیابی، آزمایش‌های عامل‌محور و پردازش داده در محیط تحقیقاتی OpenAI طراحی شده است.
OpenAI می‌خواهد کنترل انسانی روی مدل‌ها حفظ شود
OpenAI می‌گوید با قدرتمندتر شدن مدل‌ها، توانایی تشخیص سریع رفتارهای خطرناک و متوقف کردن آن‌ها اهمیت بیشتری پیدا می‌کند.
Control Room بخشی از تلاش این شرکت برای ایجاد لایه‌ای مستقل از مدل و کد پروژه است تا حتی درصورت بروز رفتار غیرمنتظره، پژوهشگران همچنان بتوانند فعالیت سیستم را متوقف کنند.
این شرکت اعلام کرده در ماه‌های آینده Control Room و سامانه‌های نظارتی مربوط به رفتارهای ناهمسو و رخدادهای امنیتی را بیشتر توسعه خواهد داد.
دیدگاه‌ها