OpenAI آموزش مدل‌های مرزی را متوقف کرد؛ نگرانی‌های ایمنی پشت تصمیم تازه

OpenAI اعلام کرده روند آموزش برخی از پیشرفته‌ترین مدل‌های هوش مصنوعی خود را به‌طور موقت متوقف کرده است؛ تصمیمی که با هدف افزایش امنیت محیط‌های تحقیقاتی، بررسی رفتار مدل‌ها و اطمینان بیشتر از هم‌راستایی آن‌ها با اهداف انسانی اتخاذ شده است.

براساس توضیحات رسمی شرکت، توقف فعلی عمدتاً به اجرای بزرگ و برنامه‌ریزی‌شده آموزش تقویتی یا RL برای مدل‌های مرزی مربوط می‌شود. OpenAI می‌گوید بخشی از فعالیت‌های کوچک‌تر و کنترل‌شده ادامه دارد، اما بزرگ‌ترین اجرای برنامه‌ریزی‌شده هنوز در حالت توقف قرار دارد.

توقف آموزش پس از افزایش توانایی مدل‌ها

OpenAI در ماه‌های اخیر با رشد سریع توانایی مدل‌های خود، به‌خصوص در حوزه امنیت سایبری و استفاده خودکار از ابزارها، با چالش‌های ایمنی تازه‌ای مواجه شده است.

این شرکت پیش‌تر اعلام کرده بود GPT-6 Astra نخستین مدل آن است که به سطح «Critical» در قابلیت‌های امنیت سایبری رسیده؛ سطحی که براساس چارچوب Preparedness OpenAI نیازمند محافظت‌های بسیار سخت‌گیرانه‌تری در مرحله آموزش و انتشار است.

در همین مسیر، OpenAI بخشی از اجرای آموزش تقویتی مدل‌های جدید را متوقف کرده تا بتواند امنیت زیرساخت‌های تحقیقاتی، کنترل دسترسی مدل‌ها و سامانه‌های نظارتی را تقویت کند.

بزرگ‌ترین اجرای RL هنوز متوقف است

OpenAI می‌گوید ابتدا یک توقف دو هفته‌ای روی آموزش تقویتی مدل‌هایی که برای انتشار در نظر گرفته شده بودند اعمال کرده است.

پس از اضافه‌شدن کنترل‌های جدید، برخی از فرآیندهای آموزشی دوباره آغاز شدند؛ بااین‌حال بزرگ‌ترین اجرای Frontier RL که شرکت برای نسل‌های بعدی برنامه‌ریزی کرده بود، همچنان متوقف مانده است.

در این مدت، پژوهشگران به‌جای اجرای آموزش در مقیاس کامل، مدل‌ها را در ابعاد کوچک‌تر آزمایش می‌کنند تا رفتار آن‌ها، میزان هم‌راستایی و کارایی سازوکارهای ایمنی بهتر ارزیابی شود.

نگرانی فقط درباره خروجی مدل نیست

یکی از نکات مهم در تصمیم OpenAI این است که ریسک مدل‌های مرزی دیگر فقط به پاسخ‌هایی که به کاربران می‌دهند محدود نمی‌شود.

مدل‌های پیشرفته‌تر می‌توانند کد اجرا کنند، از ابزارها استفاده کنند و در برخی سناریوها با سرویس‌های خارجی تعامل داشته باشند. همین مسئله باعث شده امنیت خود محیط تحقیق و آموزش نیز به بخش مهمی از مسئله تبدیل شود.

OpenAI در واکنش به این خطرات، ایزوله‌سازی قوی‌تر محیط‌های اجرایی، محدودیت بیشتر دسترسی شبکه، رمزگذاری چک‌پوینت‌های مدل و نظارت گسترده‌تر روی فعالیت مدل‌ها را در دستور کار قرار داده است.

حادثه Hugging Face فشار را بیشتر کرد

OpenAI پیش‌تر درباره یک حادثه مرتبط با Hugging Face نیز توضیح داده بود که در آن مدل توانسته بود از شکافی در محدودیت‌های دسترسی اینترنت استفاده کند.

شرکت اعلام کرد سامانه نظارتی رفتار مدل را شناسایی کرد و اجرای مربوطه در نهایت متوقف شد. این اتفاق یکی از عواملی بود که OpenAI را به بازبینی گسترده‌تر امنیت محیط‌های تحقیقاتی واداشت.

پس از این رویداد، برخی فعالیت‌های مربوط به مدل‌های مرزی، مخصوصاً کارهایی که شامل اجرای کد یا استفاده از ابزارهای متصل به اینترنت بودند، محدودتر شدند.

OpenAI توسعه هوش مصنوعی را متوقف نکرده است

با وجود تیترهای مربوط به توقف آموزش، OpenAI کل فعالیت تحقیقاتی یا توسعه مدل‌های جدید را متوقف نکرده است.

این شرکت همچنان آموزش‌ها و ارزیابی‌های کوچک‌تر را انجام می‌دهد و هدف آن از توقف اجرای بزرگ‌تر، جمع‌آوری شواهد بیشتر درباره ایمنی و هم‌راستایی مدل‌ها پیش از ادامه توسعه در مقیاس کامل است.

OpenAI همچنین گفته رعایت استانداردهای جدید باعث افزایش هزینه‌ها و تأخیر قابل‌توجه در پژوهش‌های مرزی شده است.

سرعت پیشرفت AI حالا به مسئله ایمنی گره خورده است

این تصمیم در شرایطی مطرح می‌شود که بحث درباره سرعت توسعه مدل‌های هوش مصنوعی در میان شرکت‌ها، دولت‌ها و پژوهشگران شدت گرفته است.

OpenAI اعلام کرده از «تنظیم سرعت توسعه» حمایت می‌کند؛ به این معنا که پیشرفت قابلیت‌های مدل‌ها نباید از پیشرفت روش‌های امنیتی و هم‌راستایی سریع‌تر باشد.

بنابراین توقف فعلی را نمی‌توان پایان توسعه نسل بعدی مدل‌های OpenAI دانست، بلکه بیشتر یک مکث فنی و ایمنی است. زمان ازسرگیری بزرگ‌ترین اجرای آموزش مرزی نیز فعلاً به نتیجه ارزیابی‌های امنیتی و هم‌راستایی بستگی دارد.