ساتیا نادلا، مدیرعامل مایکروسافت، در اظهاراتی تازه هشدار داده است که شرکت‌های فناوری نباید به مدل‌های پیشرفته هوش مصنوعی اعتماد بی‌قیدوشرط داشته باشند. او معتقد است سیستم‌های هوش مصنوعی باید از ابتدا به‌گونه‌ای طراحی شوند که امکان نظارت، کنترل و توقف فوری فعالیت آن‌ها وجود داشته باشد.
به گزارش تکراتو و به نقل از تک‌کرانچ، نادلا در ۱۰ اکتبر ۲۰۲۶ با انتشار مطلبی در شبکه اجتماعی ایکس، خواستار بازنگری در معماری اعتماد به هوش مصنوعی شد. او پیشنهاد کرده است که شرکت‌ها مدل‌های پیشرفته را مانند سیستم‌هایی در معرض خطر در نظر بگیرند و سازوکاری مشابه «ترمز اضطراری» برای جلوگیری از رفتارهای ناخواسته آن‌ها ایجاد کنند.
هشدار ساتیا نادلا درباره خطرات مدل‌های هوش مصنوعی
مدیرعامل مایکروسافت معتقد است با افزایش توانایی مدل‌های هوش مصنوعی، شیوه‌های سنتی نظارت بر نرم‌افزارها دیگر برای مدیریت تمام خطرات احتمالی کافی نیستند.
به گفته نادلا، مدل‌های پیشرفته هوش مصنوعی نباید صرفاً به‌عنوان مجموعه‌ای از جعبه‌های سیاه در نظر گرفته شوند که کاربران تنها می‌توانند خروجی آن‌ها را بپذیرند یا رد کنند.
او تأکید کرده است که شرکت‌ها باید بتوانند عملکرد مدل‌ها را بررسی کنند، تصمیم‌های آن‌ها را زیر نظر بگیرند و در صورت مشاهده رفتار غیرمنتظره، کنترل سیستم را در اختیار بگیرند.
این دیدگاه به‌ویژه درباره عامل‌های هوش مصنوعی اهمیت دارد؛ سیستم‌هایی که می‌توانند بدون دخالت مستقیم انسان، وظایف چندمرحله‌ای انجام دهند و با ابزارها و سرویس‌های مختلف تعامل داشته باشند.
ترمز اضطراری هوش مصنوعی چیست و چگونه کار می‌کند؟
یکی از مهم‌ترین پیشنهادهای ساتیا نادلا، ایجاد سازوکاری شبیه ترمز اضطراری برای مدل‌های پیشرفته هوش مصنوعی است.
براساس این ایده، افراد دارای مجوز باید بتوانند فعالیت یک مدل هوش مصنوعی را در هر مرحله از انجام وظیفه متوقف یا به‌طور کامل قطع کنند.
نکته مهم این است که کنترل‌های امنیتی نباید صرفاً به خود مدل وابسته باشند؛ زیرا در صورت بروز خطا یا رفتار پیش‌بینی‌نشده، ممکن است نتوان به تصمیم‌های همان مدل برای مدیریت بحران اعتماد کرد.
نادلا پیشنهاد کرده است که مدل هوش مصنوعی از زیرساخت نرم‌افزاری مدیریت‌کننده فعالیت‌های آن جدا شود و سازوکارهای حفاظتی در لایه‌ای مستقل قرار بگیرند.
به این ترتیب، حتی اگر مدل رفتاری غیرمنتظره داشته باشد، سیستم نظارتی می‌تواند دسترسی آن را محدود یا فعالیتش را متوقف کند.
چرا مایکروسافت می‌گوید باید احتمال به خطر افتادن مدل‌ها را در نظر گرفت؟
نادلا معتقد است شرکت‌ها باید هنگام طراحی سیستم‌های هوش مصنوعی، احتمال خطا یا به خطر افتادن مدل را از همان ابتدا در نظر بگیرند.
این رویکرد شباهت زیادی به مفهوم امنیتی Zero Trust یا اعتماد صفر دارد؛ مدلی که در آن هیچ بخش از سیستم بدون بررسی و کنترل، کاملاً قابل‌اعتماد فرض نمی‌شود.
به گفته مدیرعامل مایکروسافت، این موضوع به معنای مخرب‌بودن ذاتی مدل‌های هوش مصنوعی نیست.
بلکه هر سیستم قدرتمندی که به اطلاعات حساس، ابزارهای اجرایی یا زیرساخت‌های مهم دسترسی داشته باشد، ممکن است اشتباه کند یا تحت تأثیر حملات امنیتی قرار بگیرد.
از همین رو، محدودسازی دسترسی‌ها و ایجاد لایه‌های مستقل امنیتی می‌تواند خطرات احتمالی را کاهش دهد.
ثبت تمام اقدامات هوش مصنوعی برای افزایش شفافیت
یکی دیگر از پیشنهادهای مهم نادلا، ثبت دقیق اقدامات مدل‌های هوش مصنوعی است.
او معتقد است هر اقدام مهم یک مدل باید همراه با شواهدی قابل‌فهم برای انسان ثبت شود؛ شواهدی که امکان دست‌کاری آن‌ها وجود نداشته باشد.
چنین سازوکاری به توسعه‌دهندگان و ناظران اجازه می‌دهد بررسی کنند که مدل چه اقداماتی انجام داده، به چه اطلاعاتی دسترسی داشته و چه نتایجی ایجاد کرده است.
نادلا همچنین بر اهمیت شفافیت در فرایند استدلال مدل‌ها تأکید کرده، اما معتقد است مشاهده روند استدلال به‌تنهایی برای تضمین امنیت کافی نیست.
به همین دلیل، او خواستار ترکیب شفافیت، کنترل دسترسی، ثبت فعالیت‌ها و نظارت انسانی شده است.
نظارت مستقل و استانداردهای مشترک برای هوش مصنوعی
مدیرعامل مایکروسافت معتقد است با پیشرفته‌ترشدن مدل‌های هوش مصنوعی، فناوری‌های موردنیاز برای کنترل آن‌ها نیز باید توسعه پیدا کنند.
او پیشنهاد کرده است که شرکت‌های فعال در این صنعت برای ایجاد استانداردهای مشترک در زمینه مهار و کنترل مدل‌های پیشرفته همکاری کنند.
این استانداردها می‌توانند شامل سازوکارهای توقف اضطراری، بررسی مستقل عملکرد سیستم‌ها و ثبت اطلاعات مربوط به حوادث امنیتی باشند.
همچنین نادلا بر ضرورت اطلاع‌رسانی درباره مشکلات و رخدادهای مهم تأکید کرده است تا سازمان‌ها بتوانند از تجربه یکدیگر برای افزایش ایمنی سیستم‌های هوش مصنوعی استفاده کنند.
نگرانی‌های امنیتی درباره عامل‌های هوش مصنوعی افزایش یافته است
اظهارات نادلا در شرایطی مطرح می‌شود که گسترش عامل‌های هوش مصنوعی خودمختار، پرسش‌های تازه‌ای درباره امنیت و میزان کنترل انسان بر این سیستم‌ها ایجاد کرده است.
برخلاف چت‌بات‌های معمولی که عمدتاً به پرسش‌های کاربران پاسخ می‌دهند، عامل‌های هوش مصنوعی می‌توانند با دریافت مجوز، فایل‌ها را مدیریت کنند، از ابزارهای نرم‌افزاری استفاده کنند و مجموعه‌ای از اقدامات را برای رسیدن به یک هدف انجام دهند.
همین توانایی‌ها باعث می‌شود خطاهای احتمالی آن‌ها پیامدهایی فراتر از تولید یک پاسخ اشتباه داشته باشد.
در چنین شرایطی، پیشنهاد نادلا بر این اصل استوار است که افزایش توانایی هوش مصنوعی باید با افزایش قابلیت کنترل و نظارت بر آن همراه باشد.
آیا مایکروسافت قصد دارد هوش مصنوعی را محدود کند؟
اظهارات ساتیا نادلا به معنای درخواست توقف توسعه هوش مصنوعی یا خاموش‌کردن تمام مدل‌های پیشرفته نیست.
او در واقع خواستار ایجاد زیرساخت‌هایی است که استفاده از هوش مصنوعی قدرتمند را ایمن‌تر و قابل‌کنترل‌تر کنند.
در این رویکرد، انسان همچنان باید اختیار نهایی برای محدودسازی دسترسی‌ها، بررسی اقدامات و توقف فعالیت سیستم را در اختیار داشته باشد.
درحال‌حاضر پیشنهاد نادلا بیشتر یک چارچوب فنی و امنیتی برای آینده هوش مصنوعی است و جزئیات اجرای یک استاندارد واحد و فراگیر برای تمام مدل‌ها اعلام نشده است.
بااین‌حال، تأکید مدیرعامل مایکروسافت بر ترمز اضطراری نشان می‌دهد که موضوع کنترل عامل‌های هوش مصنوعی به یکی از مباحث مهم صنعت فناوری تبدیل شده است.
دیدگاه‌ها