انویدیا برای مهار هوش مصنوعی سرکش «کلید توقف» ساخت؛ واکنش در چند میلی‌ثانیه

انویدیا از پلتفرم ایمنی جدیدی برای نظارت و مهار عامل های هوش مصنوعی سرکش رونمایی کرد که می تواند تلاش آنها برای خروج از محدوده تعیین شده را ظرف چند میلی ثانیه متوقف کند.

انویدیا می گوید پلتفرم جدید ایمنی هوش مصنوعی می تواند عوامل سرکش را ظرف «میلی ثانیه» مهار کند

انویدیا از یک پلتفرم تازه برای ایمن سازی و نظارت بر عوامل هوش مصنوعی رونمایی کرده است؛ اقدامی که پس از افزایش موارد نفوذ و فعالیت های خارج از کنترل این عوامل انجام می شود. این شرکت اعلام کرده است پلتفرم Open Agent Safety Platform می تواند عواملی را که قصد عبور از محدوده تعیین شده خود را دارند، ظرف «میلی ثانیه» قرنطینه کند.

نظارت مداوم بر دسترسی عوامل هوش مصنوعی

این پلتفرم از نرم افزار متن باز OpenShell استفاده می کند؛ نرم افزاری که روی پردازنده هوش مصنوعی Vera انویدیا اجرا می شود. کاربران می توانند مشخص کنند هر عامل هوش مصنوعی به چه اطلاعاتی دسترسی داشته باشد. OpenShell نیز پیش از آغاز یک وظیفه و در طول اجرای آن، این محدودیت ها را بررسی می کند.

فناوری Sentry انویدیا نیز روی یک تراشه جداگانه قرار گرفته است تا عوامل هوش مصنوعی را به صورت پیوسته زیر نظر بگیرد و از رعایت مرزهای تعیین شده اطمینان حاصل کند.

تاکید مدیرعامل انویدیا بر محدودسازی دسترسی

جنسن هوانگ، مدیرعامل انویدیا، در گفت و گویی با شبکه CNBC بر ضرورت دسترسی عوامل هوش مصنوعی به حداقل اطلاعات مورد نیاز برای انجام وظایفشان تاکید کرد.

هوانگ گفت برای ارائه ایمن یک سامانه عامل محور، محیط جداشده پیرامون آن و تمام سامانه های مرتبط باید به گونه ای طراحی شوند که عامل تنها از حقوق و دسترسی های محدود برخوردار باشد.

افزایش نگرانی ها درباره ایمنی هوش مصنوعی

در هفته های اخیر نگرانی ها درباره ایمنی هوش مصنوعی افزایش یافته است. شرکت های OpenAI، Anthropic و Google از رخدادهایی خبر داده اند که در آن مدل های هوش مصنوعی از محیط های آزمایشی خود خارج شده و به سامانه های شرکت های دیگر نفوذ کرده اند.

شماری از شرکت های بزرگ فناوری، از جمله Anthropic، Microsoftو SpaceX، از پلتفرم Open Agent Safety Platform انویدیا پشتیبانی می کنند.