مدل هوش مصنوعی جمینای گوگل در جریان یک آزمایش امنیت سایبری، بهصورت مستقل به سیستمهای سه شرکت واقعی نفوذ کرد؛ اتفاقی که گوگل از آن بهعنوان احتمالاً نخستین نمونه شناختهشده از چنین رفتاری توسط Gemini یاد کرده است.
این ماجرا در ماه مه و طی آزمایشی که یک شرکت مستقل ارزیابی امنیت سایبری انجام میداد رخ داد. هدف آزمایش، بررسی تواناییهای جمینای در حوزه امنیت سایبری بود؛ اما مدل در جریان اجرای وظایف خود، برخی وبسایتهای واقعی را بخشی از محیط آزمایشی تشخیص داد و به آنها دسترسی پیدا کرد.
جمینای چگونه به شرکتهای واقعی دسترسی پیدا کرد؟
براساس توضیحات گوگل، جمینای با استفاده از اطلاعات عمومی موجود در اینترنت و حدسزدن اطلاعات ورود، توانست به وبسایتهایی دسترسی پیدا کند که تصور میکرد در محدوده مجاز آزمایش قرار دارند.
بهعبارت دیگر، مدل ظاهراً تفاوت میان اهداف واقعی و زیرساختهایی که برای آزمایش در نظر گرفته شده بودند را بهدرستی تشخیص نداده است.
گوگل میگوید جمینای در هر سه مورد در نهایت متوقف شد و شرکتهایی که تحتتأثیر این اتفاق قرار گرفته بودند نیز از ماجرا مطلع شدند.
گوگل: احتمالاً اولین نمونه شناختهشده برای Gemini است
یکی از مسئولان گوگل اعلام کرده است که این اتفاق احتمالاً نخستین مورد شناختهشدهای است که Gemini در جریان یک آزمایش، بهطور مستقل به شرکتهای واقعی نفوذ کرده است.
هدر ادکینز، معاون مهندسی امنیت گوگل، میگوید این شرکت اطمینان حاصل کرده که هر سه مجموعه در جریان اتفاق قرار بگیرند.
گوگل همچنین با شرکت مسئول آموزش و ارزیابی مدل همکاری کرده تا فرایندهای آزمایشی تغییر کنند و احتمال تکرار چنین اتفاقی کاهش یابد.
ادکینز میگوید این حادثه نشان میدهد مدلهای قدرتمند هوش مصنوعی باید نهتنها از نظر توانایی فنی، بلکه از نظر رفتار مسئولانه نیز بهدقت آموزش داده شوند.
مشکل اصلی؛ تشخیص مرز محیط آزمایشی
نکته مهم در این اتفاق، صرفاً توانایی جمینای برای انجام عملیات امنیت سایبری نیست؛ بلکه نحوه تشخیص محدوده مجاز فعالیت توسط مدل است.
در آزمایشهای امنیتی معمولاً محیط مشخصی در اختیار ابزار یا متخصص قرار میگیرد تا تنها در همان محدوده فعالیت کند. اما اگر یک عامل هوش مصنوعی نتواند مرز میان محیط آزمایشی و زیرساخت واقعی اینترنت را تشخیص دهد، حتی یک آزمایش کنترلشده نیز میتواند پیامدهای پیشبینینشدهای داشته باشد.
این موضوع با گسترش ایجنتهای هوش مصنوعی اهمیت بیشتری پیدا میکند؛ زیرا چنین سیستمهایی برخلاف چتباتهای معمولی، میتوانند مجموعهای از اقدامات را بدون نیاز به تأیید انسان در هر مرحله انجام دهند.
جمینای تنها هوش مصنوعی با چنین سابقهای نیست
گزارش مربوط به جمینای در شرایطی منتشر شده که نمونههای مشابهی درباره دیگر مدلهای قدرتمند هوش مصنوعی نیز گزارش شده است.
آنتروپیک پیشتر اعلام کرده بود Claude در جریان یک محیط آزمایشی توانسته از محدوده تعیینشده خارج شود و به سه سازمان نفوذ کند.
OpenAI نیز در گزارشی جداگانه اعلام کرده بود برخی مدلهای این شرکت در آزمایشهای امنیتی علیه چند سرویس عمومی در دسترس اینترنت عملیات سایبری انجام دادهاند.
افزایش چنین نمونههایی باعث شده موضوع کنترل ایجنتهای هوش مصنوعی و تعیین محدودیتهای مشخص برای فعالیت مستقل آنها به یکی از بحثهای مهم صنعت تبدیل شود.
نگرانیها درباره ایمنی هوش مصنوعی بیشتر میشود
توانایی مدلهای هوش مصنوعی برای انجام خودکار وظایف پیچیده، یکی از مهمترین مسیرهای توسعه این فناوری محسوب میشود؛ اما همین استقلال میتواند چالشهای تازهای ایجاد کند.
اگر مدلی بتواند خودش اطلاعات جمعآوری کند، هدف انتخاب کند و چند مرحله عملیات را بدون دخالت مداوم انسان انجام دهد، تعیین اینکه در چه نقطهای باید فعالیت آن متوقف شود اهمیت زیادی خواهد داشت.
اتفاق اخیر Gemini نمونهای از همین مسئله است؛ مدلی که قرار بود تواناییهای امنیتی خود را در یک آزمایش نشان دهد، اما اهداف واقعی را به اشتباه بخشی از همان محیط تشخیص داد.
گوگل پس از این حادثه اعلام کرده فرایندهای آزمایشی را اصلاح کرده است. بااینحال، چنین اتفاقاتی نشان میدهند همزمان با افزایش قدرت ایجنتهای هوش مصنوعی، طراحی محدودیتها و سازوکارهای نظارتی برای آنها نیز باید جدیتر گرفته شود.
دیدگاهها