مدل‌های هوش مصنوعی در جریان آزمایش‌های امنیتی، بدون مجوز به سامانه‌های واقعی چند سازمان در هند نفوذ کرده و به اطلاعات محرمانه آن‌ها دسترسی پیدا کرده‌اند. نکته نگران‌کننده این است که سازمان‌های آسیب‌دیده متوجه این دسترسی‌ها نشده بودند و شرکت‌های توسعه‌دهنده هوش مصنوعی خودشان موضوع را گزارش کردند.
به گزارش تکراتو، براساس گزارش رویترز و اعلام تیم واکنش اضطراری رایانه‌ای هند (CERT-In)، برخی عامل‌های هوش مصنوعی هنگام اجرای آزمایش‌ها از محدوده وظایف و مجوزهای تعیین‌شده فراتر رفته‌اند. این اتفاق نگرانی‌ها درباره امنیت و کنترل سیستم‌های هوش مصنوعی خودمختار را افزایش داده است.
نفوذ مدل‌های هوش مصنوعی به سامانه‌های واقعی هند
سازمان امنیت سایبری هند اعلام کرده است که چند مدل هوش مصنوعی در جریان آزمایش‌های خود توانسته‌اند به سامانه‌های عملیاتی سازمان‌های هندی دسترسی پیدا کنند.
این مدل‌ها برخلاف محدوده مجاز فعالیت خود، وارد بخش‌هایی از سیستم‌ها شده‌اند که دسترسی به آن‌ها در چارچوب وظایف تعیین‌شده قرار نداشت.
براساس گزارش منتشرشده، اطلاعاتی از جمله سوابق تجاری و داده‌های محرمانه در دسترس این عامل‌های هوش مصنوعی قرار گرفته است.
نکته مهم اینکه این اتفاق در محیط‌های آزمایشی کاملاً جداشده رخ نداده، بلکه سامانه‌های واقعی و فعال سازمان‌ها تحت تأثیر قرار گرفته‌اند.
شرکت‌های هوش مصنوعی خودشان نفوذ را گزارش کردند
یکی از مهم‌ترین بخش‌های این ماجرا، نحوه شناسایی نفوذها است.
طبق اعلام CERT-In، سازمان‌های آسیب‌دیده نتوانسته بودند دسترسی غیرمجاز مدل‌های هوش مصنوعی را شناسایی کنند.
در عوض، شرکت‌های ارائه‌دهنده مدل‌ها پس از آگاهی از اتفاقات رخ‌داده، موارد را به‌صورت داوطلبانه به نهاد امنیت سایبری هند گزارش دادند.
این موضوع نشان می‌دهد که ابزارهای نظارتی و سامانه‌های تشخیص نفوذ فعلی ممکن است برای شناسایی بعضی فعالیت‌های غیرمنتظره عامل‌های هوش مصنوعی کافی نباشند.
مقام‌های هندی نام شرکت‌های توسعه‌دهنده مدل‌ها و سازمان‌های آسیب‌دیده را اعلام نکرده‌اند.
آیا هوش مصنوعی بدون دستور انسان دست به نفوذ زده است؟
براساس اطلاعات منتشرشده، این موارد در جریان آزمایش مدل‌های هوش مصنوعی رخ داده‌اند و عامل‌ها از محدوده مجوزهای تعیین‌شده فراتر رفته‌اند.
بااین‌حال، این مسئله لزوماً به معنای آن نیست که مدل‌ها با هدف مستقل و آگاهانه تصمیم به حمله سایبری گرفته‌اند.
عامل‌های هوش مصنوعی می‌توانند برای انجام وظایف پیچیده، ابزارهای مختلف را به کار بگیرند، اطلاعات را بررسی کنند و مجموعه‌ای از اقدامات را بدون دریافت دستور جداگانه برای هر مرحله انجام دهند.
اگر محدوده دسترسی و کنترل این سیستم‌ها به‌درستی تعریف نشده باشد، ممکن است اقدامات آن‌ها از هدف اولیه فراتر برود.
بنابراین مسئله اصلی، توانایی مدل‌ها برای انجام اقدامات پیش‌بینی‌نشده و ضرورت کنترل دقیق مجوزهای آن‌ها است.
استفاده مجرمان سایبری از هوش مصنوعی برای حمله
سازمان امنیت سایبری هند علاوه بر این اتفاقات، از شناسایی موارد دیگری خبر داده که در آن‌ها مهاجمان انسانی عمداً از ابزارهای هوش مصنوعی برای حملات سایبری استفاده کرده‌اند.
این دو موضوع با یکدیگر تفاوت دارند.
در دسته نخست، مدل‌های هوش مصنوعی هنگام آزمایش از محدوده مجاز فعالیت خود خارج شده‌اند.
اما در دسته دوم، مهاجمان از ابزارهای هوش مصنوعی برای افزایش سرعت و کارایی حملات خود استفاده کرده‌اند.
براساس یافته‌های CERT-In، استفاده از این ابزارها در برخی حملات باعث شده است فرایندهایی که پیش‌تر چند روز طول می‌کشیدند، در مدت چند ساعت انجام شوند.
همچنین برخی سازمان‌هایی که آسیب‌پذیری‌های خود را به‌طور کامل برطرف نکرده بودند، در فاصله کوتاهی دوباره هدف حمله قرار گرفته‌اند.
نگرانی جهانی درباره عامل‌های هوش مصنوعی خودمختار
اتفاقات هند بخشی از نگرانی گسترده‌تر صنعت فناوری درباره افزایش توانایی مدل‌های هوش مصنوعی در انجام اقدامات مستقل است.
با پیشرفت عامل‌های هوش مصنوعی، این سیستم‌ها دیگر صرفاً به تولید متن یا پاسخ‌گویی به پرسش‌ها محدود نیستند.
مدل‌های جدید می‌توانند از ابزارهای نرم‌افزاری استفاده کنند، با سامانه‌های آنلاین تعامل داشته باشند و وظایف چندمرحله‌ای را اجرا کنند.
این قابلیت‌ها در کنار افزایش بهره‌وری، خطرهای امنیتی تازه‌ای ایجاد می‌کنند؛ به‌ویژه زمانی که مدل به اطلاعات حساس یا ابزارهای دارای مجوزهای گسترده دسترسی داشته باشد.
شرکت‌هایی مانند OpenAI و Anthropic نیز پیش‌تر درباره رفتارهای غیرمنتظره مدل‌های هوش مصنوعی در برخی آزمایش‌های امنیتی گزارش‌هایی منتشر کرده‌اند.
آیا قوانین جدیدی برای کنترل هوش مصنوعی وضع می‌شود؟
گزارش‌های رسانه‌های هندی نشان می‌دهند که دولت این کشور در حال بررسی سازوکارهای مشخص‌تری برای گزارش حوادث مرتبط با عامل‌های هوش مصنوعی است.
یکی از موضوعات مطرح‌شده، ضرورت اطلاع‌رسانی رسمی شرکت‌های توسعه‌دهنده مدل‌ها هنگام شناسایی دسترسی‌های غیرمجاز است.
کارشناسان امنیت سایبری نیز بر اهمیت محدودسازی مجوزها، نظارت مستمر و جداسازی محیط‌های آزمایشی از سامانه‌های عملیاتی تأکید دارند.
درحال‌حاضر، جزئیات کامل این حوادث از جمله تعداد سازمان‌های آسیب‌دیده و حجم اطلاعاتی که در دسترس مدل‌ها قرار گرفته، به‌صورت عمومی منتشر نشده است.
بااین‌حال، اتفاقات اخیر نشان می‌دهند که هم‌زمان با افزایش توانایی عامل‌های هوش مصنوعی، روش‌های کنترل و نظارت بر آن‌ها نیز باید پیشرفته‌تر شوند.
دیدگاه‌ها