مسئول سابق ایمنی OpenAI: دوران آزمون‌وخطا در هوش مصنوعی به پایان رسیده است

دیوید رابینسون، عضو سابق تیم ایمنی OpenAI، پس از ترک این شرکت نسبت به سرعت توسعه مدل‌های پیشرفته هوش مصنوعی هشدار داده و می‌گوید رویکرد آزمون‌وخطا دیگر برای مدیریت خطرات این فناوری کافی نیست.

رابینسون که حدود سه‌ونیم سال در OpenAI فعالیت کرده و در تدوین چارچوب آمادگی این شرکت و گزارش‌های ایمنی مدل‌های پیشرفته نقش داشته، معتقد است آزمایشگاه‌های هوش مصنوعی باید استانداردهایی مشابه صنایع پرخطری مانند انرژی هسته‌ای و هوانوردی داشته باشند.

انتقاد از فرهنگ شتاب‌زده OpenAI

رابینسون در مقاله‌ای که پس از استعفای خود منتشر کرده، فرهنگ حاکم بر صنعت هوش مصنوعی را بیش از حد متکی بر سرعت، خوش‌بینی و حل مشکلات پس از وقوع آن‌ها توصیف کرده است.

به گفته او، OpenAI برای سال‌ها از رویکرد «عرضه تدریجی» استفاده کرده است؛ یعنی سیستم‌ها منتشر می‌شوند و در صورت مشاهده مشکل، محدودیت‌ها و تدابیر حفاظتی آن‌ها تقویت می‌شود.

رابینسون معتقد است با افزایش توانایی مدل‌های هوش مصنوعی، هزینه شکست احتمالی نیز افزایش یافته و دیگر نمی‌توان فرض کرد که همیشه فرصت اصلاح یک اشتباه پس از وقوع آن وجود خواهد داشت.

شرکت‌های هوش مصنوعی باید مانند نیروگاه‌های هسته‌ای عمل کنند

رابینسون می‌گوید آزمایشگاه‌های توسعه‌دهنده مدل‌های پیشرفته باید از تجربه صنایعی مانند نیروگاه‌های هسته‌ای و هوانوردی استفاده کنند؛ حوزه‌هایی که چندین لایه حفاظتی، افزونگی و برنامه‌ریزی دقیق برای جلوگیری از تبدیل یک خطای انسانی به حادثه‌ای بزرگ دارند.

از دید او، شرکت‌های هوش مصنوعی هنوز با چنین سطحی از سخت‌گیری و افزونگی فعالیت نمی‌کنند، در حالی که پیامدهای از دست رفتن کنترل بر سیستم‌های بسیار قدرتمند می‌تواند گسترده باشد.

او تأکید کرده است که پیش از ساخت سیستم‌هایی به‌مراتب قدرتمندتر از مدل‌های فعلی، پژوهش‌های بیشتری برای اطمینان از رفتار ایمن آن‌ها حتی در شرایطی که مستقیماً تحت نظارت نیستند، لازم است.

سابقه رابینسون در تیم ایمنی OpenAI

رابینسون حدود سه‌ونیم سال در OpenAI فعالیت کرده است. طبق توضیحات خودش، او هدایت تدوین چارچوب فعلی Preparedness Framework را برعهده داشته و بر تهیه گزارش‌های ایمنی مربوط به ۱۲ عرضه مدل پیشرفته نظارت کرده است.

او اکنون قصد دارد خارج از OpenAI روی افزایش آگاهی درباره خطرات هوش مصنوعی و ایجاد انگیزه‌های قوی‌تر برای ایمن‌ترشدن شرکت‌های فعال در این حوزه کار کند.

واکنش OpenAI به انتقادها

OpenAI در واکنش به اظهارات رابینسون تأکید کرده است که تلاش می‌کند توانایی مدل‌هایش از سطحی که امکان مدیریت و ایمن‌سازی آن‌ها وجود دارد فراتر نرود.

سخنگوی شرکت همچنین گفته است OpenAI در مواقع ضروری می‌تواند فرایند آموزش یک مدل را متوقف کند یا عرضه آن را به تأخیر بیندازد.

اظهارات رابینسون بار دیگر اختلاف‌نظر موجود در صنعت هوش مصنوعی را برجسته می‌کند؛ اختلافی درباره اینکه آیا سرعت فعلی توسعه مدل‌های پیشرفته با سطح اقدامات ایمنی موجود تناسب دارد یا خیر.

ا
امیررضا هادی تهرانی
مشاهده کلیه مقالات منتشر شده
گفت‌وگوی کاربران

دیدگاه‌ها

۰ دیدگاه

دیدگاه شما

نشانی ایمیل شما منتشر نخواهد شد.

اپلیکیشن و نرم‌افزار

معرفی نرم افزار و اپلیکیشن

مشاهده بیشتر