شرکت OpenAI از ابزار جدیدی مبتنی بر هوش مصنوعی رونمایی کرده است که میتواند به شناسایی تصاویر سوءاستفاده جنسی از کودکان، ازجمله تصاویر جعلی و دیپفیکهای ساختهشده با هوش مصنوعی، کمک کند.
این ابزار که با نام OpenAI CSAM Image Classifier شناخته میشود، برای کمک به سازمانهای حفاظت از کودکان، تیمهای امنیت محتوا و نهادهای مجاز طراحی شده است.
براساس اعلام رسمی OpenAI در ۱۶ نوامبر ۲۰۲۶، فناوری جدید علاوه بر شناسایی تصاویر مشکوک، میتواند حجم محتوایی را که کارشناسان انسانی باید بررسی کنند کاهش دهد.
ابزار جدید OpenAI چگونه تصاویر جعلی را شناسایی میکند؟
ابزار جدید OpenAI برخلاف سامانههایی که تنها تصاویر مجرمانه شناختهشده را با استفاده از اثر انگشت دیجیتال یا هش شناسایی میکنند، میتواند نشانههای بصری محتوای آسیبزا را بررسی کند.
این ویژگی به سامانه امکان میدهد تصاویر جدید، تصاویر دستکاریشده و محتوای تولیدشده با هوش مصنوعی را نیز برای بررسی بیشتر علامتگذاری کند.
مدل جدید برای تصاویر مشکوک امتیاز خطر تعیین میکند و سیگنال جداگانهای برای احتمال تولید محتوا با هوش مصنوعی ارائه میدهد.
بااینحال، امتیاز این ابزار بهتنهایی اثبات نمیکند که یک تصویر غیرقانونی است و تصمیم نهایی باید با بررسی متخصصان انجام شود.
کاهش ۴۸ درصدی حجم بررسی تصاویر مشکوک
یکی از مهمترین نتایج آزمایشهای اولیه OpenAI به کاهش حجم کاری کارشناسان مربوط میشود.
این شرکت اعلام کرده در ارزیابی تصاویر بارگذاریشده توسط کاربران، مدل جدید توانسته حدود ۴۸ درصد تصاویر کمتری را برای بررسی علامتگذاری کند و درعینحال تقریباً همان تعداد تصاویر سوءاستفاده را که سامانه قبلی شناسایی میکرد، تشخیص دهد.
همچنین احتمال وجود محتوای آسیبزا در تصاویر علامتگذاریشده توسط مدل جدید تقریباً دو برابر سامانه قبلی بوده است.
در آزمایش شرکت fal.ai نیز کارشناسان انسانی تأیید کردند که ۷۲ درصد هشدارهای با اطمینان بالای مدل به تصاویر جدید سوءاستفاده جنسی از کودکان مربوط بودند.
این آمارها حاصل آزمایشهای مشخص هستند و نباید بهعنوان دقت قطعی ابزار در تمام شرایط تفسیر شوند.
دسترسی رایگان سازمانهای تأییدشده به ابزار OpenAI
OpenAI اعلام کرده است که ابزار تشخیص تصویر جدید را از طریق API و بهصورت رایگان در اختیار سازمانهای تأییدشده قرار میدهد.
این ابزار برای استفاده عمومی کاربران ChatGPT طراحی نشده است.
توسعه آن با همکاری مرکز ملی کودکان گمشده و استثمارشده آمریکا، موسوم به NCMEC، انجام شده است.
هدف این همکاری کمک به شناسایی سریعتر محتوای آسیبزا و کاهش فشار بر تیمهایی است که مسئول بررسی گزارشهای مربوط به سوءاستفاده آنلاین از کودکان هستند.
قوانین جدید ChatGPT برای مقابله با محتوای سوءاستفاده از کودکان
OpenAI همزمان با معرفی ابزار تشخیص تصویر، محدودیتهای تازهای را برای مقابله با رفتارهای آسیبزا در ChatGPT اعلام کرده است.
براساس این سیاستها، اگر سامانه تلاش کاربر برای یافتن محتوای سوءاستفاده جنسی از کودکان را شناسایی کند، ممکن است هشدار ویژهای نمایش دهد.
این هشدار درباره پیامدهای چنین رفتاری توضیح میدهد و کاربر را به منابع کمک تخصصی هدایت میکند.
در این شرایط، OpenAI میتواند گفتوگوی علامتگذاریشده را حذف و دسترسی به ChatGPT را برای ۲۴ ساعت متوقف کند.
تکرار تخلف نیز ممکن است به محدودیتهای طولانیتر، مسدودسازی حساب یا گزارش به مراجع قانونی منجر شود.
این محدودیتها بخشی از سازوکارهای مقابله با سوءاستفاده هستند و به معنای اعمال آنها بر تمام کاربران ChatGPT نیستند.
چرا مقابله با دیپفیکهای سوءاستفاده از کودکان اهمیت دارد؟
گسترش ابزارهای تولید تصویر با هوش مصنوعی باعث شده ایجاد تصاویر جعلی واقعگرایانه آسانتر شود.
این فناوری در کنار کاربردهای قانونی و خلاقانه، میتواند برای تولید محتوای آسیبزا و سوءاستفاده از افراد نیز مورد استفاده قرار بگیرد.
یکی از چالشهای مهم نهادهای حفاظت از کودکان، افزایش تعداد تصاویر جدیدی است که با روشهای سنتی تشخیص محتوای شناختهشده قابل شناسایی نیستند.
همچنین حجم بالای گزارشهای مربوط به تصاویر تولیدشده با هوش مصنوعی میتواند روند بررسی موارد واقعی سوءاستفاده را دشوارتر کند.
ابزار جدید OpenAI با هدف کاهش این فشار و کمک به اولویتبندی پروندههای نیازمند بررسی توسعه یافته است.
استفاده از هوش مصنوعی برای کمک به بازرسان
برنامه جدید OpenAI به تشخیص تصاویر محدود نمیشود.
این شرکت اعلام کرده ابزارهای تخصصی و آموزشهایی را نیز برای تیمهای مجاز اجرای قانون فراهم میکند.
اولین ابزار این مجموعه به بازرسان کمک میکند گفتوگوهای طولانی، اسناد مرتبط با تحقیقات و اطلاعات پروندهها را تحلیل کنند و ارتباطات احتمالی و جدول زمانی رویدادها را استخراج کنند.
در این فرایند، یافتهها به منابع اطلاعاتی مربوط متصل میشوند تا کارشناسان بتوانند آنها را بررسی کنند.
نقش ابزار جدید در امنیت هوش مصنوعی
معرفی CSAM Image Classifier نشان میدهد شرکتهای توسعهدهنده هوش مصنوعی در کنار افزایش قابلیتهای مدلهای خود، با ضرورت توسعه سامانههای ایمنی تخصصی نیز روبهرو هستند.
فناوری جدید OpenAI میتواند به سازمانهای مجاز کمک کند محتوای مشکوک را سریعتر شناسایی کنند و منابع انسانی خود را روی پروندههای مهمتر متمرکز سازند.
بااینحال، OpenAI تأکید کرده که این ابزار جایگزین بررسی انسانی، سامانههای امنیتی موجود یا فرایندهای قانونی گزارشدهی نیست.
موفقیت عملی آن نیز به نحوه پیادهسازی، کیفیت دادههای هر پلتفرم و نظارت مستمر بر خطاهای احتمالی بستگی خواهد داشت.









دیدگاهها