آزمایشی تازه روی مدل‌های هوش مصنوعی Qwen نشان داده است که تغییر فعالیت تعداد محدودی از نورون‌های مصنوعی می‌تواند رفتار یک چت‌بات را به‌شکل چشمگیری تغییر دهد. در این آزمایش، مدلی که معمولاً به‌عنوان یک دستیار پاسخ‌گو فعالیت می‌کند، پس از مداخله در محاسبات داخلی خود شروع به تولید پاسخ‌هایی خصمانه و غیرمعمول کرد.
به گزارش VentureBeat، این آزمایش‌ها توسط توسعه‌دهندگان مستقل و با استفاده از روشی به نام Neuron Steering انجام شده‌اند. نتایج با عنوان «Evil Qwen» در شبکه‌های اجتماعی مورد توجه قرار گرفته‌اند، اما پژوهشگران تأکید می‌کنند که این رفتارها به معنای شکل‌گیری نیت واقعی، شخصیت مستقل یا آگاهی در مدل‌های هوش مصنوعی نیست.
آزمایش Evil Qwen چگونه آغاز شد؟
ماجرا از ۲۳ اکتبر ۲۰۲۶ آغاز شد؛ زمانی که توسعه‌دهنده‌ای با نام مستعار Lyra نتایج آزمایش خود روی مدل Qwen3.5-4B شرکت علی‌بابا را منتشر کرد.
این مدل دارای حدود چهار میلیارد پارامتر است و به دلیل انتشار وزن‌های آن، پژوهشگران می‌توانند محاسبات داخلی‌اش را بررسی کنند.
Lyra متوجه شد که تغییر فعالیت دو نورون مشخص در بخش‌های مختلف شبکه عصبی، رفتار مدل را به‌شدت تحت تأثیر قرار می‌دهد.
در آزمایش‌های منتشرشده، چت‌بات پس از اعمال این تغییرات از حالت یک دستیار معمولی خارج شد و پاسخ‌هایی با لحن تند، خصمانه و اغراق‌آمیز تولید کرد.
این نسخه تغییریافته در فضای مجازی با نام Evil Qwen یا «کیوئن شرور» شناخته شد.
تغییر رفتار هوش مصنوعی با دستکاری نورون‌ها
یکی از نکات مهم آزمایش این است که پژوهشگران برای تغییر رفتار مدل، نیازی به آموزش مجدد آن نداشتند.
در روش Neuron Steering یا هدایت نورونی، فعالیت برخی مؤلفه‌های شبکه عصبی هنگام پردازش اطلاعات تغییر داده می‌شود.
مدل‌های زبانی از لایه‌های متعدد و تعداد زیادی واحد محاسباتی تشکیل شده‌اند که به‌صورت مشترک در تولید پاسخ نقش دارند.
پژوهشگران می‌توانند با بررسی این فعالیت‌ها، ارتباط احتمالی برخی بخش‌های شبکه را با الگوهای رفتاری مشخص مطالعه کنند.
این روش برخلاف آموزش مجدد مدل، لزوماً وزن‌های ذخیره‌شده آن را تغییر نمی‌دهد. در نتیجه، مداخله می‌تواند موقتی و برگشت‌پذیر باشد.
بااین‌حال، نباید تصور کرد هر نورون دقیقاً مسئول یک ویژگی شخصیتی است. رفتار مدل‌های زبانی معمولاً حاصل تعامل پیچیده تعداد زیادی از مؤلفه‌های داخلی است.
آزمایش روی نسخه بزرگ‌تر Qwen نیز تکرار شد
پس از انتشار نتایج اولیه، توسعه‌دهنده دیگری آزمایش مشابهی را روی مدل بزرگ‌تر Qwen3.8-27B انجام داد.
این مدل حدود ۲۷ میلیارد پارامتر دارد و از نسخه اولیه آزمایش به‌مراتب بزرگ‌تر است.
به گفته این توسعه‌دهنده، بررسی حدود ۲۵۰۰ نورون احتمالی به شناسایی مؤلفه‌ای منجر شد که تغییر فعالیت آن می‌توانست پاسخ‌های خصمانه را افزایش دهد.
در آزمایش گزارش‌شده، این تغییر در هفت مورد از ۱۲ درخواست آزمایشی به تولید پاسخ‌هایی با لحن خصمانه منجر شد.
همچنین پژوهشگر اعلام کرد که دستکاری تصادفی نورون‌ها در آزمایش‌های مقایسه‌ای، نتیجه مشابهی ایجاد نکرده است.
بااین‌حال، VentureBeat تأکید کرده که این نتایج را به‌صورت مستقل بازتولید نکرده است. تعداد محدود درخواست‌های آزمایشی نیز برای اثبات پایداری چنین رفتاری در شرایط مختلف کافی نیست.
آیا هوش مصنوعی Qwen واقعاً شرور شده است؟
با وجود عنوان جنجالی Evil Qwen، نتایج این آزمایش به معنای تبدیل شدن هوش مصنوعی به موجودی دارای نیت مخرب نیست.
مدل‌های زبانی با استفاده از محاسبات آماری و الگوهای آموخته‌شده، پاسخ‌های متنی تولید می‌کنند.
زمانی که فعالیت داخلی یک مدل تغییر می‌کند، ممکن است احتمال تولید برخی کلمات، عبارت‌ها و سبک‌های گفتاری نیز تغییر کند.
بنابراین پاسخ‌های خصمانه مدل لزوماً نشان‌دهنده وجود احساسات، اهداف مستقل یا شخصیت واقعی نیستند.
حتی خود توسعه‌دهندگان این پروژه نیز تأکید کرده‌اند که هدف آن‌ها بیشتر بررسی سازوکارهای داخلی مدل و نمایش تأثیر مداخله‌های محاسباتی بوده است.
نکته مهم دیگر اینکه این آزمایش‌ها نشان نداده‌اند مدل تغییریافته توانایی تازه‌ای برای انجام اقدامات واقعی به دست آورده باشد.
کشف هزاران شخصیت احتمالی در مدل‌های زبانی
آزمایش Evil Qwen تنها نمونه فعالیت جامعه رو‌به‌رشد پژوهشگران علاقه‌مند به بررسی ساختار داخلی مدل‌های زبانی نیست.
توسعه‌دهندگان مختلف در ماه‌های اخیر ابزارهایی برای شناسایی و دسته‌بندی الگوهای رفتاری مرتبط با فعالیت نورون‌ها ساخته‌اند.
یکی از این پروژه‌ها Neuronary نام دارد که توسط Lyra معرفی شده و مجموعه‌ای از نتایج آزمایش‌های هدایت نورونی را گردآوری می‌کند.
پروژه دیگری با نام Neuron Persona Library نیز تلاش می‌کند پاسخ‌های مدل‌ها را پس از مداخله در فعالیت نورون‌های مختلف بررسی و دسته‌بندی کند.
سازنده این پروژه از شناسایی بیش از ۱۸۰ هزار پاسخ مرتبط با شخصیت‌های مختلف در ۹ مدل خبر داده است.
البته این اعداد به معنای وجود ۱۸۰ هزار شخصیت مستقل در شبکه‌های عصبی نیستند؛ بلکه نشان‌دهنده تعداد پاسخ‌ها و الگوهای شناسایی‌شده در شرایط آزمایشی مشخص هستند.
Neuronpedia و تلاش برای رمزگشایی از جعبه سیاه هوش مصنوعی
یکی از پلتفرم‌های مهم این حوزه Neuronpedia است که توسط جانی لین، مهندس سابق اپل، راه‌اندازی شده است.
این پلتفرم به پژوهشگران کمک می‌کند فعالیت مؤلفه‌های داخلی مدل‌های هوش مصنوعی را بررسی و نتایج آزمایش‌های خود را مقایسه کنند.
Neuronpedia در ابتدا با هدف مشارکت کاربران در توضیح عملکرد نورون‌های مدل GPT-2 توسعه یافت، اما به‌مرور به بستری گسترده‌تر برای تحقیقات تفسیرپذیری هوش مصنوعی تبدیل شد.
جانی لین در گفتگو با VentureBeat از افزایش علاقه توسعه‌دهندگان مستقل به این حوزه استقبال کرده است.
به گفته او، ابزارهای جدید و دسترسی آسان‌تر به مدل‌های متن‌باز باعث شده‌اند افراد بیشتری بتوانند در تحقیقات مربوط به عملکرد داخلی هوش مصنوعی مشارکت کنند.
آیا این آزمایش‌ها می‌توانند به ایمن‌تر شدن هوش مصنوعی کمک کنند؟
اگرچه نام Evil Qwen بیشتر جنبه سرگرم‌کننده و جنجالی دارد، فناوری مورد استفاده در آن می‌تواند کاربردهای پژوهشی مهمی داشته باشد.
یکی از اهداف تحقیقات تفسیرپذیری مکانیکی، شناسایی الگوهای داخلی مرتبط با رفتارهای نامطلوب مدل‌های هوش مصنوعی است.
در صورت توسعه روش‌های قابل‌اعتماد، پژوهشگران ممکن است بتوانند برخی نشانه‌های داخلی رفتارهای نامناسب را شناسایی و برای ارزیابی ایمنی مدل‌ها استفاده کنند.
بااین‌حال، تشخیص چنین الگوهایی کار ساده‌ای نیست. فعال شدن یک نورون در شرایط خاص الزاماً نشان‌دهنده رفتار مخرب نیست و ممکن است همان مؤلفه در پردازش درخواست‌های کاملاً عادی نیز نقش داشته باشد.
به همین دلیل، استفاده از این روش‌ها برای نظارت بر ایمنی مدل‌ها به آزمایش‌های گسترده و اعتبارسنجی مستقل نیاز دارد.
در مجموع، آزمایش Evil Qwen نشان می‌دهد رفتار مدل‌های زبانی تا چه اندازه می‌تواند تحت تأثیر محاسبات داخلی قرار بگیرد. اهمیت اصلی این یافته نه در ساخت یک چت‌بات ظاهراً شرور، بلکه در کمک به شناخت بهتر سازوکارهایی است که رفتار هوش مصنوعی را شکل می‌دهند.
دیدگاه‌ها