با توجه به تعداد فراوان چت‌بات‌ها با قابلیت‌های مختلف جای خالی ابزاری جهت مقایسه چت‌بات‌های هوش مصنوعی به شدت احساس می‌شد. حال این ابزار ساخته شده است.
در نوامبر گذشته از هنگام محبوبیت همگانی ChatGPT، چت‌بات‌های فراوان دیگری هم ایجاد شده‌اند که تحت عنوان رقیب ChatGPT معرفی شده‌اند. این چت‌بات‌ها از لحاظ LLM، قیمت، رابط کاربری، دسترسی به اینترنت و موارد دیگری دارای تفاوت‌هایی بوده و جهت تسهیل مقایسه آن‌ها، یک سازمان تحقیقاتی به نام Model Systems Organization که از سوی دانشجویان و اساتید «دانشگاه کالیفرنیا، برکلی» تأسیس شده، از پلتفرم بنچمارک‌گیری برای مدل‌های زبان بزرگ (LLM) و مقایسه چت‌بات‌های هوش مصنوعی با نام Chatbot Arena رونمایی کرده است.
با این پلتفرم به کاربران می‌توانند به مقایسه چت‌بات‌های هوش مصنوعی با یکدیگر بپردازند. به‌منظور آزمایش چت‌بات‌ها با این پلتفرم، ابتدا کاربران باید یک درخواست را ارائه و سپس پاسخ‌هایی از طرف دو مدل به‌صورت تصادفی ارائه می‌شود و کاربران بدون اینکه از LLM هر مدل اطلاعی داشته باشند، بهترین پاسخ را برمی‌گزینند. بعد از اینکه کاربران بهترین پاسخ ارائه‌شده از سوی یکی از دو چت‌بات را انتخاب کردند، نام چت‌بات به نمایش در می‌آید.
بیشتر بخوانید: شکایت یک مجری رادیویی از ChatGPT ؛ نقص چت‌بات‌های هوش مصنوعی بالاخره برملا شد!
ابزار مقایسه چت‌بات‌های هوش مصنوعی
به عنوان نمونه، در آزمایش زیر از دو چت‌بات درخواست شده تا به نوشتن یک نامه درخواست مرخصی بپردازند. سپس از ارائه پاسخ‌های متفاوت و انتخاب گزینه مدنظر، متوجه نام‌های این دو چت‌بات تحت عنوان چت‌بات‌های koala-13b و دیگری vicuna-13b می‌شویم.
سپس در بخش تابلوی امتیازات (Leaderboard)، رتبه‌بندی کلیه LLMها نشان داده می‌شود که نتایج آزمایش کاربران تأثیر زیادی بر روی آن می‌گذارد و از سیستم رده‌بندی Elo بهره‌برداری خواهد کرد که در حوزه محاسبه سطح مهارتی بازیکنان رشته‌های ورزشی استفاده می‌شود. براساس این صفحه، هم‌اکنون GPT-4 از OpenAI به عنوان پیشرفته‌ترین LLM شناخته می‌شود و امتیاز Elo آن 1227 است. در جایگاه دوم نیز Claude-v1 که از طرف Anthropic توسعه یافته، با امتیاز 1227 دیده می‌شود.
در رتبه هشتم این فهرست هم نام PaLM-Chat-Bison-001 به عنوان یکی از زیرمجموعه‌های PaLM 2، مدل زبان بزرگ هوش مصنوعی Bard گوگل قرار گرفته است. افزون‌براین، وب‌سایت ChatBot Arena قسمت دیگری نیز دارد که از طریق آن امکان آزمایش یک چت‌بات مشخص و یا مقایسه دو مدل مشخص با یکدیگر وجود دارد. در صورتی که قصد آزمایش LLM خاصی را دارید، این ویژگی می‌تواند مفید باشد.
بیشتر بخوانید:
- بی‌اعتمادی گوگل به ساخته خود ؛ از چت بات بارد دوری کنید!
- چت بات هوش مصنوعی PassGPT به سادگی رمزهای عبور را حدس می‌زند!
دیدگاه شما در خصوص ابزار مقایسه چت‌بات‌های هوش مصنوعی چیست؟ نظرات خود را در بخش کامنت‌ها با ما به اشتراک بگذارید و اخبار تکنولوژی را با تکراتو دنبال کنید.
