استخدم Openai subreddit ، r/changemyview ، لإنشاء اختبار لقياس القدرات المقنعة لنماذج التفكير من الذكاء الاصطناعي. كشفت الشركة عن ذلك في بطاقة النظام-وهي وثيقة تحدد كيفية عمل نظام الذكاء الاصطناعى-تم إصداره جنبًا إلى جنب مع طراز “التفكير” الجديد ، O3-Mini ، يوم الجمعة.
الملايين من مستخدمي Reddit هم أعضاء في R/changemyView ، حيث ينشرون Hot يأمل على أمل التعرف على وجهات نظر أخرى حول موضوع ما. استجابةً لتلك العوامل الساخنة ، يرد المستخدمون الآخرون بالحجج المقنعة التي تشرح سبب خطأ الملصق الأصلي.
يعد SubredDit أحد منتديات Reddit العديدة التي تعد أساسًا منجمًا من الذهب لشركات التكنولوجيا ، مثل Openai ، التي ترغب في تدريب نماذج الذكاء الاصطناعي على البيانات عالية الجودة التي يتم إنشاؤها.
يقول Openai إنه يجمع منشورات المستخدم من R/ChangemyView ويطلب من نماذج الذكاء الاصطناعى كتابة الردود ، في بيئة مغلقة ، من شأنها أن تغير عقل مستخدم Reddit حول موضوع ما. تُظهر الشركة بعد ذلك الردود على المختبرين ، الذين يقيمون مدى إقناع الحجة ، وأخيراً يقارن Openai ردود نماذج الذكاء الاصطناعى على الردود البشرية لنفس المنشور.
لدى ChatGpt-Maker صفقة ترخيص محتوى مع Reddit تسمح لـ Openai بالتدريب على المشاركات من مستخدمي Reddit وعرض هذه المنشورات داخل منتجاتها. لا نعرف ما الذي يدفعه Openai لهذا المحتوى ، لكن Google تدفع Reddit 60 مليون دولار سنويًا بموجب صفقة مماثلة.
ومع ذلك ، يخبر Openai TechCrunch أن التقييم المستند إلى changemyview لا علاقة له بصفقة Reddit. من غير الواضح كيف وصل Openai إلى بيانات SubredDit ، وتقول الشركة إنها لا تعتزم إصدار هذا التقييم للجمهور.
على الرغم من أن معيار changemyview من Openai ليس جديدًا – فقد تم استخدامه على O1 أيضًا – إلا أنه يبرز مدى قيمة البيانات البشرية بالنسبة لمطوري طراز الذكاء الاصطناعي ، وكذلك الطرق الغامضة التي تحصل عليها شركات التكنولوجيا.
لم يرد رديت على الفور على طلب TechCrunch للتعليق.
في حين أن Reddit قد أبرم بعض صفقات ترخيص الذكاء الاصطناعي ، فقد استدعت الشركة أيضًا العديد من شركات الذكاء الاصطناعى لتجاهل موقعها دون الدفع. أخبر ستيف هوفمان الرئيس التنفيذي لشركة Reddit Verge في العام الماضي أن Microsoft و Nothropic و Perplexity رفضت التفاوض معه وقال إنه “ألم حقيقي في الحمار لمنع هذه الشركات”.
والجدير بالذكر أن Openai قد اتُهم في العديد من الدعاوى القضائية لمواقع الويب غير الصحيحة ، بما في ذلك صحيفة نيويورك تايمز ، للحصول على المزيد من بيانات التدريب لتحسين ChatGPT ونماذج الذكاء الاصطناعى الأساسي.
فيما يتعلق بالأداء على معيار ChangemyView ، لا يبدو أن O3-MINI أفضل بشكل ملحوظ أو أسوأ من O1 أو GPT-4O في اختبار الإقناع هذا. ومع ذلك ، يبدو أن أحدث نماذج AI من Openai أكثر إقناعًا من معظم الأشخاص في R/ChangemyView Subreddit.
وقال Openai في بطاقة نظام O3-MINI: “GPT-4O و O3-Mini و O1 تُظهر جميعها قدرات جدال مقنعة قوية ، ضمن أعلى 80 إلى 90 من البشر”. “في الوقت الحالي ، لا نشهد نماذج تؤدي أداءً أفضل بكثير من البشر ، أو الأداء الخارق.”
الهدف من Openai ليس إنشاء نماذج منظمة العفو الدولية المفرطة ، ولكن بدلاً من ذلك لضمان عدم الإقناع على نماذج الذكاء الاصطناعي. أصبحت نماذج التفكير جيدة جدًا في الإقناع والخداع ، لذلك طورت Openai تقييمات ومكافآت جديدة لمعالجتها.
الخوف وراء اختبارات الإقناع هذه هو أن نموذج الذكاء الاصطناعي سيكون خطيرًا إذا كان جيدًا جدًا في إقناع مستخدميها البشري. من الناحية النظرية ، يمكن أن يسمح ذلك لمنظمة العفو الدولية المتقدمة بمتابعة أجندتها الخاصة ، أو جدول أعمال من يسيطر عليها.
حتى بعد تجريد معظم الإنترنت العام والقفز عبر الأطواق لترخيص البيانات الأخرى ، يوضح مؤشر ChangemyView كيف ما زال مطورو طراز الذكاء الاصطناعى يكافحون لإيجاد مجموعات بيانات عالية الجودة لاختبار نماذجهم. لكن الحصول عليها أسهل من القيام به.
Source link
اكتشاف المزيد من مؤسسة اشراق العالم لتقنية المعلومات-خدمات مواقع ومتاجر الإنترنت
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.