تدعي ساكانا مراجعة الأقران من الذكاء الاصطناعي – لكنها أكثر دقة قليلاً من ذلك

قالت شركة Sakana المارة اليابانية إن الذكاء الاصطناعى قد ولدت أول منشور علمي تمت مراجعته من قِبل النظراء. ولكن على الرغم من أن المطالبة ليست غير صحيحة ، إلا أن هناك تحذيرات كبيرة يجب ملاحظتها.

يدور النقاش حول الذكاء الاصطناعى ودوره في العملية العلمية ينمو ضراوة يوميًا. لا يعتقد العديد من الباحثين أن الذكاء الاصطناعى مستعدون تمامًا للعمل كـ “عازف مشارك” ، بينما يعتقد آخرون أن هناك إمكانات-لكنهم يعترفون بأنها الأيام الأولى.

يقع ساكانا في المعسكر الأخير.

قالت الشركة إنها استخدمت نظام AI يسمى عالم الذكاء الاصطناعى-V2 لإنشاء ورقة قدمتها ساكانا ثم إلى ورشة في ICLR ، وهو مؤتمر منظمة العفو الدولية الطويلة والسمعة طيبة. تدعي ساكانا أن منظمي ورشة العمل ، وكذلك قيادة ICLR ، وافقوا على العمل مع الشركة لإجراء تجربة لمراجعة المخطوطات التي تم إنشاؤها من الذكاء الاصطناعي.

قالت ساكانا إنها تعاونت مع باحثين في جامعة كولومبيا البريطانية وجامعة أكسفورد لتقديم ثلاث أوراق تم إنشاؤها من الذكاء الاصطناعى إلى ورشة العمل المذكورة أعلاه لمراجعة النظراء. قام عالم الذكاء الاصطناعى بـ AI-V2 بإنشاء الأوراق “من النهاية إلى النهاية” ، بما في ذلك الفرضيات العلمية والتجارب والرمز التجريبي وتحليلات البيانات والتصورات والنص والعناوين.

وقال روبرت لانج ، عالم الأبحاث والعضو المؤسس في ساكانا ، لـ TechCrunch عبر البريد الإلكتروني: “لقد أنشأنا أفكارًا بحثية من خلال توفير مجردة ورشة العمل والوصف لمنظمة العفو الدولية”. “هذا يضمن أن الأوراق التي تم إنشاؤها كانت في موضوع وتقديمات مناسبة.”

تم قبول ورقة واحدة من بين الثلاثة في ورشة ICLR – وهي ورقة تلمي عدسة حرجة على تقنيات التدريب لنماذج الذكاء الاصطناعى. قالت ساكانا إنها سحبت الورقة على الفور قبل نشرها لصالح الشفافية واحترام اتفاقيات ICLR.

وقال لانج: “تقدم كل من الورقة المقبولة طريقة جديدة واعدة لتدريب الشبكات العصبية وتظهر أن هناك تحديات تجريبية متبقية”. “إنه يوفر نقطة بيانات مثيرة للاهتمام لإثارة مزيد من التحقيق العلمي.”

لكن الإنجاز ليس مثيرًا للإعجاب كما قد يبدو للوهلة الأولى.

في منشور مدونة ، تعترف ساكانا بأن الذكاء الاصطناعى قد ارتكبت أحيانًا أخطاء الاقتباس “المحرجة” ، على سبيل المثال يعزى بشكل غير صحيح طريقة إلى ورقة 2016 بدلاً من عمل 1997 الأصلي.

لم تخضع ورقة ساكانا أيضًا إلى الكثير من التدقيق مثل بعض المنشورات الأخرى التي استعرضها النظراء. نظرًا لأن الشركة سحبتها بعد مراجعة الأقران الأولية ، فإن الورقة لم تتلق “مرجعًا تلويًا” إضافيًا ، حيث كان منظمي ورشة العمل قد رفضوها من الناحية النظرية.

ثم هناك حقيقة أن معدلات القبول لورش عمل المؤتمرات تميل إلى أن تكون أعلى من معدلات القبول لـ “مسار المؤتمر” الرئيسي – وهي حقيقة يذكرها ساكانا بصراحة في مدونتها. قالت الشركة إن أيا من دراساتها التي تم إنشاؤها من الذكاء الاصطناعى قد اجتازت شريطها الداخلي لنشر مسار مؤتمر ICLR.

ماثيو جوزديال ، باحث من الذكاء الاصطناعي وأستاذ مساعد بجامعة ألبرتا ، وصف نتائج ساكانا بأنها “مضللة بعض الشيء”.

وقال عبر البريد الإلكتروني: “اختار أشخاص ساكانا الأوراق من عدد من العدد من الأشكال التي تم إنشاؤها ، مما يعني أنهم كانوا يستخدمون الحكم البشري من حيث اختيار المخرجات التي يعتقدون أنها قد تدخل”. “ما أعتقد أن هذا يدل على أن البشر بالإضافة إلى الذكاء الاصطناعى يمكن أن يكونوا فعالين ، وليس أن الذكاء الاصطناعى وحده يمكن أن يخلق تقدمًا علميًا.”

شكك مايك كوك ، زميل أبحاث في كينجز كوليدج في لندن المتخصصة في الذكاء الاصطناعي ، في دقة المراجعين وورشة العمل.

وقال لـ TechCrunch: “غالبًا ما تتم مراجعة ورش عمل جديدة ، مثل هذه واحدة ، من قبل المزيد من الباحثين المبتدئين”. “تجدر الإشارة أيضًا إلى أن ورشة العمل هذه تتعلق بالنتائج والصعوبات السلبية – وهو أمر رائع ، لقد قمت بتشغيل ورشة عمل مماثلة من قبل – ولكن من الأسهل الحصول على منظمة العفو الدولية للكتابة عن الفشل بشكل مقنع.”

وأضاف كوك أنه لم يفاجأ من أن الذكاء الاصطناعى يمكن أن يجتاز مراجعة الأقران ، مع الأخذ في الاعتبار أن الذكاء الاصطناعى يتفوق على كتابة النثر البشري. وأشار كوك إلى أن الأوراق التي تم إنشاؤها جزئيًا والتي تم إنشاؤها في مجلة مراجعة مجلة ليست جديدة ، كما أشار كوك ، كما أن المعضلات الأخلاقية التي تشكلها العلوم.

إن أوجه القصور الفنية لـ AI – مثل ميلها إلى الهلوسة – تجعل العديد من العلماء حذرين من تأييدها للعمل الجاد. علاوة على ذلك ، يخشى الخبراء أن منظمة العفو الدولية قد ينتهي بها الأمر ببساطة إلى توليد الضوضاء في الأدب العلمي ، وليس رفع التقدم.

“نحتاج أن نسأل أنفسنا عما إذا كان [Sakana’s] النتيجة تدور حول مدى جودة الذكاء الاصطناعى في تصميم وإجراء التجارب ، أو ما إذا كان الأمر يتعلق بمدى جودته في بيع الأفكار للبشر – وهو ما نعرفه أن الذكاء الاصطناعي رائع بالفعل “. “هناك فرق بين مراجعة الأقران والمساهمة في مجال ما.”

ساكانا ، حسب تقديرها ، لا تدعي أن الذكاء الاصطناعي يمكن أن ينتج عن العمل العلمي – أو حتى الجديد – بشكل خاص -. وبدلاً من ذلك ، كان الهدف من التجربة هو “دراسة جودة الأبحاث التي تم إنشاؤها من الذكاء الاصطناعى” ، كما قالت الشركة ، وتسليط الضوء على الحاجة الملحة إلى “القواعد المتعلقة بالعلوم التي تم إنشاؤها من الذكاء الاصطناعى”.

“[T]فيما يلي أسئلة صعبة حول ما إذا كانت [AI-generated] وكتبت الشركة: “للمضي قدمًا ، سنواصل تبادل الآراء مع مجتمع الأبحاث على حالة هذه التكنولوجيا لضمان عدم تطورها إلى موقف في المستقبل حيث يكون هدفها الوحيد هو اجتياز مراجعة الأقران ، وبالتالي تقويض معنى عملية مراجعة الأقران العلمية بشكل كبير.”