تصنيفات رؤية الذكاء الاصطناعي ليست مستقرة – بحث جديد يظهر أنها في الغالب ضجيج إحصائي

بيانات تتبع رؤية الذكاء الاصطناعي ليست موثوقة تمامًا. نظرًا لأن النماذج التوليدية غالبًا ما تنتج استجابات مختلفة، فإن مشاركات الاقتباسات والتصنيفات الموجودة على لوحة المعلومات الخاصة بك هي مجرد لقطات لهدف يتغير باستمرار، وليست حقائق ثابتة.

قد يكون الاختلاف بينك وبين منافس حقيقيًا أو مجرد تقلب بين القياسات. توفر ورقة بحثية جديدة من IQRush من المقرر إصدارها الأسبوع المقبل (كان لدينا إمكانية الوصول قبل النشر) طريقة للتمييز بين هذه البيانات، مما يوضح أنه لا يمكن لأي كمية ثابتة من البيانات أن تحل السؤال بشكل نهائي.

أعد هذه الورقة رون سيلينسكي، الذي شارك في تأسيس شركة IQRush، التي تبيع برامج تقيس مدى رؤية الذكاء الاصطناعي بالطريقة التي تطالبك بها الصحيفة. والسبب في أن الأمر يستحق وقتك هو أن فريقًا منفصلاً نشر نتائج قياس متكرر مماثلة في أبريل، لذا فإن IQRush ليس الوحيد الذي قدم هذه الحالة.

كم تتحرك هذه الأرقام

يمكن أن يؤدي الاستعلام المتكرر عن SearchGPT أو Gemini أو Perplexity بنفس السؤال إلى إنتاج مصادر مختلفة في كل مرة. لقد تم تصميمها لإضافة بعض العشوائية إلى كل استجابة، لذا فإن كل اقتباس هو مجرد واحد من العديد من عناوين URL المحتملة التي كان من الممكن سحبها. استكشفت ورقة بحثية سابقة للمؤلف نفسه هذا التباين، وأظهرت أنه، على سبيل المثال، عند اختبار SearchGPT على معدات الجري، شكل Tom’s Guide حوالي 9.5% من الاستشهادات، في حين شكل Runner’s World حوالي 6.0%. على لوحة القيادة، ظهر دليل توم في كثير من الأحيان، ولكن هامش الخطأ الكبير يعني تداخل الأرقام. مع عينة واحدة فقط، لم يكن من الدقة القول بأن Tom’s Guide تفوق على Runner’s World، حيث كان الفارق 3.5 نقطة ضمن هامش الخطأ. تهدف الدراسة الجديدة إلى منع هذا الخطأ من خلال معالجة سؤال بسيط يتم تجاهله في كثير من الأحيان: ما هو مقدار البيانات المطلوبة قبل أن يكون للتصنيفات معنى حقيقي؟

عندما يكون التصنيف يستحق الثقة

تتكون الإجابة من جزأين، ويجب أن يكون كلاهما صحيحًا حتى يكون التصنيف موثوقًا به. أولاً، يجب أن يتوقف الترتيب عن التغيير.

في البداية، قد تتغير التصنيفات بشكل متكرر مع إضافة إجابات جديدة لأنه لا يوجد موقع يتمتع بميزة واضحة حتى الآن. فقط بعد جمع الإجابات الكافية تبدأ أفضل المواقع في الظهور بوضوح، مما يسمح للنظام بالاستقرار. ومن المهم أيضًا أن تكون المواقع العليا متباعدة بشكل جيد؛ إذا كانوا متقاربين جدًا، فقد لا يكون الترتيب ذو معنى، حيث أن المنافسة الشديدة لا تظهر حقًا من هو المتقدم حقًا. تبحث الورقة في ما إذا كان الفرق بين المواقع العليا أكبر من هامش الخطأ لكل منها. وعندما يكون الأمر كذلك، فإن الترتيب يعكس فرقًا حقيقيًا. عندما لا يكون الأمر كذلك، فمن المحتمل أن يكون مجرد ضجيج إحصائي. يجب أن يكون كلا الشرطين صحيحين في نفس الوقت، فلا يكفي أي منهما بمفرده. في 30 اختبارًا حول موضوع المنصة، تراوح عدد الإجابات اللازمة لتحقيق كلا الشرطين من 33 إلى 94، مع احتساب الإجابات التي تحتوي على استشهادات فقط.

ثلاثة من أصل 30 لم يصلوا إلى هذه النقطة حتى بعد 125 سؤالًا، كل ذلك على SearchGPT، حيث كانت أفضل المواقع متشابهة جدًا بحيث لا يمكن التمييز بينها. لا يوجد حد نهائي واحد ينطبق في كل مكان؛ ما يصلح لمنصة واحدة وموضوع قد لا يناسب منصة أخرى.

لقد كنا ندور حول هذا

في شهر يناير، ناقشت اكتشاف SparkToro بأن أدوات الذكاء الاصطناعي تقدم قائمة مختلفة من العلامات التجارية الموصى بها في أكثر من 99% من الوقت الذي تطرح فيه نفس السؤال. تركت تلك المقالة سؤالًا واحدًا دون إجابة: كم مرة يجب أن تسأل قبل أن تستقر النتائج؟ تقدم هذه الورقة أوضح إجابة واجهتها.

يشاركنا راند فيشكين، الذي قاد هذه الدراسة، ببعض النصائح المفيدة. قبل إنفاق أي أموال على تتبع رؤية الذكاء الاصطناعي، يقترح التأكد من أن مزود الخدمة الخاص بك “يعرض حساباته”. تعد ورقة IQRush طريقة رائعة للقيام بذلك لأنها توفر قاعدة توقف بسيطة، لذلك لا يتعين عليك الاعتماد فقط على الحدس حول عدد مرات التشغيل الكافية.

كما أنه يتناسب مع سلسلة من الدراسات التي غطتها SEJ خلال العام الماضي، حيث أبلغت كل منها عن أرقام اقتباس الذكاء الاصطناعي كما لو كانت ثابتة. يستدير هذا الشخص ويفحص القياس نفسه ويتساءل عما إذا كانت هذه الأرقام مستقرة بدرجة كافية للمقارنة في المقام الأول.

ما الذي يغيره هذا في تقاريرك؟

الرقم الموجود على لوحة القيادة الخاصة بك هو مجرد عينة واحدة. قبل الوثوق به، تحقق مما إذا كان جهاز التتبع الخاص بك يقوم بنفس الفحص بشكل متكرر ويبلغ عن نطاق، أو إذا كان يسحب البيانات مرة واحدة ويظهر رقمًا واضحًا. الرقم النظيف يمكن أن يكون في الواقع علامة تحذير، وليس طمأنينة.

من السهل إساءة تفسير المكسب بعد تغيير المحتوى. على سبيل المثال، قد تبدو زيادة ثلاث نقاط في حصة اقتباس SearchGPT الخاصة بك بمثابة دليل على أن جهدك قد أتى بثماره، ولكن مثل هذا التغيير يمكن أن يقع ضمن التباين الطبيعي لعمليات التشغيل المتعاقبة، وفقًا لبيانات الورقة الأصلية.

للمطالبة بالفوز، قم بالقياس قبل وبعد أكثر من مرة لكل منهما. لا يمكن لقراءة واحدة قبل وبعد أن تفصل تغييرك عن الضوضاء العادية.

النظام الأساسي الذي تقوم بقياسه يغير مقدار البيانات التي تحتاجها، وليس بالطريقة التي قد تتخيلها. يتعلق الأمر بكمية المعلومات المستقلة التي تحملها كل إجابة، وليس بعدد الاستشهادات التي تقدمها لك. يقوم جيميني بتجميع الاستشهادات في نفس مجموعة المواقع ضمن إجابة واحدة، لذا فإن العديد من هذه الاستشهادات تخبرك بنفس الشيء. يوفر SearchGPT عددًا أقل من الاستشهادات لكل إجابة ولكنه يوزعها، بحيث تحمل كل إجابة معلومات مستقلة أكثر مما يقترحه العدد الأولي. نفس العدد من الإجابات على محركين لا يشتري نفس الثقة، والميزانية التي تحدد الجوزاء يمكن أن تتركك في حالة تخمين على SearchGPT.

في بعض الأحيان تكون الإجابة الصادقة هي أنك لا تستطيع أن تقول ذلك بعد. ثلاثة من الاختبارات الثلاثين لم تفصل بشكل واضح بين أفضل مواقعها في حدود الميزانية. بالنسبة لهؤلاء، الخيار الصحيح هو الانتظار، وليس نشر تصنيف لا يمكن للبيانات دعمه. إن جهاز التتبع الذي يمكن أن يخبرك بأن “البيانات غير كافية” يستحق أكثر من جهاز يطبع طلبًا واثقًا في كل مرة تطلبها.

الجزء العلوي من الترتيب هو الجزء الذي يمكنك الدفاع عنه أكثر. مع وجود إجابات كافية، يبتعد القادة عن المنتصف والذيل، على الرغم من أنها ليست دقيقة. تتسع هوامش الخطأ بسرعة أسفل المقدمة، حتى تصبح المواضع المجاورة بمثابة رمي عملة معدنية، وحتى المراكز العشرة الأولى لم تكن نظيفة، مع هامش الخطأ النموذجي في موقع العشرة الأوائل الذي يمتد حوالي خمس مواضع وواحد من كل خمسة أوسع من 10. ثق بالقادة، وتعامل مع الوسط والأسفل على أنهما تقريبيان، ولا تبلغ عن المواضع الدقيقة بعد مقدمة القائمة.

ما لا تثبته الورقة

لا شيء من هذا يأتي من دراسة نهائية ومراجعة من قبل النظراء. إنها نسخة أولية مبنية على 30 اختبارًا لموضوع النظام الأساسي عبر ثلاثة محركات، باستخدام الأسئلة التي تم إنشاؤها بواسطة ChatGPT بدلاً من عمليات بحث المستخدم الحقيقية، على امتداد مجموعة واحدة. لن يتم نقل الأرقام الدقيقة بشكل واضح إلى مواضيعك، لذا تعامل معها على أنها شكل المشكلة، وليس جدول البحث.

تتضمن هذه الأعداد فقط الإجابات التي تحتوي على استشهادات، وهو الأمر الأكثر أهمية في SearchGPT، لأن جزءًا من أسئلته لا يُرجع أي استشهادات على الإطلاق. في موضوع واحد، أنتج 125 سؤالًا 104 إجابات قابلة للاستخدام، مع نسبة إخفاق قدرها 17%، لذلك ستحتاج إلى إرسال أسئلة أكثر مما تقترحه هذه المجاميع.

التحقق من الطريقة داخلي أيضًا. تقارن الورقة التصنيف الذي حددته مبكرًا بالتصنيف النهائي لنفس المجموعة، وليس ضد أي حقيقة خارجية. وهذا يختبر ما إذا كانت قاعدة الإيقاف متسقة مع نفسها، ولهذا السبب فإن نتيجة المطابقة من الفريق غير المنتسب تؤدي عملاً حقيقيًا هنا. مؤلفو ورقة أبريل تلك، يوليوس شولت، ومالت بليكر، وفيليب كوفمان، هم باحثون في جامعة سانت غالن. لقد قاموا بتشغيل مجموعة بيانات منفصلة وتوصلوا إلى نفس الحكم، وهو أن القراءة الواحدة غير موثوقة ويجب عليك أخذ عينات من المحرك بشكل متكرر حتى تثق بما يخبرك به.

أين يذهب هذا

لا تصل الورقة إلى ما يريده معظم الناس، وهي طريقة لمعرفة ميزانية التشغيل الخاصة بك قبل البدء في التحصيل. يترك سيلينسكي ذلك للعمل لاحقًا، ويلاحظ أن الرقم يعتمد على شكل نمط الاقتباس لكل منصة، لذلك من المحتمل ألا تأتي ميزانية عالمية واحدة.

التغيير الأكبر هو أن تقارير رؤية الذكاء الاصطناعي تتجه بنفس الطريقة التي سارت بها تقارير الإعلانات والتحليلات بالفعل، نحو الأرقام التي تحمل هامش خطأ بدلاً من الفاصلة العشرية الزائفة. يحدث هذا بينما لا تزال السباكة الأساسية مفقودة، نظرًا لأن Search Console ما زالت لا تخبرك بالنقرات التي جاءت من الذكاء الاصطناعي. وإلى أن يحدث ذلك، تقع على عاتقك مهمة إجراء الفحص أكثر من مرة والإبلاغ عن النطاق، وليس الرقم الفردي الذي تقدمه لك لوحة المعلومات.

المزيد من الموارد

صورة مميزة: ستوكيتي/شترتستوك

🚀 انطلق الآن لتحسين SEO موقعك ومتجرك الإلكتروني

إذا كنت ترغب في رفع ترتيب موقعك في نتائج Google، وزيادة الزيارات المجانية، وبناء باك لينك قوي عبر شبكة مواقع موثوقة، فاطلع على باقات تحسين محركات البحث من إشراق.

شاهد الباقات