كيفية بناء إطار تجريبي قابل للقياس

قام أحد المؤسسين بعرض لوحة التحكم التجريبية الخاصة به لي الشهر الماضي، وهو فخور بذلك. جارٍ إجراء واحد وأربعين اختبارًا. طلبت منه تسمية ثلاثة من الشركات التي غيرت قرارًا حقيقيًا في الربع الماضي. لقد صمت، وانتقل لبعض الوقت، وهبط على واحدة. ربما.

انه ليس مهملا. لقد بدأ مبكرًا في مواجهة مشكلة قادمة لكل فريق نمو. كان الجزء الصعب من إجراء التجربة هو بنائها. لقد أطلعت المصمم، وانتظرت متغيرات الإعلان، وقمت بتوصيل التتبع، وأنشأت الصفحة. أسبوع من العمل لإجراء اختبار واحد على الهواء مباشرة، وربما ساعة من التفكير الحقيقي وراء ذلك. لقد انتهى أسبوع البناء الآن. يمكنه إطلاق 40 اختبارًا في الوقت الذي استغرقه إطلاق اختبار واحد، وهو يفعل ذلك، ولا يعلمه أي منها تقريبًا أي شيء.

لم يكن الحجم أبدًا هو ما يعيق الفرق. ما أعاقهم هو معرفة نتيجة حقيقية من الضوضاء العشوائية، وإيجاد الجرأة لقتل الخاسرين قبل أن يستنزفوا الميزانية. حل الذكاء الاصطناعي المشكلة الرخيصة وترك المشكلة الباهظة الثمن في مكانها بالضبط. ثم أعطت الجميع طريقة أسرع للخطأ.

إذن، هذه هي القاعدة التي تهم الآن. إطار العمل الذي تريده هو الإطار الذي يصعب اجتيازه حيث يصبح تشغيل الاختبارات أسهل.

ما أصبح أرخص

إن عدم التماثل الذي كتبت عنه في بناء الفريق يمر مباشرة عبر خط أنابيب التجريب. إن تدوير المتغيرات لا يكلف شيئًا تقريبًا اليوم. إن كتابة فرضية تستحق الاختبار تكلف ما كانت تكلفه دائمًا. سيقوم أحد النماذج بتحديد حجم الاختبار في ثوانٍ، وسيقوم بصياغة القراءة الأسبوعية في دقيقة واحدة، ولا يزال غير قادر على إخبارك ما إذا كنت ستصدق هذه القراءة أم لا. يتطلب ذلك شخصًا أحرقته منحنيات جميلة بما يكفي لعدم الثقة في الشخص التالي.

قم بتوجيه الذكاء الاصطناعي إلى أعمال الإنتاج وحافظ على وضوح الرؤية بشأن الفرضية والتصميم ونداء التوقف ومركبات الأمر برمته. قم بتوجيهها نحو كل ذلك، وبذلك تكون قد قمت ببناء آلة لنقل الضوضاء بشكل أسرع مما يمكنك التقاطه.

ابدأ برهانات أقل

خطوتي الأولى مع فريق جديد هي تقليص حجم الاختبارات المتراكمة، وليس تغذيتها. اسأل نموذجًا للأفكار، وسوف يسلمك 200 فكرة بكل سرور. إن قائمة تضم 200 فكرة غير مرتبة ليست استراتيجية. إنها طريقة للشعور بالانشغال بينما تنتظر الرهانات المهمة دورها. يتمثل العمل في اختيار الخمسة الذين يتم احتسابهم في هذا الربع وقول لا للـ 195 الآخرين بصوت عالٍ، حيث يمكن للفريق سماع ذلك.

نقوم بترتيب كل فكرة حسب ثلاثة أسئلة:

• ما حجم الربح إذا هبط؟
• ما مدى تأكدنا من دخولنا؟
• ما هي تكلفة التشغيل؟

الأفكار الرخيصة والثقة العالية والمرتفعة تذهب إلى المقدمة. الشخص الذي شاهده أحد المؤسسين على LinkedIn أثناء الإفطار ينتظر في الطابور مثل أي شيء آخر، ما لم يمسح نفس الشريط. ورقة التسجيل ليست الانضباط. الانضباط يقتل الفكرة الجيدة قبل أن تأكل ثلاثة أسابيع.

أراد أحد العملاء التخلص من عملية الإعداد بالكامل بسبب الغريزة. لقد سجل نتائج سيئة من حيث الثقة وأسوأ من حيث التكلفة، لذلك أجرينا اختبارًا على ثلاث شاشات مقابل التدفق الذي كان لديه بالفعل. غريزته كانت خاطئة. أعاد الاختبار الرخيص ربع الوقت الهندسي الذي كان على وشك إشعال النار فيه.

يمكن للنموذج أن يكتب الأفكار ويخرج النتائج. لا يمكنها أن تخبرك بالرهان الذي يمكن لشركتك أن تتحمله. هذه المكالمة لك.

قم ببناء الاختبار بحيث تكون الإجابة مهمة

معظم التجارب التي “تفشل” لم تتح لها الفرصة للنجاح، لأنها لم يتم تصميمها للإجابة على أي شيء. ينقل الاختبار النظيف متغيرًا واحدًا مقابل عنصر تحكم حقيقي، ويطبق على حجم العينة الذي حددته قبل البدء، ويحافظ على حاجز الحماية على الرقم الذي ترفض الإضرار به. قم بتغيير العنوان والتخطيط والجمهور في وقت واحد، وسيتجاهلك المصعد. لن تعرف أبدًا أي حركة أدت إلى نجاحها. اقرأ النتيجة في اليوم الثاني لأن الخط آخذ في الارتفاع، وقمت بترقية الضوضاء إلى استراتيجية.

هذا هو المكان الذي يساعد فيه الذكاء الاصطناعي، بطريقة ضيقة وحقيقية. أعتمد عليه لمعرفة المدة التي يجب أن يستغرقها الاختبار قبل أن يتمكن من قول أي شيء، ولمحاكاة النتيجة قبل أن أنفق دولارًا، وللتعرف على الإرباك الواضح الذي أفتقده في السادسة صباحًا. الشيء الوحيد الذي لم أسمح له بفعله أبدًا هو اختيار المقياس. سلم الهدف لعارضة أزياء، وسوف تجد لك فوزًا رائعًا على رقم لا يدفع أحد ثمنه، في حين أن الرقم الذي يبقي الأضواء مضاءة ينزلق بهدوء في الاتجاه الآخر. إن قاعدة “الإنسان في الحلقة” التي يكررها الجميع بشأن محتوى الذكاء الاصطناعي لا تقل صعوبة عن تصميم الاختبار.

تشغيل الآلة، وليس الحكم

هذا هو المكان الذي يستحق فيه الذكاء الاصطناعي مقعده. البناء، والتباديل المتغير، وضمان الجودة، وتغيير الحجم، وتنسيق النظام الأساسي، والمسودة الأولى التقريبية للقراءات: أعط كل ذلك للأدوات. تقوم Meta Advantage+ وGoogle Performance Max بتدوير المواد الإبداعية وعروض الأسعار. يقوم GrowthBook وStatsig بتشغيل الإحصائيات والحفاظ على صدق مجموعات الاختبار الخاصة بك. تحتفظ “إحصاءات Google” 4 مع Mixpanel أو Heap ببيانات الحدث. يمكن للنموذج تحويل النتائج الأولية إلى لغة إنجليزية بسيطة، لذلك يقضي المحلل الخاص بك الساعة في قراءتها بدلاً من تنسيق الشرائح. لقد وضعت المكدس الكامل في مكان آخر ولن أكرره هنا.

ما لا يترك الإنسان أبدًا: الفرضية، والتعريف المتري، والحكم على ما إذا كانت النتيجة حقيقية، والدعوة إلى قياسها أو دفنها. تسليم العمل. احتفظ بالحكم. معظم هذا الإطار يعيش في هذا السطر الواحد.

إيقاع يمكنك الوثوق به

إن المضي بسرعة دون أي إيقاع سيوصلك إلى الحطام عاجلاً. نحن نحمل قراءة واحدة في الأسبوع. يترك كل اختبار مباشر تلك الغرفة بحكم واحد: القياس، أو القتل، أو التكرار. ليس هناك “إعطاء الأمر بضعة أيام أخرى” ما لم يصل الاختبار بصراحة إلى حجم العينة الذي حددناه. ويدخل كل حكم في سجل بجانب الفرضية التي اختبرها وما توصلنا إليه.

يقوم هذا السجل بالعمل الهادئ وغير الجذاب الذي يحافظ على صدق النظام بأكمله. بعد مرور عام، هذا هو السبب في أن العرض التقديمي المتحمس للموظف الجديد يُقابل بـ “لقد قمنا بذلك في مارس، وهذا ما حدث”، ولماذا لا يختفي الفوز الحقيقي من الربع الأخير في الأسبوع التالي لشحنه. إن إجراء التجارب أصبح رخيصًا الآن. السجل هو ما يحول كومة منها إلى شيء تعرفه بالفعل.

جاء إلينا أحد عملاء السلسلة B لإجراء 20 “اختبارًا” شهريًا ولا يثق في أي منهم تقريبًا. لقد قمنا بتقسيمها إلى ستة اختبارات تعمل بشكل صحيح، ونقلنا الإنتاج إلى الأدوات، ووضعنا حكمًا أسبوعيًا واحدًا على نطاق واسع أو قتل أمام أحد صانعي القرار. خلال ربع عام، ارتفع معدل النجاح في الاختبارات التي قاموا بتوسيع نطاقها من رمية العملة المعدنية إلى ما يقرب من اثنين من كل ثلاثة، وانخفضت تكلفة الاستحواذ بنسبة 24٪. لقد أجروا ثلث عدد الاختبارات ووثقوا أخيرًا في الاختبارات التي أجروها.

كيف تتسرب الميزانية حقا

تظهر نفس مجموعة الأخطاء في كل حساب تقريبًا، ويعمل الذكاء الاصطناعي على تسريعها جميعًا. تقوم الفرق باستدعاء الفائز في اليوم الثاني لأن لوحة المعلومات يتم تحديثها مباشرة ويبدو المنحنى ودودًا. إنهم يجرون اختبارات أصغر من أن تصل إلى الأهمية، ثم يقرأون الحظوظ في الثبات. إنهم يطاردون رقمًا يمكن للنموذج دفعه بينما ينجرف الرقم المهم في الاتجاه الخاطئ. والعادة الأكثر تكلفة على الإطلاق: أنهم لا يقتلون أي شيء أبدًا، لذلك يتضخم حجم الأعمال المتراكمة، وينتشر الإنفاق بشكل ضئيل، ولا يحصل أي اختبار على فرصة عادلة.

لا شيء من هذا جديد. لقد وضعه الذكاء الاصطناعي على مدار الساعة بشكل أسرع، وهذا هو السبب الرئيسي الذي يجعل الإطار يحافظ على شكله تحت السرعة.

الوجبات الجاهزة

الفرق التي تفوز في تسويق الأداء في عصر الذكاء الاصطناعي ليست هي التي تجري أكبر عدد من التجارب. إنهم الأشخاص الذين ما زالوا قادرين على تصديق نتائجهم عندما يرتفع الحجم. التنفيذ الرخيص هو هدية حقيقية. إنه يؤتي ثماره فقط إذا ارتفعت معاييرك بنفس سرعة ارتفاع إنتاجك. اجعل تمرير النظام أكثر صعوبة حيث يصبح تشغيله أسهل، وحافظ على حكم الإنسان، واترك الآلة تقوم بالباقي. وهذا ما يصمد عندما ينخفض ​​سعر اختبار آخر إلى لا شيء تقريبًا.

المزيد من الموارد:

صورة مميزة: استوديو Prostock / Shutterstock

🚀 انطلق الآن لتحسين SEO موقعك ومتجرك الإلكتروني

إذا كنت ترغب في رفع ترتيب موقعك في نتائج Google، وزيادة الزيارات المجانية، وبناء باك لينك قوي عبر شبكة مواقع موثوقة، فاطلع على باقات تحسين محركات البحث من إشراق.

شاهد الباقات