توفر AWS التوجيه السريع والتخزين المؤقت لخدمة Bedrock LLM الخاصة بها

مع انتقال الشركات من تجربة الذكاء الاصطناعي التوليدي في نماذج أولية محدودة إلى وضعها في مرحلة الإنتاج، فإنها أصبحت أكثر وعيًا بالأسعار. إن استخدام نماذج اللغات الكبيرة ليس بالأمر الرخيص، بعد كل شيء. إحدى الطرق لتقليل التكلفة هي العودة إلى المفهوم القديم: التخزين المؤقت. والطريقة الأخرى هي توجيه الاستعلامات الأبسط إلى نماذج أصغر وأكثر فعالية من حيث التكلفة. في مؤتمرها re:invent في لاس فيجاس، أعلنت AWS اليوم عن هاتين الميزتين لخدمة الاستضافة Bedrock LLM الخاصة بها.

لنتحدث عن خدمة التخزين المؤقت أولاً. “لنفترض أن هناك مستندًا، ويقوم العديد من الأشخاص بطرح أسئلة حول نفس المستند. أخبرني أتول ديو، مدير المنتج في شركة Bedrock، في كل مرة تدفع فيها. “وتصبح نوافذ السياق هذه أطول فأطول. على سبيل المثال، مع نوفا، سيكون لدينا 300 ألف [tokens of] السياق و 2 مليون [tokens of] سياق. أعتقد أنه بحلول العام المقبل، يمكن أن يرتفع أكثر من ذلك بكثير.

يضمن التخزين المؤقت بشكل أساسي أنك لست مضطرًا إلى الدفع مقابل النموذج للقيام بعمل متكرر وإعادة معالجة نفس الاستعلامات (أو ما شابه ذلك إلى حد كبير) مرارًا وتكرارًا. وفقًا لـ AWS، يمكن أن يؤدي هذا إلى تقليل التكلفة بنسبة تصل إلى 90%، ولكن هناك منتج ثانوي إضافي لذلك وهو أيضًا أن زمن الوصول للحصول على إجابة من النموذج أقل بكثير (تقول AWS بنسبة تصل إلى 85%). شهدت Adobe، التي اختبرت التخزين المؤقت السريع لبعض تطبيقات الذكاء الاصطناعي التوليدية على Bedrock، انخفاضًا بنسبة 72% في وقت الاستجابة.

الميزة الرئيسية الجديدة الأخرى هي التوجيه السريع الذكي لـ Bedrock. ومن خلال ذلك، يمكن لـ Bedrock توجيه المطالبات تلقائيًا إلى نماذج مختلفة في نفس عائلة النماذج لمساعدة الشركات على تحقيق التوازن الصحيح بين الأداء والتكلفة. يتنبأ النظام تلقائيًا (باستخدام نموذج لغة صغير) بكيفية أداء كل نموذج لاستعلام معين ثم توجيه الطلب وفقًا لذلك.

“في بعض الأحيان، قد يكون استفساري بسيطًا جدًا. هل أحتاج حقًا إلى إرسال هذا الاستعلام إلى النموذج الأكثر قدرة، وهو مكلف للغاية وبطيء؟ ربما لا. وأوضح ديو أنه في الأساس، أنت تريد إنشاء فكرة “مرحبًا، في وقت التشغيل، بناءً على المطالبة الواردة، أرسل الاستعلام الصحيح إلى النموذج الصحيح”.

توجيه LLM ليس مفهومًا جديدًا بالطبع. تعالج الشركات الناشئة مثل Martian وعدد من المشاريع مفتوحة المصدر هذا الأمر أيضًا، ولكن من المرجح أن تجادل AWS بأن ما يميز عروضها هو أن جهاز التوجيه يمكنه توجيه الاستعلامات بذكاء دون الكثير من المدخلات البشرية. ولكنها محدودة أيضًا، حيث يمكنها فقط توجيه الاستعلامات إلى النماذج الموجودة في نفس عائلة النماذج. ومع ذلك، أخبرني ديو أنه على المدى الطويل، يخطط الفريق لتوسيع هذا النظام ومنح المستخدمين المزيد من قابلية التخصيص.

وأخيرًا، تطلق AWS أيضًا سوقًا جديدًا لـ Bedrock. وقال ديو إن الفكرة هنا هي أنه على الرغم من أن أمازون تتعاون مع العديد من موفري النماذج الأكبر حجمًا، إلا أن هناك الآن مئات من النماذج المتخصصة التي قد يكون لها عدد قليل من المستخدمين المخصصين فقط. نظرًا لأن هؤلاء العملاء يطلبون من الشركة دعمهم، تطلق AWS سوقًا لهذه النماذج، حيث يكون الاختلاف الرئيسي الوحيد هو أنه سيتعين على المستخدمين توفير وإدارة سعة البنية التحتية الخاصة بهم بأنفسهم – وهو أمر تتعامل معه Bedrock عادةً تلقائيًا. في المجمل، ستقدم AWS حوالي 100 من هذه النماذج الناشئة والمتخصصة، مع المزيد في المستقبل.