تريد صناعات التشغيل زيادة استخدام الذكاء الاصطناعي المترجمة مع “AI-in-A-box” يسمى Lemony AI

ترتدي الصناعات في وقت التشغيل على البنية التحتية المحلية من الذكاء الاصطناعي مع جهاز محمول “AI-in-A-Box” يسمى Lemony AI.

من المفترض أن يكون حجم شطيرة ، من المفترض أن يدير نموذج لغة كبير (LLM) ، وكلاء الذكاء الاصطناعى وسير العمل من الذكاء الاصطناعي على عقدة واحدة. لا يتطلب كل الليمون سوى 65 واط من الطاقة ، وهو ما يعادل شحن الكمبيوتر المحمول ، ويمكن تكديسه وتوصيله لتشكيل مجموعات أكبر من الذكاء الاصطناعي.

أخبر Sascha Buehrle ، المؤسس المشارك والرئيس التنفيذي لشركة Uptime ، TechCrunch أن كل عقدة يمكنها الحفاظ على LLM ما يصل إلى 75 مليار معلمة ، ويمكن أن تستضيف نماذج مفتوحة المصدر أو إصدارات تم تحديثها من النماذج المغلقة. في مجموعة من العقد الليمون ، يمكن لكل جهاز تشغيل نموذج مختلف.

يتم إطلاق وقت التشغيل مع شراكات مع IBM و JetBrains لتزويد عملائها بالوصول الأسهل إلى طرز الذكاء الاصطناعى ، بما في ذلك طرز IBM المغلقة.

مثل معظم الشركات الناشئة التكنولوجية ، كانت فكرة Lemony AI تنبع من مشروع جانبي: المؤسسين المشاركين في وقت التشغيل ، Buehrle و Ivan Kuleshov ، كانوا يحاولون معرفة ما إذا كان بإمكانهم توزيع نماذج اللغة على أجهزة الكمبيوتر الصغيرة لـ Raspberry Pi ، وعلى الرغم من أن هذا لم يكن مرتبطًا في الأصل بالـ AI ، فقد بدأوا في محاولة لمشاهدة ما يمكن أن يرىه هذا الأمر.

عندما أدركوا أن النماذج الجارية على الأجهزة المحلية يمكن أن تثبت المفتاح لإلغاء تأمين المزيد من اعتماد منظمة العفو الدولية من قبل المؤسسات-على سبيل المثال ، الشركات التي لا ترغب في استخدام النماذج المستندة إلى مجموعة النظراء-بدأوا في بناء جهاز خاص بهم. لقد احتلوا الصغار مع التركيز على خصوصية البيانات أن تجعل الشركات تعتمد الذكاء الاصطناعي بشكل أسرع.

“نحن بحاجة إلى بناء شيء صغير يمكن أن يذهب بسهولة إلى الفرق ، وأيها [does] “لا تتطلب أي اتخاذ القرارات على مستوى المنظمة-جلب حلول الذكاء الاصطناعى التوليدي المحلي في فرق الأعمال ، بشكل أساسي” ، قال بايرلي.

تقول الشركة إنها شهدت بالفعل طلبًا قويًا من الأعمال التجارية في الصناعات الخاضعة للتنظيم مثل التمويل والرعاية الصحية والقانون.

“كل شيء يبقى في صندوقك” ، قال بايرل. “لذا فإن مستنداتك وملفاتك ورسائل البريد الإلكتروني الخاصة بك – يتم استضافة النماذج في المربع ، والوكلاء يعملون محليًا في المربع ، ولا شيء يغادر المربع.”

جمعت وقت التشغيل حتى الآن مليوني دولار في جولة تمويل البذور بقيادة مشاريع حقيقية ، بمشاركة من الخريجين في فنتشرز ، والطائرات ، وبعض المستثمرين الملاك. ستستخدم الشركة الأموال لتطوير أجهزتها.

تقول الشركة الناشئة إن الخطة الآن هي الحصول على البرنامج الذي طورته لأجهزة الكمبيوتر الخاصة بـ Micro AI ، و Lemony OS ، للعمل على أجهزة الشركات الأخرى ، مثل Nvidia DGX Spark. كما يريد توسيع البرنامج من تركيزه الحالي والمستخدم إلى واحد يمكن استخدامه من قبل الفرق.

يكلف Lemony AI 499 دولارًا شهريًا للاستخدام ، ويمكن الوصول إليه من قبل ما يصل إلى خمسة مستخدمين.