اختيار النموذج
يختار النظام حسب نوع المهمة. يرسل التصنيف القصير إلى النموذج المحلي، والاستدلال المعقد إلى النموذج الكبير.
يختار النموذج المناسب لكل طلب.
بنية AI ذكية متعددة النماذج
طبقة توجيه تختار لكل طلب بين Claude وGPT وQwen وNemotron وGemma والنماذج الموجودة على خادمك. تقيس الجودة وتحسب التكلفة وتدير الحصة. وإذا تعطلت خدمة، تنتقل إلى غيرها.
المشكلة
الاعتماد على نموذج واحد مكلف وهش.
حين تربط منتجك بنموذج مزود واحد، فأنت تقبل سعره وحصته وانقطاعاته. إذا رفع السعر، يتراجع هامش منتجك. إذا نفدت الحصة، يرى المستخدم خطأ. وإذا تعطلت الخدمة، يتعطل منتجك معها.
لا تحتاج كل مهمة إلى النموذج نفسه. تشغيل أغلى نموذج لتلخيص رسالة بريد يشبه استئجار حفارة لدق مسمار.
ماذا يفعل
يفحص كل طلب على حدة، ويختار النموذج الملائم لتلك المهمة. لا تهبط الجودة، وتقل الفاتورة.
حساب التكلفة
يسجل تكلفة كل طلب حسب عدد الرموز. وهكذا تعرف قيمة الفاتورة الشهرية مسبقًا.
إدارة الحصص
يراقب النظام حدود المزوّدين، ويعيد توزيع الطلبات قبل بلوغها.
تسليم تلقائي
إذا بطؤت خدمة أو تعطلت، نوجّه الطلب خلال ثوانٍ إلى بديل. لا يشعر المستخدم بالتغيير.
القياس
يقيس النظام زمن الاستجابة والدقة والتكلفة باستمرار. ويحدّث مسار الطلب وفق النتائج.
حدود البيانات
لا يغادر أي طلب يتضمن بيانات حساسة خادمك. يذهب مباشرة إلى النموذج الموجود عليه.
لمن صُمم
فرق لا تريد الاعتماد على مزوّد واحد.
فرق منتجات تعتمد على مزوّد واحد
لأنظمة يتوقف فيها المنتج عند تغيّر السعر أو امتلاء الحصة أو انقطاع الخدمة.
شركات تفاجئها تكلفة النماذج
للفرق التي تفاجئها فاتورة نهاية الشهر ولا تعرف استهلاك كل ميزة.
بيانات يجب أن يبقى بعضها داخل الشركة
عندما لا تريد أن تخرج بعض الطلبات إلى الخارج، ولا تستطيع تشغيل كل شيء على خوادمك.
عرض مباشر
تشغيل مثال · ليس ببيانات حقيقية
المهمة نفسها، ستة نماذج
- Nemotron·
- Claude·
- GPT·
- Qwen·
- Gemma · محلي·
تشغيل تجريبي · نقيس القيم الفعلية عند الطلب
كيف يعمل
أربع خطوات.
01
حدّد
أنت تحدد النماذج التي يمكن استخدامها والبيانات التي لا يجوز أن تخرج.
02
وجّه
يقيّم النظام كل طلب حسب الجودة وزمن الاستجابة والتكلفة، ثم يختار النموذج الأعلى تقييمًا.
03
راقب
نقيس النتائج باستمرار. إذا تراجع نموذج، ينخفض تقييمه وتقل الطلبات الموجّهة إليه.
04
سلّم
يتغير مسار الطلب تلقائيًا عند الانقطاع. ولا تعدّل سطرًا واحدًا في كود التطبيق.
التقنية
على ماذا يقوم؟
- NVIDIA NIM
- TensorRT-LLM
- Nemotron
- Go
- Redis
- API متوافق مع OpenAI
نغلّف النماذج المحلية كخدمات NVIDIA NIM مصغّرة ونسرّعها بـ TensorRT-LLM. يعمل النموذج نفسه في السحابة أو في مركز بياناتك عبر الواجهة نفسها. كتبنا الموجّه بـ Go، ونحفظ القياسات وحالة الحصص في Redis.
الصور
الأسئلة الشائعة
ما تريد معرفته قبل الاجتماع.
هل نحتاج إلى تغيير الكود؟
لا. يعطي واجهة متوافقة مع OpenAI. يكفي أن تغيّر عنوان الاستدعاءات الحالية.
كيف تعرف أي نموذج يعالج الطلب؟
نسجّل كل طلب: أي نموذج استخدمنا، كم استغرق، كم كلّف، ولماذا اخترناه. ترى ذلك في اللوحة سطرًا بسطر.
ماذا يحدث إذا تعطّل مزوّد؟
ينقل النظام الطلب إلى أول نموذج مناسب متاح. ويسجل هذا النقل بوضوح، لتقيس فرق الجودة لاحقًا.
هل يمكنك منع بيانات محددة من مغادرة خوادمك؟
نعم. تكتب قاعدة تحدد أن هذا النوع من المحتوى يذهب إلى النموذج على خادمك فقط. يلتزم الموجّه بها ولا يقترح إرسال الطلب إلى أي جهة خارجية.
هل يمكنك شراؤه الآن؟
لا، ما زال قيد التطوير. قائمة الوصول المبكر مفتوحة.
تواصل معنا
هل هو شيء مشابه؟
تريد تنفيذه؟
اشرحه بجملة واحدة. سنخبرك بما يلزم وكم سيستغرق.