Model seçimi
İşin türüne göre karar verir: kısa sınıflandırma yerel modele, karmaşık akıl yürütme büyük modele gider.
Her istek için doğru modeli seçer.
Intelligent Multi-Model AI Infrastructure
Claude, GPT, Qwen, Nemotron, Gemma ve kendi sunucundaki modeller arasında istek bazında karar veren bir yönlendirme katmanı. Kaliteyi ölçer, maliyeti hesaplar, kotayı yönetir, bir servis çökerse diğerine geçer.
Sorun
Tek modele bağlanmak pahalı ve kırılgan.
Bir ürünü tek bir sağlayıcının modeline bağladığında üç şeyi birden kabul etmiş olursun: onun fiyatını, onun kotasını ve onun kesintisini. Fiyat arttığında ürünün marjı gider, kota dolduğunda kullanıcı hata görür, servis çöktüğünde ürünün de çöker.
Üstelik her iş aynı modeli hak etmez. Bir e-postayı özetlemek için en pahalı modeli çalıştırmak, çivi çakmak için kepçe kiralamaktır.
Ne yapıyor
Her isteği tek tek değerlendirir ve o iş için en doğru modeli seçer. Kalite düşmüyor, fatura düşüyor.
Maliyet hesabı
Her isteğin kaça mal olduğunu jeton bazında tutar. Aylık fatura sürpriz olmaz.
Kota yönetimi
Sağlayıcı limitlerini takip eder, sınıra yaklaşınca trafiği önceden dağıtır.
Otomatik devretme
Bir servis yavaşlar veya çökerse istek saniyeler içinde alternatife gider; kullanıcı fark etmez.
Ölçüm
Gecikme, doğruluk ve maliyet sürekli ölçülür. Yönlendirme kararı bu ölçümlerle güncellenir.
Veri sınırı
Hassas veri içeren istek hiçbir koşulda dışarı çıkmaz. Kendi sunucundaki modele yönlendirilir.
Kimler için
Tek sağlayıcıya bağlı kalmak istemeyen ekipler.
Tek sağlayıcıya bağlı ürün ekipleri
Fiyat değiştiğinde, kota dolduğunda ya da servis kesildiğinde ürünü duran yapılar.
Model maliyeti öngörülemeyen şirketler
Fatura ay sonunda sürpriz olan, hangi özelliğin ne kadar tükettiğini bilmeyen ekipler.
Bir kısmı içeride kalması gereken veriler
Bazı isteklerin dışarı hiç çıkmaması gereken, ama her şeyi kendi sunucusunda çalıştıramayan kurumlar.
Canlı demo
Örnek çalıştırma · gerçek veriyle değil
Aynı görev, altı model
- Nemotron·
- Claude·
- GPT·
- Qwen·
- Gemma · yerel·
Örnek çalıştırma · gerçek ölçümler istek anında yapılır
Nasıl çalışır
Dört adım.
01
Tanımla
Hangi modellerin kullanılabileceğini ve hangi verinin dışarı çıkamayacağını sen belirlersin.
02
Yönlendir
Gelen her istek kalite, gecikme ve maliyet ekseninde puanlanır. Kazanan model seçilir.
03
İzle
Sonuçlar sürekli ölçülür. Bir model kötüleşirse puanı düşer, trafiği azalır.
04
Devret
Kesinti anında yönlendirme otomatik değişir. Uygulama tarafında tek satır kod değişmez.
Teknoloji
Neyin üzerine kuruldu.
- NVIDIA NIM
- TensorRT-LLM
- Nemotron
- Go
- Redis
- OpenAI uyumlu API
Yerel modeller NVIDIA NIM mikroservisleri olarak paketlenip TensorRT-LLM ile hızlandırılıyor; aynı model hem bulutta hem kendi veri merkezinde aynı arayüzle çalışıyor. Yönlendirici Go ile yazıldı, ölçüm ve kota durumu Redis üzerinde tutuluyor.
Görseller
Sık sorulanlar
Görüşmeden önce merak edilenler.
Kodumuzu değiştirmemiz gerekiyor mu?
Hayır. OpenAI uyumlu arayüz veriyor, mevcut çağrılarınızın adresini değiştirmeniz yeterli.
Hangi modele gittiğini nasıl biliyoruz?
Her istek kaydediliyor: hangi model, ne kadar sürdü, ne kadar tuttu, neden o model seçildi. Panelde satır satır görünüyor.
Bir sağlayıcı çökerse ne olur?
İstek sıradaki uygun modele devrediliyor. Devretme kaydediliyor, sessizce yapılmıyor, böylece kalite farkını sonradan ölçebiliyorsunuz.
Belirli veriyi dışarı çıkmasın diyebilir miyiz?
Evet. Kural yazıyorsunuz: şu içerik tipi yalnız kendi sunucumuzdaki modele gitsin. Kural ihlal edilemiyor, yönlendirici o isteği dışarıya hiç önermiyor.
Şu an satın alınabilir mi?
Hayır, geliştirme aşamasında. Erken erişim listesi açık.
İletişim
Benzer bir şey mi
yaptırmak istiyorsun?
Bir cümleyle anlat. Ne gerektiğini ve ne kadar süreceğini biz söyleyelim.