Wybór modelu
System dobiera model do zadania. Prostą klasyfikację kieruje do modelu lokalnego, a złożone rozumowanie do dużego modelu.
Dobiera model do każdego zapytania.
Inteligentna infrastruktura AI dla wielu modeli
Warstwa routingu, która dla każdego żądania wybiera między Claude, GPT, Qwen, Nemotron, Gemma a modelami na twoim serwerze. Mierzy jakość, liczy koszt, pilnuje limitów i przełącza usługę po awarii.
Problem
Jeden model to wysoki koszt i ryzyko.
Gdy uzależniasz produkt od modelu jednego dostawcy, godzisz się na trzy rzeczy: jego cenę, limit i awarie. Gdy cena rośnie, tracisz marżę. Gdy wyczerpie się limit, użytkownik widzi błąd. Gdy usługa pada, razem z nią pada twój produkt.
Nie każde zadanie wymaga tego samego modelu. Uruchamiać najdroższy model, żeby streścił e-mail, to jak wynająć koparkę do wbicia gwoździa.
Co robi
Oceniamy każde zapytanie osobno i wybieramy model najlepszy do tej pracy. Jakość zostaje, rachunek spada.
Kalkulacja kosztów
System zapisuje koszt każdego żądania w tokenach. Miesięczna faktura cię nie zaskoczy.
Zarządzanie limitem
System śledzi limity dostawców. Gdy wykorzystanie zbliża się do granicy, z wyprzedzeniem rozdziela ruch.
Auto przekazanie
Gdy jedna usługa zwalnia albo pada, żądanie w kilka sekund trafia do alternatywy. Użytkownik tego nie widzi.
Pomiar
Stale mierzymy opóźnienie, trafność i koszt. Na tej podstawie system kieruje kolejne żądania.
Granica danych
Żądanie z danymi wrażliwymi nigdy nie opuszcza twojej infrastruktury. System kieruje je do modelu na twoim serwerze.
Dla kogo
Zespoły, które nie chcą zależeć od jednego dostawcy.
Zespoły produktowe zależne od jednego dostawcy
Produkty, które stają, gdy zmienia się cena, kończy limit albo pada serwis.
Firmy, które nie umieją przewidzieć kosztu modelu
Zespoły, które pod koniec miesiąca zaskakuje faktura i nie wiedzą, ile kosztuje każda funkcja.
Dane, których część musi zostać w firmie
Dla firm, które muszą trzymać część zapytań u siebie, choć nie uruchomią wszystkiego na własnym serwerze.
Demo na żywo
Przykładowe uruchomienie · bez prawdziwych danych
To samo zadanie, sześć modeli
- Nemotron·
- Claude·
- GPT·
- Qwen·
- Gemma · lokalnie·
Wersja demonstracyjna · prawdziwe pomiary wykonujemy na żądanie
Jak to działa
Cztery kroki.
01
Zdefiniuj
Ty decydujesz, których modeli używasz i jakie dane zostają u ciebie.
02
Przekieruj
System ocenia każde żądanie pod kątem jakości, opóźnienia i kosztu. Potem wybiera model z najlepszym wynikiem.
03
Śledź
Stale mierzymy wyniki. Gdy model działa gorzej, obniżamy jego ocenę i kierujemy do niego mniej ruchu.
04
Przekaż
Gdy usługa przestaje działać, system automatycznie przekierowuje żądania. Nie zmieniasz ani jednej linii kodu w aplikacji.
Technologia
Na czym to stoi.
- NVIDIA NIM
- TensorRT-LLM
- Nemotron
- Go
- Redis
- API zgodne z OpenAI
Pakujemy modele lokalne jako mikroserwisy NVIDIA NIM i przyspieszamy je przez TensorRT-LLM. Ten sam model działa w chmurze i we własnym centrum danych przez ten sam interfejs. Router napisaliśmy w Go, a pomiary i stan limitów trzymamy w Redis.
Grafiki
Częste pytania
Pytania przed rozmową.
Czy musimy zmienić nasz kod?
Nie. Dostajesz interfejs zgodny z OpenAI, więc wystarczy zmienić adres obecnych wywołań.
Skąd wiemy, do którego modelu trafia zapytanie?
Zapisujemy każde zapytanie: model, czas, koszt i powód wyboru. W panelu widzisz wszystko wiersz po wierszu.
Co się stanie, gdy padnie jeden dostawca?
System przekazuje żądanie do kolejnego dostępnego modelu i zapisuje tę zmianę. Niczego nie ukrywa, więc później zmierzysz różnicę jakości.
Czy wybrane dane mogą zostać w firmie?
Tak. Ustalasz regułę: ten typ treści trafia wyłącznie do modelu na naszym serwerze. System nie pozwala jej ominąć, a router nigdy nie wysyła takiego żądania na zewnątrz.
Czy kupisz to teraz?
Nie, wciąż budujemy produkt. Przyjmujemy zapisy na wczesny dostęp.
Kontakt
Coś podobnego
chcesz zlecić?
Opisz to jednym zdaniem. My powiemy, czego trzeba i ile to zajmie.