LLM Gateway
Gateway API open-source per 250+ modelli LLM da 40+ provider, con interfaccia unificata OpenAI-compatibile
LLM Gateway è un gateway API open-source che permette di accedere a oltre 250 modelli LLM da 40+ provider (OpenAI, Anthropic, Google e altri) attraverso un'unica interfaccia compatibile con le API OpenAI. Offre routing automatico, failover, caching delle prompt, supporto BYOK (Bring Your Own Keys) e analytics unificate. Il piano gratuito include accesso a tutti i modelli con solo un 5% di fee sui crediti acquistati, mentre il piano Enterprise aggiunge retention completa dei payload, SLA 99.9% e controlli avanzati.
Caratteristiche
- Accesso unificato a 250+ modelli: interfaccia OpenAI-compatibile per 40+ provider (OpenAI, Anthropic, Google, ecc.).
- Auto-routing intelligente: routing automatico tra provider con failover e regole personalizzabili.
- Bring Your Own Keys (BYOK): usa le tue chiavi API provider senza fee di piattaforma.
- Prompt caching: cache delle prompt per risposte più veloci e costi ridotti.
- Analytics unificate: log delle attività e export dati con retention configurabile.
- Controlli di budget e spesa: limiti di spesa per progetto e team management avanzato.
- Enterprise guardrails: rilevamento prompt injection, PII e secret detection (piano Enterprise).
- Open-source self-hosting: licenza AGPLv3 per deployment on-premise gratuito.
Pro e contro
Pro
- ✓Open source (AGPLv3) con possibilità di self-hosting gratuito
- ✓Piano gratuito permanente senza carta di credito
- ✓BYOK (Bring Your Own Keys) senza fee di piattaforma
- ✓API REST compatibile con OpenAI per 250+ modelli
- ✓Refund self-serve entro 14 giorni se usato < 10% dei crediti
Casi d'uso
Domande frequenti
Cos'è LLM Gateway?
LLM Gateway è un gateway API open-source che permette di accedere a oltre 250 modelli LLM da 40+ provider attraverso un'unica interfaccia compatibile con le API OpenAI. Offre routing automatico, failover, caching e analytics unificate.
Quanto costa LLM Gateway?
Esiste un piano gratuito permanente senza carta di credito. Paghi per-token al costo di ciascun provider più una fee di piattaforma del 5% sui crediti acquistati. Con BYOK (Bring Your Own Keys) non ci sono fee di piattaforma. Il piano Enterprise include sconti volume e SLA 99.9%.
C'è un piano gratuito?
Sì, il piano Free è permanente e include accesso a tutti i 200+ modelli, con limiti di rate (20 req/min sui modelli free). Non richiede carta di credito.
È possibile fare self-hosting?
Sì, LLM Gateway è open source sotto licenza AGPLv3 e può essere self-hostato gratuitamente. Puoi anche usare la versione hosted e pagare solo la fee del 5% sui crediti.
C'è un'API?
Sì, l'API è compatibile con lo standard OpenAI e permette di accedere a 250+ modelli LLM da 40+ provider attraverso un'unica interfaccia unificata.
Come posso iniziare?
Puoi iniziare gratuitamente senza carta di credito sul piano Free, oppure testare i modelli nel Playground prima di committare. Per soluzioni enterprise, contatta il team per un piano personalizzato.