Open Source Self-hosted OpenAI-kompatibel v1.0 GA

Model Prism

Multi-tenant LLM Gateway mit intelligentem Routing und Kostenkontrolle. Drop-in Ersatz für die OpenAI API — für deine gesamte Organisation.

Auf GitHub ansehen Dokumentation

Alles was du brauchst

Model Prism bündelt alle kritischen Funktionen eines produktionsreifen LLM Gateways in einem einzigen, einfach deploybaren Service.

Intelligentes Auto-Routing

Classifier-basiertes Routing leitet jede Anfrage automatisch ans optimale Modell — basierend auf Komplexität, Kontext und konfigurierten Kostentiers. Regelsets und Fallbacks für maximale Kontrolle.

Multi-Tenant & RBAC

Vollständige Tenant-Isolation: Jedes Team, jeder Kunde erhält eigene API-Keys, Quotas und Berechtigungen. RBAC auf Tenant- und Modell-Ebene, LDAP/SSO-Integration.

Echtzeit-Kostenkontrolle

Token-genaues Cost Tracking pro Tenant, Modell und Zeitraum. Budget-Alerts, automatische Drosselung bei Überschreitung und detaillierte Analytics-Dashboards.

OpenAI-kompatible API

Drop-in Ersatz für die OpenAI API — keine Codeänderungen nötig. Unterstützt Chat Completions, Embeddings und Function Calling. Kompatibel mit jedem OpenAI SDK.

Prompt Logging & Audit Trail

Vollständiges Audit Log aller LLM-Anfragen — Prompt, Response, Modell, Tokens, Kosten und Timestamp. Exportierbar für Compliance und Debugging.

Horizontale Skalierung

Stateless-Architektur für einfaches horizontales Scaling. Kubernetes-ready, Health Checks, Graceful Shutdown. Von Single-Node bis Enterprise-Cluster.

In 5 Minuten live

Model Prism lässt sich mit Docker Compose sofort starten. Keine Datenbank-Setup, keine komplexe Konfiguration.

# 1. docker-compose.yml herunterladen
curl -O https://raw.githubusercontent.com/ohara-systems/model-prism/main/docker-compose.yml

# 2. API Keys konfigurieren
cat > .env <<EOF
OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=sk-ant-...
PRISM_ADMIN_KEY=your-secure-admin-key
EOF

# 3. Starten
docker compose up -d

# 4. Testen — drop-in für OpenAI API
curl http://localhost:8080/v1/chat/completions \
  -H "Authorization: Bearer your-tenant-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello, Model Prism!"}]
  }'

Response

{
  "id": "chatcmpl-prism-7f3a2b1",
  "model": "gpt-4o-mini", // routed automatically
  "choices": [{ "message": { "content": "Hello! ..." } }],
  "usage": { "total_tokens": 24, "cost_usd": 0.000014 }
}

Vollständige Anleitung View on GitHub

Unterstützte Provider

Model Prism verbindet sich mit allen großen LLM-Anbietern über einheitliche Adapter.

OpenAI

Anthropic

Google

Mistral

Cohere

Ollama

+ jeder OpenAI-kompatible Endpoint (vLLM, LM Studio, LocalAI, ...)

Bereit, Model Prism zu deployen?

Open Source, MIT-lizenziert, production-ready. Community auf GitHub — Issues, Discussions und Pull Requests willkommen.

Model Prism auf GitHub