FreeLLMAPI: Kostenlose KI-Anbieter über eine einzige API nutzen

Dieser Artikel wurde bereits 130x gelesen...

Wer verschiedene KI-Modelle ausprobieren oder KI-Anwendungen kostengünstig betreiben möchte, stößt schnell auf ein Problem: Jeder Anbieter besitzt eigene API-Schlüssel, Limits und Schnittstellen. Das Open-Source-Projekt FreeLLMAPI versucht genau dieses Problem zu lösen. Es bündelt die kostenlosen Kontingente verschiedener KI-Anbieter hinter einer gemeinsamen, OpenAI-kompatiblen API.

FreeLLMAPI ist ein Open-Source-Proxy für Large Language Models. Statt eine Anwendung direkt mit einem einzelnen KI-Anbieter zu verbinden, wird FreeLLMAPI dazwischengeschaltet.

Die Anwendung kommuniziert anschließend nur noch mit einer zentralen OpenAI-kompatiblen Schnittstelle:

Unterstützt werden zahlreiche Anbieter und Dienste. Dazu gehören beispielsweise Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cloudflare, Hugging Face und weitere Dienste. Auch eigene OpenAI-kompatible Endpunkte und lokale Modelle lassen sich integrieren.

Eine der interessantesten Funktionen ist das automatische Routing.

FreeLLMAPI kann mehrere Modelle und Anbieter zu einer Fallback-Kette zusammenfassen. Ist ein Anbieter wegen eines Rate-Limits oder ausgeschöpften Kontingents vorübergehend nicht verfügbar, versucht der Router automatisch das nächste geeignete Modell.

Damit lassen sich die kostenlosen Kontingente mehrerer Anbieter wesentlich komfortabler gemeinsam verwenden.

Nach der Installation stellt FreeLLMAPI eine OpenAI-kompatible API bereit. Standardmäßig ist diese lokal unter http://localhost:3001/v1 erreichbar.

Dadurch können viele Programme, die bereits OpenAI-kompatible Schnittstellen unterstützen, relativ einfach mit FreeLLMAPI verbunden werden.

Die Dokumentation nennt unter anderem:

• Claude Code
• Codex CLI
• Cline und Roo Code
• Continue
• Aider
• OpenCode
• Cursor

Unterstützt werden neben klassischen Chat-Anfragen unter anderem Streaming, Tool Calling, Vision, Embeddings sowie verschiedene API-Kompatibilitätsmodi.

Besonders interessant ist FreeLLMAPI für KI-Agenten und selbst betriebene KI-Anwendungen. Statt jeden Provider einzeln in einer Anwendung zu konfigurieren, kann FreeLLMAPI als zentrale Zwischenschicht dienen.

Die eigentliche Anwendung benötigt damit nur einen API-Endpunkt. Die Entscheidung, welches Modell eine Anfrage tatsächlich bearbeitet, übernimmt FreeLLMAPI.

Das vereinfacht auch den Wechsel zwischen unterschiedlichen Modellen und Anbietern.

FreeLLMAPI besitzt eine eigene Weboberfläche. Dort können API-Schlüssel hinterlegt, Modelle aktiviert und Fallback-Ketten konfiguriert werden.

Das System überwacht außerdem die Nutzung der einzelnen Anbieter und berücksichtigt deren verfügbare Kontingente beim Routing.

Die hinterlegten Provider-Schlüssel werden verschlüsselt gespeichert.

FreeLLMAPI kann auf unterschiedliche Weise betrieben werden.

Für Windows und macOS stehen fertige Desktop-Versionen zur Verfügung. Linux-Anwender können unter anderem ein AppImage verwenden.

Für Server und NAS-Systeme dürfte insbesondere die Docker-Version interessant sein. Das veröffentlichte Docker-Image unterstützt AMD64 und ARM64 und kann damit beispielsweise auch auf einem Raspberry Pi betrieben werden.

Der Name FreeLLMAPI darf allerdings nicht missverstanden werden.

Das Projekt stellt die KI-Rechenleistung nicht selbst kostenlos bereit. Es bündelt vielmehr kostenlose Kontingente und Free-Tier-Angebote verschiedener Anbieter.

Damit gelten weiterhin die jeweiligen Bedingungen, Rate-Limits und Nutzungsgrenzen der eingebundenen Dienste. Anbieter können ihre kostenlosen Kontingente zudem jederzeit verändern.

Download

FreeLLMAPI ist Open Source. Die aktuelle Version sowie Installationspakete für Windows, macOS und Linux stehen auf GitHub zur Verfügung:

FreeLLMAPI – aktuelle Version herunterladen

Alternativ kann FreeLLMAPI als Docker-Container betrieben werden.