DeepSeek veröffentlicht DeepInfer: Open-Source-Software soll KI-Betrieb deutlich günstiger machen
Das chinesische KI-Unternehmen DeepSeek hat seine Inferenz-Software DeepInfer als Open Source veröffentlicht. Das Framework bildet eine wichtige technische Grundlage für den schnellen und effizienten Betrieb des Sprachmodells DeepSeek-V4.1-Flash. Die Veröffentlichung könnte langfristig auch für Behörden und kommunale IT-Dienstleister interessant werden.
Was ist DeepInfer?
DeepInfer ist keine neue künstliche Intelligenz, sondern die Software, mit der ein bereits trainiertes KI-Modell betrieben wird. Diese sogenannte Inferenz-Engine verarbeitet Anfragen, verteilt Berechnungen auf verfügbare Hardware und erzeugt die Antworten.
Das Framework basiert auf der bekannten Open-Source-Technologie vLLM und enthält zahlreiche Optimierungen von DeepSeek. Dazu gehören die parallele Verarbeitung über mehrere Grafikprozessoren, optimierte Rechenoperationen und Verfahren zur Beschleunigung der Textgenerierung.
DeepSeek stellt DeepInfer unter der freien Apache-2.0-Lizenz bereit. Damit kann die Software grundsätzlich auch kommerziell genutzt, verändert und weiterentwickelt werden.
Zusätzlich veröffentlicht das Unternehmen mit deepseek-recipe eine Komponente, die das Token-Verarbeitungsverhalten der offiziellen DeepSeek-API nachbilden soll. Dadurch sollen eigene Installationen möglichst vergleichbare Ergebnisse liefern können.
DeepSeek kündigt außerdem an, künftig weitere Softwarekomponenten für neue Modelle öffentlich bereitzustellen.
Ein wesentlicher Vorteil optimierter Inferenz-Software liegt in der besseren Auslastung vorhandener Rechenhardware. Je effizienter KI-Anfragen verarbeitet werden, desto geringer können die Kosten pro erzeugtem Token ausfallen.
Nach Angaben von DeepSeek soll die Veröffentlichung dazu beitragen, Rechenkosten und Energieverbrauch beim Betrieb großer Sprachmodelle zu reduzieren.
Allerdings richtet sich die erste Version von DeepInfer vor allem an Betreiber leistungsfähiger KI-Infrastrukturen. Unterstützt werden spezielle Rechenzentrumsbeschleuniger von Nvidia und Huawei. Für den unmittelbaren Einsatz auf gewöhnlichen Bürorechnern ist die Software daher nicht gedacht.
Quellen
0 Kommentare