Lokale KI auf dem Mac: Ollama setzt jetzt auf Apple MLX

Dieser Artikel wurde bereits 202x gelesen...

KI-Modelle direkt auf dem eigenen Computer betreiben – ohne externe Cloud: Mit Version 0.40.0 macht die Open-Source-Software Ollama einen wichtigen Schritt. Auf Macs mit Apple-Silicon-Prozessoren (M-Serie) wird künftig automatisch Apples MLX-Framework für unterstützte KI-Modelle verwendet.

MLX wurde speziell für die Prozessorarchitektur von Apple entwickelt und nutzt den gemeinsamen Arbeitsspeicher von CPU und GPU besonders effizient.

Dadurch können KI-Sprachmodelle schneller reagieren und teilweise weniger Speicher benötigen. Eine manuelle Aktivierung ist nicht erforderlich.

Zu den unterstützten Modellfamilien gehören unter anderem:

• Qwen 3.5 und Qwen 3.6 – leistungsfähige Sprachmodelle für unterschiedliche Aufgaben.
• Gemma 4 – KI-Modellfamilie von Google.
• EmbeddingGemma 2 – zur Umwandlung von Texten in Vektoren, beispielsweise für intelligente Dokumentensuchen.

Ollama steht kostenlos für macOS, Windows und Linux zur Verfügung. Die MLX-Beschleunigung richtet sich speziell an Macs mit Apple-Silicon-Prozessoren.

Die bekannten Befehle zum Herunterladen und Ausführen von KI-Modellen bleiben unverändert. Welche Modelle sinnvoll betrieben werden können, hängt insbesondere vom verfügbaren Arbeitsspeicher ab.

Ollama kostenlos herunterladen »

Quellen

• Ollama – MLX-Unterstützung für Apple Silicon
• Ollama – Leistungsverbesserungen durch MLX
• GitHub – Ollama-Versionen und Änderungen