Auf der Suche nach einem einfachen Weg ein KI Modell auf dem Mac auszuprobieren bin ich über ollama gestolpert.
Mit nur ein paar Zeilen und etwas Speicher auf der Platte bekommt man hier ein einfaches Modell zum Laufen.
Vorraussetzungen – ich verwende ein M1 MacBook und Homebrew für die Installation. Je mehr Speicher man hat, umso grössere Modelle kann man laufen lassen.
Und jetzt gehts schon los:
- Erstmal brew auf den aktuellen Stand bringen.
brew update; brew upgrade; brew cleanup
- Installieren von ollama
brew install ollama
- Startet den ollama Service im Hintergrund
brew services start ollama
- Lädt und startet das Modell tinyllama (ca. 700MB) und gibt bei der Abfrage Statistiken aus über die Geschwindigkeit (token/s)
ollama run tinyllama --verbose
- Jetzt Fragen stellen…
- CTRL-D zum beenden des Prompts
- Den Hintergrunddienst wieder beenden.
brew services stop ollama
Weitere Modelle findet man auf der ollama Seite – siehe hier. Das Ganze funktioniert auch auf Linux ohne das Starten/Beenden des ollama Hintergrunddienstes. Sogar auf einem Raspberry Pi 5 4GB kann man das tinyllama laufen lassen.
Viel Spass beim Ausprobieren!