Lokale KI mit Ollama

Lernziel

Du kannst Voraussetzungen prüfen, ein kleines lokales Modell laden und eine erste Anfrage stellen.

Voraussetzungen

Terminalgrundlagen, Internet für Installation und Modelldownload; ein eigener geeigneter Computer.

So funktioniert es

Ollama kann Sprachmodelle auf deinem Rechner ausführen. Für diese Übung verwenden wir ausdrücklich das lokale Textmodell llama3.2:latest. Ein Modell mit dem Zusatz :cloud würde eine andere Verarbeitung bedeuten. Prüfe bei jedem neuen Modell dessen Karte, Lizenz und Speicherbedarf.

Windows: Die offizielle Dokumentation nennt Windows 10 22H2 oder neuer und mindestens 4 GB Platz für Ollama selbst, zuzüglich Modelle. Für macOS nennt die Dokumentation Sonoma 14 oder neuer. Linux hat eigene Anforderungen; verwende die verlinkten Installationsseiten. Die Hardwareunterstützung kann sich ändern. Für diese kleine Lernübung sind 8 GB RAM und etwa 10 GB freier Speicher eine grobe Planungsgröße; 16 GB RAM bieten mehr Reserve, und keine Herstellergarantie. Mehr freier RAM ist hilfreich. Eine unterstützte GPU kann beschleunigen; die CPU kann bei kleinen Modellen ausreichen und deutlich langsamer sein.

1. Öffne die offizielle Downloadseite über den Quickstart. Installiere nur die zu deinem Betriebssystem passende Ausgabe. Unter Linux lies die Installationsanleitung und das Installationsskript vor einer Ausführung.
2. Starte Ollama. Unter Windows und macOS läuft die Anwendung im Hintergrund. Unter Linux prüfe den eingerichteten Dienst; starte nicht gleichzeitig einen zweiten Server.
3. Öffne ein neues Terminal und prüfe mit ollama --version und ollama list.
4. Lade und starte das unten genannte Modell. Der erste Download benötigt Internet und Speicherplatz.
5. Stelle eine kleine Frage ohne private Daten. Beende den Chat mit /bye.

Die lokale Inferenz dieses Beispiels braucht kein kostenpflichtiges API-Konto. Hardware, Strom und Internet können Kosten verursachen. Ein kleines Modell ist ein Lernwerkzeug und liefert häufig schwächere Antworten als größere Modelle.

ollama --version
ollama list
ollama pull llama3.2:latest
ollama run llama3.2:latest

Deine Übung

Notiere Betriebssystem, Ollama-Version, verwendeten Modellnamen und einen beobachteten Fehler. Wenn die Hardware nicht reicht, bearbeite zunächst die Browser-Simulation; sie ersetzt den lokalen Funktionstest nicht.

Selbsttest

Häufige Fehler

• Ein Cloudmodell für lokale Inferenz halten.
• Die Modellgröße mit dem gesamten RAM-Bedarf gleichsetzen.
• Den lokalen Server ohne Grund ins Netzwerk freigeben.

Nächster Lernschritt

Quellen

Offizielle Dokumentation und Originalveröffentlichungen; abgerufen am 11. September 2026. Eigene Beispiele und Übungen stammen von Wittmer AI. Externe Seiten können sich ändern.

• Ollama: Quickstart (extern)
• Ollama: Windows (extern)
• Ollama: macOS (extern)
• Ollama: Linux (extern)
• Ollama: llama3.2:latest model card (extern)
• Ollama: FAQ, local and cloud processing (extern)