Lokale LLMs mit OpenClaw: Ollama, Llama 3.3, Qwen 3.5 & MiniMax M2.5 im Praxistest

Warum lokale LLMs?

Cloud-APIs sind bequem – aber sie haben drei Probleme:

1. Kosten: GPT-4o kostet ~$15 pro Million Output-Tokens. Bei intensiver Agent-Nutzung sind $300–700/Monat realistisch.
2. Datenschutz: Jeder API-Call sendet Daten an US-Server. DSGVO-konform? Nur mit Auftragsverarbeitungsvertrag und Risikoabwägung.
3. Abhängigkeit: API down? Rate-Limit erreicht? Dein Agent steht still.

Lokale LLMs lösen alle drei Probleme. Und 2026 sind sie endlich gut genug für den produktiven Einsatz.

30-Sekunden-Version: Ollama installieren, Modell pullen, OpenClaw verbinden – fertig. Kein API-Key, keine Kosten pro Token, keine Daten an Dritte.

Die Kandidaten

Wir haben vier Modelle getestet, die sich für den lokalen Einsatz mit OpenClaw eignen:

Was bedeutet MoE?

Mixture of Experts (MoE) ist das Geheimnis hinter den neuen Modellen: Obwohl das Modell 230B Parameter hat, werden pro Token nur 10B aktiviert. Das Ergebnis: GPT-4-Qualität bei einem Bruchteil der Rechenleistung.

Installation via Ollama

Alle Modelle lassen sich mit einem Befehl herunterladen:

# Ollama installieren (falls noch nicht geschehen)
curl -fsSL https://ollama.com/install.sh | sh

# Modelle pullen
ollama pull llama3.3           # 40 GB – braucht 48 GB RAM
ollama pull qwen3.5:27b        # 16 GB – läuft auf 22 GB RAM
ollama pull qwen3.5:35b        # 20 GB – nur 3B aktiv (MoE)
ollama pull minimax-m2.5       # 101 GB (3-bit) – braucht 128 GB RAM

Mit OpenClaw verbinden

openclaw config set models.providers.ollama.apiKey "ollama-local"
openclaw config set agents.defaults.model.primary "ollama/qwen3.5:27b"

Performance-Benchmarks

Getestet auf Apple M3 Max (128 GB RAM) und NVIDIA RTX 4090 (24 GB VRAM):

Geschwindigkeit (Tokens/Sekunde)

*MiniMax M2.5 benötigt mindestens 64 GB RAM oder Multi-GPU-Setup.

Qualität (Benchmarks)

Ergebnis: Qwen 3.5 27B bietet den besten Trade-off aus Geschwindigkeit, Qualität und Ressourcenverbrauch. MiniMax M2.5 ist das stärkste Modell, braucht aber erheblich mehr Hardware.

Kosten-Vergleich: Cloud vs. Lokal

Cloud-Kosten (pro Monat, geschätzt bei 50M Tokens)

Lokale Kosten (einmalig + Strom)

Fazit: Ab ~8 Monaten ist Self-Hosting günstiger als jede Cloud-API. Bei intensiver Nutzung (>100M Tokens/Monat) sogar nach 3–4 Monaten.

Offline-Szenarien

Lokale LLMs haben einen entscheidenden Vorteil, den keine Cloud bieten kann: Sie funktionieren ohne Internet.

Wann ist Offline relevant?

• Unterwegs: Im Zug, im Flugzeug, auf Baustellen – überall dort, wo kein stabiles Internet verfügbar ist
• Air-Gapped Umgebungen: Sicherheitskritische Infrastruktur (Behörden, Militär, Gesundheitswesen)
• Edge-Deployments: IoT-Gateways, Fabrikhallen, Außenstandorte
• Ausfallsicherheit: Wenn die Cloud-API ausfällt, läuft dein Agent trotzdem weiter

Empfohlenes Offline-Setup

# Kompaktes Modell für Offline-Einsatz auf schwächerer Hardware
ollama pull qwen3.5:35b    # MoE: nur 3B aktiv, läuft auf 22 GB RAM

# Für Raspberry Pi / Edge-Devices
ollama pull phi-3:mini      # 3.8B Parameter, 4 GB RAM

OpenClaw Offline-Config

{
  "agents": {
    "defaults": {
      "model": {
        "primary": "ollama/qwen3.5:35b",
        "fallbacks": ["ollama/phi-3:mini"]
      }
    }
  },
  "network": {
    "offline_mode": true,
    "web_search": false
  }
}

Welches Modell für welchen Use Case?

Qwen 3.5: Der Newcomer im Detail

Alibabas Qwen 3.5 verdient besondere Aufmerksamkeit. Die Modell-Familie bringt 2026 einige Premieren:

• 256K Kontext: Doppelt so viel wie Llama 3.3 – ideal für lange E-Mail-Threads oder Dokumenten-Analyse
• 201 Sprachen: Echtes Multilingual-Modell, perfekt für internationale Teams
• Multimodal: Die 27B- und 122B-Varianten können auch Bilder verarbeiten
• Thinking-Mode: Eingebautes Chain-of-Thought-Reasoning, zuschaltbar per Parameter
• MoE-Varianten: 35B-A3B aktiviert nur 3B Parameter – läuft auf einem MacBook Air

# Thinking-Mode aktivieren (für komplexe Aufgaben)
ollama run qwen3.5:27b --thinking

MiniMax M2.5: Das Coding-Monster

MiniMax M2.5 aus Shanghai hat die AI-Community überrascht:

• SWE-Bench Verified: 80.2% – auf Augenhöhe mit Claude Opus 4.6
• 230B Parameter, 10B aktiv: MoE-Architektur für Effizienz
• Agentic Design: Nativ für Tool-Calling und Search optimiert
• 200K Kontext: Genug für komplette Codebases

Der Haken: Du brauchst mindestens 64 GB RAM (besser 128 GB) für das 3-bit-quantisierte Modell. Aber wenn du die Hardware hast, bekommst du ein Modell, das mit den besten Cloud-APIs mithalten kann – zum Nulltarif.

# MiniMax M2.5 via Ollama (benötigt viel RAM!)
ollama pull minimax-m2.5
openclaw config set agents.defaults.model.primary "ollama/minimax-m2.5"

Hybrid-Strategie: Das Beste aus beiden Welten

Unsere Empfehlung für produktive Teams:

Regel: Personenbezogene Daten → immer lokal. Alles andere → nach Budget und Qualitätsanspruch.

Fazit

Lokale LLMs sind 2026 kein Kompromiss mehr – sie sind eine strategische Entscheidung. Mit Qwen 3.5 als Effizienz-Champion, MiniMax M2.5 als Coding-Powerhouse und Llama 3.3 als bewährtem Allrounder gibt es für jeden Use Case das passende Modell.

In Kombination mit OpenClaw und Ollama steht ein KI-Agent-Stack, der:

• Nichts kostet (nach Hardware-Amortisation)
• Offline funktioniert
• DSGVO-konform ist (keine Daten an Dritte)
• Cloud-APIs in vielen Szenarien ebenbürtig ist

Der Break-Even liegt bei 3–8 Monaten. Danach ist jeder Token gratis.

---

Du willst lokale LLMs mit OpenClaw produktiv einsetzen? Sprich mit uns – wir helfen bei Hardware-Empfehlung, Setup und Modell-Auswahl.

Mehr zum Thema: Was ist OpenClaw? · OpenClaw Self-Hosting Guide · NanoClaw: Der schlanke Nachfolger