Projekt KNUT: 52 GB VRAM, null Cloud – lokale AI-Infrastruktur im Deep Dive

KNUT – vom altnordischen Knútr für Knoten

KNUT steht nicht für ein Akronym. Der Name kommt vom altnordischen Knútr – der Knoten. Und genau das beschreibt die Architektur: verschiedene Hardware-Nodes, zu einem Knoten verwoben, der sich wie ein einziger Inference-Server verhält.

Das Setup:

Komponente	RAM/VRAM	Rolle
Mac Mini M4	24 GB Unified Memory	Metal-Inference, Orchestrator
NVIDIA RTX 4060 Ti	16 GB VRAM	CUDA-Inference, primäre GPU
NVIDIA RTX 3060	12 GB VRAM	CUDA-Inference, sekundäre GPU
Gesamt	52 GB VRAM

Drei Geräte. Zwei Architekturen (Metal + CUDA). Ein Endpoint.

Was darauf läuft – und wie schnell

Aktuell laufen auf KNUT primär zwei Modelle:

Qwen 3.5 35B

• Architektur: Mixture of Experts (MoE)
• Parameter: 35 Milliarden (davon ~6B aktiv pro Anfrage)
• Speed: ~36 Tokens/Sekunde
• Qualität: Vergleichbar mit GPT-4o mini in den meisten Benchmarks

Nemotron Cascade 2 30B

• Architektur: MoE mit kaskadierender Inferenz
• Parameter: 30 Milliarden
• Speed: ~54 Tokens/Sekunde
• Qualität: Auf GPT-4o-mini-Niveau, optimiert für schnelle Inferenz

Beide Modelle nutzen MoE-Architekturen – das gleiche Prinzip wie bei Qwen3.5-122B, das in unserem vorherigen Artikel analysiert wurde. Der Unterschied: Statt 122B auf einem Laptop zu quetschen, verteilt KNUT 30-35B auf drei Nodes und erreicht damit deutlich höhere Geschwindigkeiten.

Zur Einordnung: Was bedeutet 54 t/s?

Zahlen ohne Kontext sind wertlos. Deshalb:

Metrik	Tokens/Sekunde
Mensch tippt	1–2 t/s
Mensch spricht	3–4 t/s
GPT-4o (API)	~80–120 t/s
KNUT (Nemotron)	~54 t/s
KNUT (Qwen 3.5)	~36 t/s

KNUT generiert 15x schneller als ein Mensch spricht. Für Coding-Assistenz, Workflow-Automatisierung, Textgenerierung und alltägliche LLM-Aufgaben ist das mehr als ausreichend – auch im Vergleich zu Cloud-APIs, bei denen Latenz, Rate Limits und Kosten dazukommen.

Die Architektur: Heterogene Hardware, ein API-Endpoint

Das Besondere an KNUT ist nicht die einzelne Hardware – sondern wie sie zusammenarbeitet:

1. Verteilte Inference über LAN: Die drei Nodes kommunizieren über das lokale Netzwerk. Modell-Layer werden intelligent auf die verfügbaren Ressourcen verteilt.

2. CUDA + Metal: KNUT kombiniert NVIDIA CUDA (Linux/Windows) mit Apple Metal (macOS) in einem System. Das ist ungewöhnlich – die meisten Setups beschränken sich auf eine Architektur.

3. OpenAI-kompatible API: Nach außen verhält sich KNUT wie ein OpenAI-Endpoint. Jedes Tool, das die OpenAI-API spricht, funktioniert out-of-the-box – Cursor, Continue, Open WebUI, n8n, Make, eigene Scripts.

4. Model Routing: Anfragen werden je nach Aufgabe an das passende Modell geroutet. Schnelle Tasks an Nemotron, komplexeres Reasoning an Qwen 3.5.

┌─────────────────────────────────────────┐
│            OpenAI-kompatible API         │
│              (ein Endpoint)              │
├──────────┬──────────┬───────────────────┤
│ Mac Mini │ RTX 4060 │    RTX 3060       │
│ M4 Metal │ Ti CUDA  │    CUDA           │
│  24 GB   │  16 GB   │    12 GB          │
├──────────┴──────────┴───────────────────┤
│         LAN – verteilte Inferenz        │
└─────────────────────────────────────────┘

Was das für Unternehmen bedeutet

Null laufende Kosten

Kein API-Key. Kein Abo. Kein Token-Budget, das am Monatsende explodiert. Die Hardware ist einmalig angeschafft – danach kostet jede Anfrage nur Strom. Bei aktuellen Strompreisen liegt ein KNUT-Setup bei geschätzt 0,02–0,05 € pro Stunde unter Last.

Volle Datensouveränität

Keine Daten verlassen das Netzwerk. Kein Auftragsverarbeitungsvertrag. Kein Risiko, dass ein US-Provider Trainingsdaten aus Prompts macht. Für DSGVO-sensible Branchen ist das nicht nice-to-have – es ist Pflicht.

Unabhängigkeit von Anbietern

Kein Vendor Lock-in. Kein Risiko, dass OpenAI die Preise erhöht, die API ändert oder ein Modell deprecated. Wer lokal betreibt, kontrolliert die Infrastruktur, die Modelle und den Zeitpunkt von Updates.

Immer verfügbar

Kein API-Outage. Kein Rate Limiting. Keine Wartungsfenster. KNUT läuft, solange Strom fließt.

Vergleich: KNUT vs. Cloud-APIs

Kriterium	KNUT (lokal)	Cloud-API (GPT-4o mini)
Kosten pro Token	0 €	$0.15–0.60/1M Tokens
Datenschutz	✅ Volle Kontrolle	⚠️ Daten bei US-Provider
Latenz (First Token)	~50ms (LAN)	200–500ms (Internet)
Durchsatz	36–54 t/s	80–120 t/s
Verfügbarkeit	99.9% (eigene Hardware)	99.5% (SLA-abhängig)
Multimodal	❌ Nur Text	✅ Text, Bild, Audio
Setup-Aufwand	Hoch	Niedrig

Wann KNUT die richtige Wahl ist

✅ Ja, wenn:

• Sensible Daten verarbeitet werden (Verträge, HR, Finanzen, Gesundheit)
• Hohes Volumen anfällt und Token-Kosten gespart werden sollen
• AI in Workflows eingebaut wird, die 24/7 laufen
• Unabhängigkeit von Cloud-Anbietern gewünscht ist
• Intern AI getestet werden soll, ohne Budget-Freigabe für APIs

❌ Nein, wenn:

• Multimodale Fähigkeiten gebraucht werden (Bild, Audio, Video)
• State-of-the-Art Reasoning benötigt wird (Claude Opus, GPT-5)
• Kein technisches Team für Setup und Wartung vorhanden ist
• Das Volumen zu niedrig ist, um die Hardware zu rechtfertigen

KNUT Network: Die Waitlist

Hinter KNUT steht mehr als ein Hardware-Experiment. Unter knut.network entsteht eine Plattform, die lokale AI-Infrastruktur für Teams zugänglich machen will – mit vorkonfigurierten Setups, Model Routing und Enterprise-Features.

Was geplant ist:

• Vorkonfigurierte Hardware-Bundles
• Managed Model Updates
• Team-Zugang mit Rollen und Audit-Logs
• Integration in bestehende IT-Infrastruktur

👉 Zur Waitlist auf knut.network

Fazit

KNUT zeigt, was 2026 mit Off-the-Shelf-Hardware möglich ist: GPT-4o-mini-Niveau, 54 Tokens pro Sekunde, null Cloud-Abhängigkeit. Für ~2.500 € Hardwarekosten entsteht eine AI-Infrastruktur, die sich nach wenigen Monaten amortisiert – und die niemand abschalten kann.

Die Zukunft der AI ist nicht nur Cloud. Sie ist hybrid. Und sie beginnt mit einem Knoten.

→ Mehr über unsere AI-Services → Gemma 4: Frontier-Intelligenz auf dem Laptop – der Hype ist real → Qwen3.5: 122B Parameter auf deinem Laptop → Privacy Router: AI-Datenschutz ohne Kompromisse