Fortgeschritten

Lokale LLMs mit OpenClaw: Llama 3 auf RunPod einrichten

📅 28. Februar 2026 ⏱ 12 min Lesezeit 👤 OpenClaw Team

Warum lokale LLMs?

Lokale LLMs bieten maximale Datenkontrolle und Privatsphäre. Ihre Daten verlassen niemals Ihren Server - ideal für sensible Geschäftsdaten oder DSGVO-Anforderungen.

Voraussetzungen

  • RunPod Account mit Guthaben
  • GPU mit mindestens 24GB VRAM (empfohlen: RTX 4090 oder A10)
  • Grundkenntnisse in Docker und Linux
  • SSH-Client installiert

Schritt 1: RunPod Pod erstellen

Loggen Sie sich bei RunPod ein und erstellen Sie einen neuen GPU Pod:

  1. Klicken Sie auf "Deploy" → "GPU Pods"
  2. Wählen Sie eine GPU mit mindestens 24GB VRAM
  3. Wählen Sie das Template "RunPod Pytorch 2.0"
  4. Stellen Sie das Volume auf mindestens 50GB
  5. Klicken Sie auf "Deploy On-Demand"

Schritt 2: Llama 3 herunterladen

Verbinden Sie sich via SSH mit Ihrem Pod und laden Sie das Modell herunter:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3:8b
ollama pull llama3:70b

Schritt 3: OpenClaw konfigurieren

Passen Sie die OpenClaw-Konfiguration an, um Ollama als Backend zu nutzen:

OLLAMA_BASE_URL=http://localhost:11434
DEFAULT_MODEL=llama3:8b

docker-compose restart

Schritt 4: Verbindung testen

Testen Sie die Verbindung zu Ihrem lokalen LLM:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b",
  "prompt": "Hello, how are you?"
}'

Performance-Tipps

  • Nutzen Sie quantisierte Modelle (Q4_K_M) für bessere Performance
  • Aktivieren Sie GPU-Offloading für maximale Geschwindigkeit
  • Überwachen Sie den VRAM-Verbrauch mit nvidia-smi
  • Erwägen Sie Spot-Instances für Kosteneinsparungen

Fazit

Mit Llama 3 auf RunPod haben Sie einen leistungsstarken, datenschutzkonformen KI-Assistenten eingerichtet.

Verwandte Artikel