← Zur Übersicht
Guide · Kategorie 6 von 6

Monitoring & KI

Laufende Überwachung aller Dienste, dazu lokale KI-Inferenz auf eigener GPU — ganz ohne externe API.

Prometheus

Monitoring & Metriken

Sammelt laufend Kennzahlen aller Dienste und Systeme, damit Probleme auffallen, bevor sie sich als Ausfall bemerkbar machen.

Kurzanleitung

  1. Container anlegen und Prometheus installieren.
  2. prometheus.yml mit den zu überwachenden Zielen (Exporters) füllen.
  3. Node Exporter auf den Hosts installieren, die überwacht werden sollen.
  4. Retention-Zeitraum je nach verfügbarem Speicher festlegen.
  5. Optional: Grafana als Dashboard davor schalten.

Mindestanforderungen

CPU1–2 Cores
RAM1–2 GB, abhängig von Retention
Speicherwächst mit Retention-Zeitraum
SonstigesExporter auf Zielsystemen nötig

Ollama

Lokale KI-Sprachmodelle

Führt KI-Sprachmodelle direkt auf eigener Grafikkarte aus — für Experimente mit lokaler KI, ganz ohne Cloud-Anbindung oder Abo.

Kurzanleitung

  1. Ollama auf einem System mit GPU-Zugriff installieren (Container mit GPU-Passthrough oder direkt auf dem Host).
  2. Gewünschtes Modell herunterladen, z. B. ollama pull qwen2.5:14b.
  3. Modell lokal testen über ollama run.
  4. Optional Open WebUI als grafische Oberfläche davor schalten.
  5. Modellgröße an den verfügbaren GPU-Speicher anpassen.

Mindestanforderungen

GPUmin. 8 GB VRAM für kleinere Modelle
RAMmin. 8 GB Systemspeicher
Speichermodellabhängig, oft 5–20 GB pro Modell
SonstigesNVIDIA/AMD-Treiber mit GPU-Passthrough