Private KI-Hardware richtig dimensionieren: Speicher, Bandbreite, Gleichzeitigkeit

Diese beiden Größen werden regelmäßig verwechselt. Der Speicher bestimmt, welches Modell in welcher Quantisierung überhaupt geladen werden kann. Die Speicherbandbreite bestimmt, wie schnell die benötigten Gewichte je erzeugtem Token gelesen werden können – und damit die Ausgabegeschwindigkeit.

NVIDIA nennt für DGX Spark 128 GB kohärenten Unified Memory bei 273 GB/s Bandbreite und Inferenz für Modelle bis 200 Milliarden Parameter. Das Gerät ist damit ausgesprochen speichergroß, aber nicht in gleichem Maß bandbreitenschnell. Genau daraus folgt sein realistisches Einsatzprofil: Es kann große Modelle beherbergen, die es dann vergleichsweise gemächlich ausführt.

• • Speichergröße begrenzt die Modellgröße und die Kontextlänge
• • Speicherbandbreite begrenzt die Token pro Sekunde
• • Quantisierung verkleinert das Modell, kostet aber Antwortqualität
• • Langer Kontext belegt zusätzlichen Speicher neben den Gewichten

Ein Datenblatt beschreibt ein Gerät, keinen Betrieb. Sobald mehrere Menschen gleichzeitig arbeiten, teilen sich ihre Anfragen dieselbe Bandbreite und denselben Speicher für Kontextdaten. Der Durchsatz über alle Anfragen steigt dabei zunächst, die Wartezeit bis zum ersten Token für den Einzelnen aber ebenfalls – und zwar deutlich.

Für die Beschaffung heißt das: Nicht die Frage „Läuft Modell X darauf?" ist entscheidend, sondern „Wie viele Menschen können damit gleichzeitig in akzeptabler Zeit arbeiten?". Diese Zahl lässt sich nur messen, nicht aus Spezifikationen ableiten. Sie gehört in den Piloten, bevor Hardware für ein ganzes Team beschafft wird.

Vorhandene Workstations und Rechner mit ausreichend Arbeitsspeicher tragen kleine bis mittlere Modelle und einzelne Assistenzaufgaben. Sie kosten nichts zusätzlich und beantworten die Frage, ob der Prozess überhaupt trägt.

Geräte der DGX-Spark-Klasse verschieben die Grenze bei der Modellgröße erheblich und eignen sich für Entwicklung, Erprobung und ein bis wenige produktive Arbeitsplätze mit sensiblen Daten. Erst dedizierte GPU-Server adressieren mehrere gleichzeitige Nutzer mit langem Kontext im Dauerbetrieb – zu einem Vielfachen der Anschaffung und mit entsprechendem Betriebsaufwand für Einbau, Kühlung, Strom und Bereitschaft.

• • Stufe 1: vorhandene Hardware – Machbarkeit klären, Kosten null
• • Stufe 2: kompaktes Desktop-System – große Modelle, wenige Arbeitsplätze
• • Stufe 3: GPU-Server – Teambetrieb, langer Kontext, echte Betriebsorganisation
• • Jede Stufe erst betreten, wenn die vorherige nachweislich nicht ausreicht

Die verbreitete Haltung, man solle auf günstigere Geräte warten, hat sich in diesem Segment zuletzt nicht bestätigt. ComputerBase berichtete zum 27. Februar 2026 über eine Anhebung des Listenpreises der DGX Spark Founders Edition von 4.180 Euro auf 4.800 Euro und verwies auf die Lage am Speichermarkt. Der Marktpreis lag beim Abruf am 6. August 2026 mit 5.699 Euro nochmals deutlich darüber.

Für die Planung folgt daraus weniger eine Kaufempfehlung als eine Rechenregel: Wer eine Investition mit künftig fallenden Preisen begründet, sollte den Fall gegenrechnen, dass sie es nicht tun. Und wer wartet, sollte benennen, worauf genau – ein Datum oder ein Ereignis, nicht ein Gefühl.