Ein Vergleich zwischen API und Eigenbetrieb wird häufig unfair geführt: Auf der einen Seite steht ein Tokenpreis, auf der anderen nur der Kaufpreis der Hardware. Vollständig wird die Rechnung erst, wenn auf der lokalen Seite Anschaffung, Strom, Betrieb, Ersatzbeschaffung und Ausfallabsicherung stehen – und auf der API-Seite das tatsächliche Volumen statt einer Schätzung.
Das tatsächliche Volumen ist messbar, bevor investiert wird. Wer heute eine API nutzt, hat die Zahlen bereits in der Abrechnung. Wer noch nicht nutzt, misst sie in einem begrenzten Piloten. Eine Hardwareentscheidung vor dieser Messung ist eine Wette.
- • Input- und Output-Token getrennt erfassen, nicht summieren
- • Anteil der Cache-Treffer prüfen – er senkt den Preis erheblich
- • Lastspitzen und Gleichzeitigkeit dokumentieren, nicht nur Monatssummen
- • Betriebsaufwand für Updates, Modellwechsel und Monitoring benennen