Eigene KI-Modelle betreiben: Was es wirklich kostet, bis alles läuft

„Wir hosten das Modell einfach selbst" — dieser Satz fällt in vielen Strategiediskussionen von Banken schnell, wenn es um Datenschutz und Souveränität geht. Was er konkret kostet und wie lange der Weg bis zum Produktivbetrieb dauert, bleibt dabei oft erstaunlich vage. Dabei liegen inzwischen belastbare Marktdaten vor: für Hardware, Cloud-Mieten, Personal, Strom und Projektlaufzeiten. Eine Bestandsaufnahme mit Zahlen, Stand August 2026.

Der Einkaufszettel: Hardware

Der Grundbaustein produktiver KI-Infrastruktur ist der 8-GPU-Server. Ein HGX-System mit acht NVIDIA H100 kostet laut Marktübersicht von Mercatus zwischen 250.000 und 320.000 US-Dollar; NVIDIAs DGX-Komplettsysteme liegen bei 350.000 bis über 500.000 US-Dollar, die neuere B200-Generation bei typischerweise rund 450.000 US-Dollar. Mit Nebenkosten wird es schnell mehr: Der AI Infrastructure Cost Guide von Haink rechnet für einen Einstiegs-Cluster aus einem 8×-H100-Server, Storage, Switch und Rack rund 471.000 US-Dollar Gesamthardware vor. Dazu kommen Lieferzeiten: Für bestimmte HGX-Konfigurationen werden 36 bis 52 Wochen genannt, weshalb Kaufszenarien drei bis sechs Monate Infrastruktur-Vorlauf einplanen sollten.

Wie viel Hardware es sein muss, bestimmt das Modell. Ein 70B-Modell benötigt in voller Präzision rund 140 GB VRAM — also zwei H100 oder eine H200 —, in 4-Bit-Quantisierung nur noch 36 bis 38 GB. Die größten offenen Modelle der 600B-Klasse passen quantisiert auf einen einzelnen 8×-H100-Server. Die Alternative zum Kauf ist Miete: Cloud-GPU-Preise für die H100 reichen laut IntuitionLabs-Preisindex von 1,38 bis 12,29 US-Dollar pro GPU-Stunde (Median rund 2,29 US-Dollar) — spezialisierte Anbieter sind dabei um ein Mehrfaches günstiger als die Hyperscaler. Ein rund um die Uhr laufender 8×-GPU-Knoten kostet gemietet je nach Anbieter etwa 35.000 bis 50.000 US-Dollar pro Monat.

Der unterschätzte Posten: Menschen

Hardware ist nur die halbe Rechnung. Eine unabhängige Analyse beziffert den Anteil von Chips und Personal zusammen auf 70 bis 80 Prozent der gesamten Deployment-Kosten. Für den Betrieb eines mittleren Inferenz-Clusters werden 0,5 bis 1 MLOps-Ingenieur veranschlagt — bei deutschen Gehältern keine Kleinigkeit: Machine-Learning-Engineers verdienen hierzulande im Median rund 65.000 bis 75.000 Euro brutto, Senior-Profile mit Cloud-Architektur-Erfahrung über 100.000 Euro. Größere Organisationen, die mehrere Produktteams mit KI-Features versorgen, bauen typischerweise dedizierte Plattform-Teams von 8 bis 15 Personen auf. Wer die Betriebsverantwortung nicht besetzen kann, hat kein Kostenproblem, sondern ein Machbarkeitsproblem.

Strom: in Deutschland ein eigener Faktor

Ein 8×-H100-System zieht unter Last rund 10,2 Kilowatt — die GPUs selbst machen dabei nur gut die Hälfte aus, der Rest entfällt auf CPU, Netzwerk, Netzteile und Kühlung. Beim deutschen Industriestrompreis von rund 16 Cent pro Kilowattstunde (BDEW-Strompreisanalyse, Januar 2026) ergeben sich für ein durchlaufendes System reine Stromkosten von etwa 14.300 Euro pro Jahr; inklusive Rechenzentrums-Overhead (PUE um 1,4) rund 20.000 Euro pro Jahr — als Rechnung aus Verbrauch und Strompreis abgeleitet. Wichtig für die Branche: Der ab 2026 subventionierte Industriestrompreis von rund 5 Cent gilt nur für besonders energieintensive Sektoren — Banken und Finanzdienstleister fallen regulär nicht darunter. Hinzu kommen bauliche Anforderungen: H100-Racks benötigen 15 bis 32 Kilowatt Anschlussleistung, deutlich mehr als klassische Colocation-Racks vorsehen; die Blackwell-Generation setzt Flüssigkühlung voraus.

Zeit bis Produktivbetrieb: Monate, nicht Wochen

Der Proof-of-Concept ist schnell erreicht — ein Modell mit vLLM oder TGI zum Laufen zu bringen, dauert bei erfahrenen Teams ein bis vier Wochen. Produktionsreife ist etwas anderes. Die Betreiber-Checkliste von Allganize veranschlagt für ein eingespieltes Plattform-Team 8 bis 16 Wochen bis zum ersten produktionsreifen Cluster — inklusive Monitoring ab Tag eins, SSO vor der Inferenz-API, Audit-Logging, Canary-Deployments mit automatischem Rollback und Eval-Gates gegen Qualitätsregressionen. Teams, die diesen Prozess abkürzen, verbringen laut derselben Analyse dieselbe Zeit anschließend in der Incident-Response. Über mehrere Quellen hinweg liegt der Konsens für vollständige Produktionsreife bei zwei bis sechs Monaten, abhängig von Compliance-Anforderungen und Teamerfahrung — in regulierten Häusern eher am oberen Rand.

Wann sich die Rechnung dreht

Lohnt sich das gegenüber der API? Die Kostenasymmetrie ist bei hoher Auslastung erheblich: Selbst gehostete Inferenz auf moderner Hardware kostet laut SemiAnalysis-Benchmarks 0,02 bis 0,11 US-Dollar pro Million Token, während kommerzielle APIs für vergleichbare Klassen 3 bis 30 US-Dollar aufrufen. Der Haken: Diese Werte gelten nur bei hoher, dauerhafter Auslastung. Eine Beispielrechnung für ein 70B-Modell auf vier A100-GPUs kommt auf einen Gesamt-TCO von 7.300 bis 12.300 US-Dollar pro Monat bei gekaufter Hardware (Abschreibung, Personal, Strom) gegenüber 16.500 bis 24.000 US-Dollar bei gemieteten Cloud-GPUs. Als Faustregeln haben sich etabliert: Unter 10.000 Anfragen pro Tag sind Cloud-APIs klar wirtschaftlicher, oberhalb von 100.000 Anfragen pro Tag gewinnt in der Regel das Self-Hosting; als Auslastungsschwelle gelten 60 bis 80 Prozent dauerhafter GPU-Nutzung. Die Mehrheit der Anwendungsfälle in mittelgroßen Instituten liegt schlicht unterhalb dieser Schwellen.

Stand August 2026; alle Quellen sind im Text verlinkt.

Die Konsequenz: Beweglichkeit einbauen

Die realistische Gesamtrechnung für einen ernsthaften Eigenbetrieb — Hardware ab mehreren hunderttausend US-Dollar oder fünfstellige Monatsmieten, ein bis mehrere FTE Betriebspersonal, rund 20.000 Euro Strom pro Server und Jahr, zwei bis sechs Monate bis zur Produktionsreife — ist kein Argument gegen Self-Hosting. Sie ist ein Argument gegen vorschnelle Festlegungen in beide Richtungen. Denn die Parameter dieser Rechnung ändern sich laufend: GPU-Preise fallen, API-Preise fallen schneller, offene Modelle werden effizienter, und das eigene Anfragevolumen wächst.

Genau deshalb haben wir unseren Assistant bei Acceleraid modell-agnostisch gebaut: Das zugrunde liegende Modell lässt sich jederzeit wechseln — von der Cloud-API zum selbst gehosteten offenen Modell, wenn Volumen und Compliance-Anforderungen es rechtfertigen, oder zurück, wenn die Rechnung anders ausgeht. Wissen, Kontexte und Konfigurationen bleiben dabei vollständig erhalten. Die Standortentscheidung für das Modell wird damit zur wirtschaftlichen Optimierung statt zur Einbahnstraße.

Wer die Entscheidung konkret vorbereitet, sollte drei Zahlen kennen: das eigene tägliche Anfragevolumen über alle KI-Anwendungsfälle, die intern realistisch besetzbaren Betriebsrollen — und den Preis, den der aktuelle API-Anbieter in zwölf Monaten voraussichtlich aufrufen wird. Erst wenn diese drei Größen auf dem Tisch liegen, ist die Frage „Kaufen, mieten oder API?" seriös zu beantworten.

Illustration: KI-generiert. KI-gestützte Inhalte: Bei der Erstellung unserer Beiträge setzen wir KI-Technologien und automatisierte Agenten ein, unter anderem von Microsoft, Google, OpenAI, Anthropic und weiteren Anbietern. Themen, fachliche Ausrichtung und finale Freigabe liegen bei unserem Team.