Der Datenwissenschaftler startet „zum Testen“ ein Notebook auf einer A100-Instanz. Den Shutdown am Wochenende vergessen: siebenhundertzwanzig Stunden × dreikommafünfzig Euro – zweitausendfünfhundertzwanzig Euro GPU, die nur zum Laden von Pandas verwendet wurde. Management spricht von „Cloud zu teuer“; Niemand hat das Raster pünktlich ohne automatische Abschaltung gelesen.
Das Mieten einer GPU in der Cloud (OVHcloud, Scaleway, AWS, Lambda Labs usw.) ist mittlerweile möglich. Der absurde Gesetzentwurf kommt, wenn Modell, Dauer, ausgehende Transfers und Inaktivität nicht reguliert sind – siehe auch Hosting eines LLM für Upstream-Framing.
Vertragsfragen vor dem ersten Klick
| Frage | Was sie vermeidet |
|---|---|
| Stunden-/Monats-/Punktabrechnung? | GPU rund um die Uhr im Stundensatz |
| Dedizierter physischer VRAM? | Mysteriöses OOM auf „gemeinsam genutzter“ GPU |
| Region und Ausgang zu S3? | Überraschung zum Monatsende bei Transfers |
| CUDA-Image/Treiber enthalten? | Verlorene Tage bei der Installation des Stacks |
| Punktuelle Unterbrechung: SLA? | Ausbildungsplatz zu 90 % verloren |
| Kontingent und Kontogenehmigung? | Projekt in der Produktion aufgrund fehlender GPU-Quote blockiert |
Passen Sie die Karte an die Arbeitslast an
Quantisierte 7B–13B-Inferenz – L4, T4 oder A10 24 GB oft ausreichend.
Feinabstimmung 7B – 24–48 GB VRAM, bescheidene Stapelgröße.
70B+ Inferenz – Multi-GPU oder destilliertes Modell; Mieten Sie nicht allein aus Reflex einen A100.
Exploratory Jupyter – kleinster GPU-Spotprozessor; standardmäßig nicht A100 – siehe Jupyter-Team.
Messen Sie vor dem Upgrade die tatsächliche GPU-Nutzung (nvidia-smi, DCGM). 15 % durchschnittliche Auslastung = Überdimensionierung oder schlechte Dosierung.
Betriebskostenhygiene
Aktivieren Sie automatisches Herunterfahren nach Inaktivität (Skripte, Cloud-Tags). Legen Sie Budgetwarnungen auf fünfzig und achtzig Prozent des monatlichen Limits fest. Sichern Sie Checkpoints auf regionalem Objektspeicher – nicht nur auf kurzlebigen Festplatten. Behalten Sie einzelne Region – Daten, GPUs und Buckets an einem Ort – siehe Cloud-Region auswählen. Führen Sie nach dem POC eine wöchentliche Überprüfung der verwaisten Instanzen durch.
Eine vernünftige GPU-Rechnung ist eine Rechnung, die ausschaltet, wenn der Job abgeschlossen ist.
Der Gipfel: Der Preis pro Stunde ist schmeichelhaft, der ganze Monat ist niedriger
Vergleichen Sie europäische GPU-Angebote mit ausgehendem Traffic, der im Verzeichnis und im Vergleich dokumentiert ist.
Entscheide dich und gehe ohne blinden Fleck voran
Schätzen Sie die tatsächlichen GPU-Stunden pro Monat – nicht den theoretischen Spitzenwert aus dem ersten Test. Wählen Sie „Spot“ oder „Reserviert“, abhängig von Ihrer Toleranz gegenüber Unterbrechungen und der Wichtigkeit des Dienstes. Aktivieren Sie Budgetwarnungen und die automatische Abschaltung vor dem ersten Start, nicht nach der ersten unangenehmen Überraschung. Überprüfen Sie den VRAM nach einer Woche mit echten Messwerten. Dokumentieren Sie, wer was im Team ausschaltet, um verwaiste Instanzen zu vermeiden. Beziehen Sie Ausgang und Speicher in Ihre Kostensimulation ein – eine „billige“ Karte mit einer hohen Netzwerkrechnung ist immer noch ein schlechtes Geschäft. Lesen Sie die Übersicht alle drei Monate erneut: GPU-Angebote entwickeln sich schnell und eine ausgehandelte Reservierung kann mehr wert sein als ein Platz, der aus Gewohnheit frei bleibt.
Häufig gestellte Fragen
Zeit oder Monat?
Der Zeitpunkt bzw. Ort eignet sich für Proof of Concept und einmalige Schulungen. Die monatliche Reservierung ist für Rückschlüsse rund um die Uhr sinnvoll – andernfalls übersteigen die stündlichen Kosten einer nachts im Leerlauf befindlichen GPU am Ende das geplante Budget.
T4, L4 oder A100?
T4 und L4 zielen auf wirtschaftliche Schlussfolgerungen bei moderatem Konsum ab. Der A100 und der H100 dienen mit vierzig bis achtzig Gigabyte VRAM den Schulungs- und Großmodellen. Wählen Sie die Karte nach der Größe des Modells und der erwarteten Durchflussrate, nicht nach dem Prestige des Namens auf der Rechnung.
Geteilte GPUs?
Für leichte Schlussfolgerungen oder Entwicklungen kann das Teilen ausreichend sein. Für garantierte Latenz oder eine große Anzahl von Anfragen benötigen Sie eine dokumentierte dedizierte GPU – eine intransparente Freigabe erschwert das Debuggen und verfälscht die Messungen.
Versteckte Kosten?
Überwachen Sie ausgehende Übertragungen, übergroße NVMe-Festplatten, öffentliche IP-Adressen, automatische Snapshots und Spot-Interrupts ohne gespeicherten Prüfpunkt. CUDA-Treiber oder technischer Support können je nach Anbieter auch in einer separaten Zeile erscheinen.
Berechnen Sie vor der Anmietung einer GPU: Wie viele Stunden pro Woche sind sie eingeschaltet, wenn niemand sie ausschaltet? Wenn Sie die Antwort überrascht, reparieren Sie den Prozess – nicht nur die Karte.