El científico de datos inicia un cuaderno en una instancia A100 "para realizar pruebas". Olvidé el cierre del fin de semana: setecientas veinte horas × tres coma cincuenta euros: dos mil quinientos veinte euros de GPU que solo servía para cargar pandas. La dirección habla de “la nube es demasiado cara”; nadie lee la cuadrícula a tiempo sin apagado automático.
El alquiler de una GPU en la nube (OVHcloud, Scaleway, AWS, Lambda Labs, etc.) se ha vuelto accesible. El proyecto de ley absurdo llega cuando el modelo, la duración, las transferencias salientes y la inactividad no están regulados; consulte también alojar un LLM para conocer el marco ascendente.
Preguntas contractuales antes del primer clic
| Pregunta | Lo que ella evita |
|---|---|
| ¿Facturación por hora/mes/spot? | GPU funcionando 24 horas al día, 7 días a la semana a tarifa por hora |
| ¿VRAM física dedicada? | Misterioso OOM en GPU “compartida” |
| ¿Región y salida a S3? | Sorpresa de fin de mes en fichajes |
| ¿Imagen CUDA/controladores incluidos? | Días perdidos instalando la pila |
| Interrupción puntual: ¿SLA? | Empleo en formación perdido al 90% |
| ¿Aprobación de cuota y cuenta? | Proyecto bloqueado en producción por falta de cuota de GPU |
Dimensione la tarjeta según la carga de trabajo
Inferencia cuantificada 7B–13B: L4, T4 o A10 24 GB suele ser suficiente.
Ajuste 7B: 24–48 GB de VRAM, tamaño de lote modesto.
70B+ Inferencia: modelo multi-GPU o destilado; No alquiles un A100 solo por reflejo.
Jupyter exploratorio: procesador puntual de GPU más pequeño; no A100 de forma predeterminada; consulte equipo de Jupyter.
Mida el uso real de GPU (nvidia-smi, DCGM) antes de actualizar. Quince por ciento de utilización promedio = sobredimensionamiento o mal procesamiento de lotes.
Higiene de costos operativos
Habilite el apagado automático después de inactividad (scripts, etiquetas de nube). Establezca alertas de presupuesto al cincuenta y ochenta por ciento del límite mensual. Realice una copia de seguridad de puntos de control en el almacenamiento de objetos regional, no solo en discos efímeros. Mantenga una sola región: datos, GPU y depósitos en un solo lugar; consulte elegir región de la nube. Realice una revisión semanal de las instancias huérfanas después de la POC.
Una factura de GPU razonable es aquella que se apaga cuando finaliza el trabajo.
La cumbre: el precio por hora es halagador, el mes completo es más bajo
Compare las ofertas europeas de GPU con salida documentada en el directorio y la comparación.
Decide y avanza sin puntos ciegos
Estime las horas reales de GPU por mes, no el pico teórico de la primera prueba. Elija lugar versus reservado dependiendo de su tolerancia a las interrupciones y la importancia del servicio. Activa alertas de presupuesto y apagado automático antes del primer lanzamiento, no después de la primera sorpresa desagradable. Revise la VRAM después de una semana de métricas reales. Documente quién desactiva qué en el equipo para evitar instancias huérfanas. Incluya salida y almacenamiento en su simulación de costos: una tarjeta “barata” con una factura de red alta sigue siendo un mal negocio. Vuelva a leer la tabla cada tres meses: las ofertas de GPU evolucionan rápidamente y una reserva negociada puede valer más que un lugar dejado por costumbre.
Preguntas frecuentes
¿Tiempo o mes?
El momento o el lugar son adecuados para la prueba de concepto y la formación puntual. La reserva mensual tiene sentido para la inferencia las 24 horas del día; de lo contrario, el costo por hora de una GPU inactiva por la noche terminará excediendo el presupuesto planificado.
¿T4, L4 o A100?
T4 y L4 apuntan a la inferencia económica con un consumo moderado. El A100 y el H100 sirven para modelos de entrenamiento y de gran tamaño, con cuarenta a ochenta gigabytes de VRAM. Elija la tarjeta según el tamaño del modelo y el caudal esperado, no según el prestigio del nombre en la factura.
¿GPU compartidas?
Para una inferencia o un desarrollo ligeros, compartir puede ser suficiente. Para una latencia garantizada o un gran lote de solicitudes, requiera una GPU dedicada documentada: el uso compartido no transparente complica la depuración y distorsiona las mediciones.
¿Costos ocultos?
Supervise transferencias salientes, discos NVMe de gran tamaño, direcciones IP públicas, instantáneas automáticas y detecte interrupciones sin un punto de control guardado. Los controladores CUDA o el soporte técnico también pueden aparecer en una línea separada según el proveedor.
Antes de alquilar una GPU, calcula: ¿cuántas horas encendidas por semana si nadie la apaga? Si la respuesta te sorprende, arregla el proceso, no solo la tarjeta.