NVIDIA lanzó el DGX Spark como "una supercomputadora de IA en tu escritorio": una caja dorada de US$ 4.000 (alrededor de R$ 22.000) con 128 GB de memoria, capaz de cargar modelos de IA que no caben en casi ninguna computadora común. Luego llegaron las pruebas independientes y el resultado incomodó: en velocidad de respuesta, la caja de NVIDIA empata con un Mac mini que cuesta un tercio del precio, pierde frente a los Mac con chip M5 Max y queda por debajo de una placa de video para videojuegos, la RTX 5090. No es un defecto de fabricación. Es un número de la ficha técnica que el marketing no destaca: el ancho de banda de la memoria.
Este post explica, sin tecnicismos, por qué sucede esto, muestra los números de las pruebas públicas y extrae la lección que importa para quienes están pensando en tener IA corriendo dentro de su propia empresa: el hardware correcto no es el de la marca más famosa ni el de mayor memoria. Es el que fue dimensionado para tu caso específico.
La memoria grande dice qué cabe. El ancho de banda dice qué se mueve.
Piensa en un almacén. El tamaño del almacén (la memoria, medida en GB) define cuánto inventario puedes guardar. El ancho de la puerta (el ancho de banda, medido en GB por segundo) define cuánto inventario entra y sale por minuto. Un almacén gigante con una puerta de garaje angosta guarda mucho y mueve poco.
Con la IA es igual, con un detalle que casi nadie menciona: cuando una IA escribe una respuesta, necesita releer el modelo completo desde la memoria para cada palabra que genera. No es una lectura al inicio y listo. Es el modelo completo, de nuevo, con cada palabra. Por eso la velocidad máxima de escritura es un cálculo sencillo: ancho de banda dividido por el tamaño del modelo.
El DGX Spark mueve 273 GB por segundo. Un modelo de 70 mil millones de parámetros, comprimido en el formato que todos usan, ocupa unos 40 GB. Divide uno entre el otro: en el mejor caso teórico, 7 palabras por segundo. En la práctica, menos. Una persona lee entre 4 y 5 palabras por segundo, lo que significa que la máquina de US$ 4.000 entrega el texto casi a la velocidad en que tú lo lees. Para un chat de una sola persona, se puede convivir con eso. Para una operación con decenas de atenciones, análisis de documentos y agentes trabajando en lote, eso es una fila en la puerta del almacén.
Los números, uno al lado del otro
Ancho de banda de memoria de cada máquina, según las fichas técnicas oficiales:
- NVIDIA DGX Spark: 128 GB de memoria, 273 GB/s, US$ 4.000.
- Mac mini (chip M4 Pro): hasta 64 GB de memoria, los mismos 273 GB/s, a cerca de un tercio del precio.
- MacBook Pro con chip M5 Max: 614 GB/s, más del doble que el Spark.
- RTX 5090 (placa de video para videojuegos): 32 GB de memoria, 1.792 GB/s, seis veces y media el ancho de banda del Spark.
Y las pruebas prácticas confirman el cálculo. En el benchmark público de llama.cpp (la herramienta más usada en el mundo para correr IA en la propia computadora), el DGX Spark genera alrededor de 35 palabras por segundo en un modelo grande, de 120 mil millones de parámetros. Una GPU profesional de la propia NVIDIA, con alto ancho de banda de memoria, hace 180 palabras por segundo en la misma tarea: cinco veces más rápido. Y los modelos medianos que caben en los 32 GB de la RTX 5090 corren en la placa de videojuegos varias veces más rápido que en el Spark, porque su ancho de banda es seis veces mayor.
Una aclaración importante: el Spark no es lento en todo. Lee la pregunta y los documentos de entrada muy rápido, porque eso depende del poder de cómputo, que tiene de sobra. El cuello de botella aparece al escribir la respuesta, que es exactamente la parte que el usuario está esperando ver en pantalla.
"Pero corre modelos que los otros no pueden"
Verdad. Los 128 GB de memoria compartida cargan modelos que no caben ni en el Mac mini ni en la RTX 5090. Ese es el argumento de venta completo. El problema es la palabra "corre." Cargar un modelo gigante y generar 3 a 7 palabras por segundo es como contratar a un consultor brillante que dicta el informe a una palabra por segundo: el conocimiento está ahí, pero el resultado no llega a tiempo.
Memoria compartida grande sin ancho de banda es el almacén gigante con puerta angosta. Sirve para guardar, no para operar. Por eso todas las pruebas independientes llegaron a la misma conclusión: el Spark es una excelente máquina de laboratorio para que los desarrolladores del ecosistema NVIDIA prueben modelos grandes antes de enviarlos al data center. Como máquina de producción para sostener las operaciones diarias de una empresa, el costo por velocidad no cierra.
La lección para las empresas que quieren IA dentro de casa
Este episodio enseña más sobre compra de tecnología que sobre NVIDIA. El error que expone es clásico: elegir hardware de IA por el logotipo o por el número más grande del anuncio. Los 128 GB de memoria son el número de vitrina. Los 273 GB/s de ancho de banda son el número que manda en el día a día. Quien no sabe distinguirlos paga R$ 22.000 por una experiencia más lenta que la de una Mac de entrada.
Y esta decisión está llegando a la mesa de cada vez más empresas, porque correr IA dentro de casa (el llamado on-premise) resuelve dos problemas que la nube no resuelve: los datos del negocio dejan de viajar a servidores de terceros, y la cuenta mensual por uso se convierte en un costo fijo y predecible. Ya mostramos cómo tener IA sin filtrar los datos de la empresa y por qué eso importa.
Pero la IA dentro de casa solo vale la pena cuando el dimensionamiento se hace en el orden correcto: primero la tarea que necesita resolverse, luego el modelo más pequeño que la resuelve con calidad, luego cuántas personas y procesos la usarán al mismo tiempo, y solo al final la máquina que sostiene eso con margen. A veces la respuesta es una Mac de escritorio. A veces es una placa de videojuegos en un servidor simple. A veces es un servidor con GPUs profesionales. Lo que la respuesta nunca es: "la caja más cara de la marca más famosa."
Es exactamente ese dimensionamiento lo que hace Steply en el diagnóstico de IA on-premise: evaluamos tu caso, hacemos el cálculo de ancho de banda, modelo y uso simultáneo, y entregamos la especificación de la máquina correcta antes de que gastes un real en hardware.
La caja dorada de NVIDIA no es un mal producto. Es un producto de laboratorio que se vende como solución de escritorio, y quien lo compra sin hacer el cálculo descubre la diferencia después de recibir la factura. La ficha técnica tiene números de vitrina y números que mandan. Saber distinguirlos es la diferencia entre invertir en IA y coleccionar equipos.