En este segundo artículo (este será extenso, lo siento) vamos a entrar ya de lleno en las tripas de nuestro servidor. Antes de comprar un ordenador, debemos pararnos a pensar en qué tipo de IA vamos a ejecutar en local.

Claramente, la decisión más importante es la elección del modelo de IA que vamos a seleccionar para trabajar. No es lo mismo un modelo de 7B (7.000 millones de parámetros) que un modelo “70B” de 70.000 millones de parámetros.

Por ejemplo, si seleccionamos el modelo Gemma 4, podemos llegar a trabajar (dependiendo de la versión) con hasta “31B”:

• Gemma 4 E2B: Aproximadamente 2.3 mil millones de parámetros efectivos (5.1B totales).
• Gemma 4 E4B: Aproximadamente 4.5 mil millones de parámetros efectivos (8B totales).
• Gemma 4 12B Unified: 11.95 mil millones de parámetros.
• Gemma 4 26B A4B (MoE): 25.2 mil millones de parámetros totales, pero solo activa ~3.8-4 mil millones durante la inferencia.
• Gemma 4 31B: 30.7 mil millones de parámetros densos.

La variante más grande, el modelo denso de 31B, tiene 30.7 mil millones de parámetros, lo que es significativamente menos que un billón (1,000 mil millones)

Y esta es la razón por la que la memoria de vídeo (Vram) es fundamental. A más Vram en nuestra GPU gráfica, más cantidad de datos podremos tratar sin necesidad de tener que hacer cálculos sobre el disco SSD.

Y aquí es donde encontramos el cuello de botella de nuestra IA Local. Una gráfica Nvidia de 32 ó 64 Gb de NVRAM puede costarnos un ojo de la cara.

En este punto podríamos llegar a pensar que quizá se podría compensar la VRAM (memoria gráfica) con la memoria RAM del sistema. Cierto es que la RAM importa, pero la VRAM determina en gran medida qué modelos podremos llegar a cargar, de forma cómoda, sin que se nos eternicen los cálculos.

Os explico el porqué de VRAM, mejor que RAM:

• Función específica: La VRAM almacena exclusivamente datos gráficos como texturas, modelos 3D y buffers de píxeles que la GPU necesita renderizar rápidamente.
• Optimización: A diferencia de la RAM del sistema, la VRAM está diseñada para tener un ancho de banda mucho mayor y ser más rápida en la entrega de datos visuales, aunque suele tener mayor latencia.
• Independencia física: En las tarjetas gráficas dedicadas, la VRAM está soldada directamente a la placa de la GPU y no es intercambiable ni extensible por el usuario, a diferencia de los módulos de RAM del sistema que se pueden actualizar.
• Memoria compartida: En el caso de las gráficas integradas (iGPU), estas no tienen VRAM física propia y deben «pedir prestada» parte de la RAM del sistema, lo que resulta en un rendimiento gráfico inferior debido a la menor velocidad de la RAM convencional.

En resumen, VRAM se distingue por ser la memoria de alto rendimiento específica para el procesamiento visual, mientras que RAM es el espacio de trabajo temporal general para todo el ordenador.

En la siguiente imagen os propongo la configuración que considero óptima (que no la que nos podemos permitir):

Ollama, por ejemplo, soporta actualmente las NVIDIA RTX 50xx, incluidas RTX 5090, y las RTX profesionales Blackwell.

¿Por qué 128 GB de RAM?

Porque estoy pensado en un servidor que no va a hacer únicamente inferencia (cálculos lógicos de los que se extrae una conclusión a partir de los datos almacenados y preguntas planteadas).

Eventualmente podríamos tener:

• Ollama
• Open WebUI
• base vectorial
• embeddings
• OCR
• procesamiento de PDF
• extracción de texto
• RAG
• posiblemente Whisper
• bases de datos
• Docker
• herramientas de análisis
• varios modelos
• máquinas virtuales o contenedores

Para este modelo (y según las fuentes y referencias técnicas que he consultado) con 64 GB de VRAM funcionaría.

Con 128 GB, funcionaríamos muy bien.

Con 192/256 GB, ya estaríamos construyendo una máquina muy seria.

En cualquier caso, nos estamos yendo por encima de los 5.000 euros, solo en la tarjeta gráfica, por tanto (al menos para mi bolsillo) me tendré que conformar con una de 32 Gb.

En mi opinión, a partir de esta cantidad de memoria estaríamos entrando ya en territorio de servidores de IA profesionales.

32 GB de VRAM permiten trabajar muy bien con modelos cuantizados grandes.

Os pongo un ejemplo de cómo se desenvolvería esta gráfica (32 GB) con diferentes modelos:

• 7B–14B → sobrado
• 20B–32B → muy cómodo
• 70B cuantizado → posible dependiendo de cuantización/contexto/offloading
• modelos de visión → muy bien
• embeddings → sobrado
• Whisper → sobrado
• RAG → sobrado

Y es que el gran problema -como os digo- es que el mercado de GPU está especialmente caro. La RTX 5090, además, ha sufrido fuertes incrementos de precio debido a demanda de IA y escasez de VRAM.

Por tanto, deberíais pensar, primero, qué le vais a exigir a vuestro servidor, antes de gastaros una cantidad de dinero desorbitada.

Por otra parte, si os sobra el dinero, quizá la mejor opción que -a mi gusto- se puede elegir a día de hoy es la RTX PRO 6000 Blackwell, de 96 GB

Esta sería mi elección si quieres que el servidor tenga una vida útil muy larga.

96 GB de VRAM es una diferencia de rendimiento exponencial respecto a la de 32 Gb.

Permite pensar en:

 

 

 

 

 

 

 

sin estar continuamente peleándonos con la memoria.

Para mi perfil profesional y el proyecto que tengo en mente, 96 GB de VRAM tiene bastante sentido, pero mi bolsillo me lo impide.

Pero no todo está perdido: Hay una alternativa para quienes no dispongáis de presupuesto para una VRAM dedicada. Se trata de la denominada “Memoria Unificada”.

La memoria unificada es una arquitectura de hardware donde la CPU y la GPU (y otros procesadores como el motor neuronal) comparten un único banco de memoria física, eliminando la necesidad de copiar datos entre memorias separadas.  Esta tecnología es característica principal de los chips Apple Silicon (serie M), donde la memoria está integrada en el mismo SoC (Sistema en un Chip) para maximizar la velocidad y la eficiencia energética.

A diferencia de los PC tradicionales que usan RAM para el sistema y VRAM dedicada para gráficos, la memoria unificada permite que ambos componentes accedan simultáneamente a los mismos datos sin cuellos de botella por transferencia PCIe.  Aunque el usuario final la percibe como equivalente a la cantidad de RAM (ej.  8 GB, 16 GB), su diseño permite una asignación dinámica y flexible de recursos, lo que puede ofrecer un rendimiento superior a una cantidad similar de memoria RAM convencional en tareas gráficas intensivas o de inteligencia artificial.

Así las cosas, tenemos la suerte de que AMD también soporta este tipo de memoria en sus chips más modernos, como el AMD Ryzen AI 9 HX. No nos va a proporcionar la velocidad de proceso de una VRAM dedicada, pero -si lo cargamos bien de memoria RAM- obtendremos un equipo excepcionalmente potente, a un coste mucho más moderado.

En el próximo artículo -y continuando con la CPU- os hablaré de otros componentes de Hardware.

Prometo no asustaros tanto con los costes, cosa -por otra parte- no muy difícil de cumplir.