Echemos un vistazo rápido a los cargos recurrentes de tu tarjeta. Veinte dólares por ChatGPT Plus, otros veinte por Claude, un par de decenas por el asistente del editor de código y encima el pago por tokens en la nube... Al cabo del año se te van sin darte cuenta entre 700 y 1000 dólares. Y ojalá fuera solo el dinero: los chats corporativos se caen en horas pico, los servidores meten límites draconianos de mensajes cada tres horas, y mandar código confidencial de un cliente o datos personales a la nube es comprarte boletos para un dolor de cabeza de seguridad.
David Ondrej llevó a cabo una investigación práctica muy sólida que demuestra que en otoño de 2026 llegamos al punto de inflexión. Los pesos abiertos de familias como Qwen 2.5, Llama 3.2 y Mistral en cuantizaciones compactas alcanzaron tal nivel de madurez que resuelven el 95% de las tareas diarias de un programador, editor o analista directamente en tu máquina de casa.
Hardware y cuantización: cuánta memoria hace falta de verdad
El mito número uno que espanta a la gente de la IA local dice: «Para eso necesitas una granja de servidores carísima». Quitémonos los prejuicios y hagamos cuentas en frío.
Escala infográfica de memoria de video de 8 GB a 64 GB para modelos cuantizados en formato GGUF
Los modelos abiertos modernos se distribuyen en formato cuantizado GGUF (de la librería llama.cpp). Cuantizar consiste en comprimir matemáticamente los pesos de la red neuronal desde números de punto flotante de 16 bits a enteros de 4 u 8 bits. La pérdida de calidad en tareas prácticas es de décimas porcentuales, mientras que el consumo de memoria cae tres o cuatro veces.
Así queda el mapa real para hardware de consumo:
- 12 GB de VRAM (tarjetas accesibles como NVIDIA GeForce RTX 3060 o 4070): ejecución fluida de modelos de 7B a 14B parámetros en cuantización
Q4_K_M. Sobra para reescribir textos al vuelo, buscar en documentos locales y generar scripts habituales; - 16–24 GB de VRAM (RTX 4080 / RTX 4090): modelos de 14B a 32B parámetros (por ejemplo, el puntero
Qwen 2.5 Coder 14B/32B). Aquí la calidad en desarrollo web ya es prácticamente indistinguible de las suscripciones comerciales; - Apple Silicon (M2/M3/M4 con 32–64 GB de Unified Memory): la opción ideal para trabajar con contextos enormes. Como la GPU del Mac comparte la memoria RAM unificada, puedes cargar un modelo de 32B o incluso 70B sin comprar dos tarjetas gráficas dedicadas.
Expliqué cómo unir nodos locales de este tipo en redes agénticas distribuidas en Enjambre local de agentes IA en PC: orquestación con Paperclip, Hermes y MiniMax M3.
Puesta en marcha paso a paso: de la terminal al perfil a medida
Como herramienta base usaremos Ollama. Se encarga de todo el trabajo sucio: gestionar procesos, repartir las capas del modelo entre la gráfica y la RAM y levantar un servidor HTTP local.
1. Instalación y arranque del entorno
En Linux o Windows WSL2 se instala con una sola línea:
# Descarga e instalación del binario de Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Arranque del demonio en segundo plano
systemctl --user start ollama
2. Descarga del modelo de programación
Bajemos el modelo especializado en desarrollo Qwen 2.5 Coder 14B con una cuantización equilibrada:
ollama run qwen2.5-coder:14b-instruct-q4_K_M
El comando descarga automáticamente la imagen de unos 9 GB y abre el chat directo en la consola.
3. Ajuste fino con Modelfile
La configuración estándar de Ollama reserva por defecto solo 2048 tokens para el contexto. Para programar eso se queda corto enseguida: un par de archivos largos de código expulsan las instrucciones del sistema. Vamos a crear un perfil propio con ventana ampliada y un rol claro.
Crea un archivo de texto llamado Modelfile:
FROM qwen2.5-coder:14b-instruct-q4_K_M
# Ampliamos la ventana de contexto a 16k tokens
PARAMETER num_ctx 16384
# Temperatura baja para sintaxis determinista y precisa
PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
# Fijamos un prompt de sistema inmutable
SYSTEM '''
Ты опытный ведущий инженер-программист. Отвечай кратко, пиши идиоматичный и чистый код с комментариями только по неочевидной логике, соблюдай строгую типизацию.
'''
Ahora compilamos nuestra propia imagen con nombre:
ollama create my-senior-coder -f ./Modelfile
4. Comprobación del uso de hardware
Lanza la imagen recién creada y verifica cómo se alojó en la VRAM:
ollama run my-senior-coder "Напиши асинхронную функцию на Python для парсинга sitemap.xml"
En otra pestaña de la terminal ejecuta el comando de diagnóstico:
ollama ps
La utilidad mostrará el nombre del modelo activo, la memoria ocupada y el porcentaje de capas cargadas en VRAM (lo ideal es ver un 100% GPU).
Conexión a scripts e interfaces gráficas
Ollama levanta automáticamente un servidor local en el puerto 11434. Puedes llamarlo desde cualquiera de tus scripts sin claves API ni cobros por token:
import requests
url = "http://localhost:11434/api/generate"
payload = {
"model": "my-senior-coder",
"prompt": "Как сконфигурировать CORS в FastAPI?",
"stream": False
}
response = requests.post(url, json=payload).json()
print(response["response"])
Si prefieres una interfaz web bonita al estilo ChatGPT, basta una línea en Docker para levantar Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Abres http://localhost:3000 en el navegador y tienes un espacio de trabajo completo con historial de chats, carga de PDFs y entrada de voz.
Todos los modelos descargados se guardan en local dentro de ~/.ollama/models. Puedes apagar el Wi-Fi, subirte a un tren o a un avión y seguir programando con un asistente de IA completo, sin depender de la cobertura ni del roaming.
Si tu equipo no tiene tarjeta gráfica NVIDIA dedicada ni chip Apple Silicon, el modelo correrá solo sobre la CPU. En redes de 14B la velocidad caerá a 2–4 tokens por segundo. En ese caso conviene quedarse con modelos ligeros de clase 3B–7B (Qwen 2.5 3B o Llama 3.2 3B).
Tener tu propio stack local te devuelve la sensación de control total sobre tus herramientas. Nada de bloqueos repentinos de cuenta ni cláusulas de cesión de datos a terceros: solo tu hardware y potencia de cálculo pura.

