Cómo ejecutar un modelo de 744B parámetros en tu PC sin GPU ni Python

Un archivo C de 2,400 líneas acaba de hacer posible algo que parecía reservado para gigantes de la nube: ejecutar un modelo de inteligencia artificial con 744 mil millones de parámetros en una computadora de escritorio normal, sin tarjeta gráfica, sin Python, y sin necesitar un centro de datos. Se llama Colibrì, y ya tiene más de 2,700 estrellas en GitHub.

Mientras tanto, nosotros pagamos $20 al mes por ChatGPT Plus y nos conformamos con respuestas que a veces ni siquiera entienden nuestra pregunta. Un desarrollador decidió que eso era inaceptable y construyó algo que cambia las reglas del juego.

¿Qué es exactamente Colibrì?

Colibrì es un motor de inferencia escrito en puro C — sin BLAS, sin Python en runtime, sin dependencias externas. Fue diseñado específicamente para ejecutar GLM-5.2, un modelo Mixture-of-Experts (MoE) de 744B parámetros desarrollado por Zhipu AI.

La magia está en cómo maneja los parámetros. Un modelo MoE de 744B solo activa alrededor de 40 mil millones de parámetros por token que genera. Eso significa que no necesitas cargar los 744B completos en memoria. Colibrì mantiene solo la parte densa (attention, shared experts, embeddings — ~17B params) residente en RAM a precisión int4, ocupando apenas 9.9 GB. Los 21,504 expertos routeados viven en disco (~370 GB) y se cargan bajo demanda.

El resultado: en un sistema con 25 GB de RAM y un disco NVMe, el modelo carga en 32 segundos y consume un máximo de ~20 GB de memoria residente. Eso es una laptop promedio de hoy en día.

¿Por qué esto importa para ti como desarrollador?

Porque hasta ahora, los modelos grandes eran territorio exclusivo de:

• Empresas con GPU clusters (miles de dólares al mes en infraestructura)
• Servicios de API (OpenAI, Anthropic, Google — $20+/mes y dependes de su disponibilidad)
• Investigadores con acceso a HPC (becas, universidades, laboratorios)

Colibrì elimina esas barreras. Si tienes una computadora con 25 GB de RAM y un disco SSD decente, puedes ejecutar un modelo que compite con los mejores del mercado. Sin GPU. Sin cloud. Sin facturas mensuales.

Y no estamos hablando de un modelo pequeño o de juguete. Estamos hablando de 744 mil millones de parámetros — una arquitectura MoE con 75 capas, MLA attention con KV-cache comprimido, y hasta decodificación especulativa nativa multi-token.

Cómo funciona por dentro (sin aburrirte)

La técnica clave se llama expert streaming desde disco. Imagina que tienes una biblioteca gigante (los 370 GB del modelo) pero solo necesitas sacar unos cuantos libros (40B de parámetros) para responder cada pregunta. En vez de cargar toda la biblioteca en tu escritorio, Colibrì mantiene las secciones más importantes en la mesa (RAM) y va sacando los libros del estante (disco) cuando los necesita.

Para hacer esto rápido, usa varias optimizaciones impresionantes:

• Readahead asíncrono: mientras multiplica un bloque de expertos, ya está leyendo el siguiente del disco. Es como tener a alguien pasándote la página antes de que termines de leer la actual.
• Cache LRU por capa: los expertos que se usan frecuentemente se quedan en RAM. Si preguntas sobre programación, los expertos de código se cachean y no necesitan volver a leerse del disco.
• Int4 con kernels de punto entero: la cuantización int4 reduce el tamaño a la mitad sin perder calidad significativa, y los kernels AVX2 hacen las multiplicaciones de matriz 1.4–2.5× más rápido.
• Decodificación especulativa: el modelo tiene su propio predictor multi-token que genera candidatos mientras el modelo principal verifica. Cuando funciona, produce 2.2–2.8 tokens por forward.

La comparativa que te va a sorprender

Colibrì vs ChatGPT: ChatGPT Plus cuesta $20/mes, depende de internet, y no sabes qué pasa con tus datos. Colibrì corre en tu máquina, sin internet, y tus conversaciones son 100% privadas.

Colibrì vs modelos locales con GPU: Un modelo de 70B con GPU necesita al menos una RTX 4090 (1,599 USD). Colibrì corre un modelo 10× más grande en hardware que ya tienes. La diferencia es abismal.

Colibrì vs otros engines CPU: llama.cpp es fantástico, pero fue diseñado para modelos más pequeños. Colibrì fue construido desde cero para la arquitectura MoE con streaming de expertos desde disco — algo que ningún otro engine hace así.

Lo que la comunidad dice: En el hilo de Hacker News (855 puntos, 211 comentarios), desarrolladores reportan velocidades de decodificación de ~5 tokens por segundo en SSD NVMe. No es rápido como GPU, pero para una conversación interactiva es perfectamente usable. Y Antirez (creador de Redis) ya tiene una branch de Colibrì integrada en su proyecto dwarfstar.

Cómo empezar ahora mismo

Si quieres probarlo, el proceso es directo:

1. Clonar el repo: git clone https://github.com/JustVugg/colibri
2. Compilar: es un solo archivo C — no necesitas cmake, no necesitas dependencias. gcc -O3 c/glm.c -o coli y listo.
3. Convertir el modelo: usa el convertidor incluido para pasar el checkpoint FP8 de GLM-5.2 a int4. Descarga un shard a la vez (~5 GB), lo convierte y borra — nunca necesitas los 756 GB completos en disco.
4. Chatear: ./coli chat — el modelo carga en ~30 segundos y empieza a responder.

Requisitos mínimos: 25 GB de RAM, disco con ~400 GB libres, Linux o WSL2. Sin GPU. Sin Python. Sin Docker. Sin npm. Sin pip install. Un solo binario.

El hack más loco: KV-cache que sobrevive reinicios

Colibrì guarda automáticamente el KV-cache (el "contexto" de la conversación) en un archivo después de cada turno (~182 KB por token). Cuando reinicias el engine, reanuda exactamente donde lo dejaste — sin necesidad de re-prefill.

Esto significa que puedes tener una conversación larga, cerrar la terminal, reiniciar tu computadora, y seguir exactamente donde estabas. Es como si el modelo tuviera memoria persistente. Y es byte-idéntico a una sesión ininterrumpida — lo han validado.

¿Cuál es la trampa?

Ser honesto: la velocidad. En CPU, estás viendo ~5 tokens por segundo con NVMe, menos con SSD convencional. No es ChatGPT-level de rapidez. Pero para tareas que no necesitan streaming en tiempo real — generar código, responder preguntas complejas, resumir documentos — es más que suficiente.

Además, el decoder especulativo multi-token es inteligente pero tiene un caveat: en cache frío, cada draft verificado carga expertos adicionales (~660 a ~1,100 expert loads por token), lo que puede ralentizar la primera interacción hasta que el cache se caliente. Después de unas cuantas respuestas, el rendimiento mejora significativamente.

El futuro que esto abre

Colibrì no es solo un proyecto cool — es una demostración de que la brecha entre modelos gigantes y hardware de consumidor se está cerrando. Hace un año, ejecutar un modelo de 744B en tu laptop era ciencia ficción. Hoy es un git clone && gcc.

Esto tiene implicaciones enormes para la privacidad (tus datos nunca salen de tu máquina), para la accesibilidad (no necesitas pagar APIs), y para la investigación (puedes experimentar con modelos gigantes desde tu casa).

El camino hacia la democratización de la IA no pasa por hacer los modelos más pequeños. Pasa por hacer el hardware de consumidor más capaz Y los engines más inteligentes. Colibrì demuestra que el segundo camino funciona.

Con 2,700+ estrellas y crecimiento rápido, este proyecto está lejos de terminar. Si eres desarrollador y te interesa la IA local, este es el repo que debes tener en tu radar ahora mismo.

¿Qué opinas? ¿Vale la pena la inversión en hardware para correr modelos localmente, o prefieres depender de las APIs? Comparte esto con alguien que todavía piensa que ejecutar IA gigante requiere una GPU de $5,000.