Corrió un modelo de 744B parámetros en su laptop sin GPU — Colibrì es el invento que humilla a NVIDIA

Un desarrollador anónimo acaba de lograr lo que los ingenieros de NVIDIA, Google y OpenAI dijeron que era imposible: ejecutar un modelo de lenguaje de 744 mil millones de parámetros en una laptop común de 32 GB de RAM. Sin GPU. Sin Python. Sin BLAS. Solo C puro.

El proyecto se llama Colibrì, y su nombre no podría ser más apropiado. Como el pájaro más pequeño del mundo, este software hace lo imposible: meter un modelo masivo donde no debería caber, y hacerlo funcionar.

La historia comienza cuando Vugg (el desarrollador, que pide que lo llamen así) se topó con GLM 5.2, el modelo de última generación de Zhipu AI (la empresa china que compite directamente con OpenAI). Con 744 mil millones de parámetros y una arquitectura Mixture-of-Experts, este modelo necesita normalmente varios cientos de GB de VRAM para funcionar. En clusters de GPUs H100 que cuestan millones de dólares.

Vugg solo tenía su laptop de 12 núcleos con 25 GB de RAM útiles. Y se preguntó: "¿Y si pudiera hacerlo funcionar de todas formas?"

Spoiler: lo logró.

¿Cómo demonios corre un modelo de 744B en 25 GB de RAM?

La respuesta está en la arquitectura Mixture-of-Experts (MoE) y en una ingeniería tan elegante como brutal.

GLM 5.2 es un modelo MoE con 21,504 expertos distribuidos en 75 capas. Eso significa que, aunque el modelo tiene 744B parámetros totales, por cada token de texto solo se activan ~40B parámetros. Y de esos 40B, solo ~11 GB cambian de un token a otro — los pesos de los expertos enrutados.

Vugg aprovechó esta característica con una estrategia de dos niveles:

• La parte densa (atención, expertos compartidos, embeddings: ~17B parámetros) se queda residente en RAM cuantizada a int4. Son ~9.9 GB fijos que siempre están cargados.
• Los 21,504 expertos enrutados (~370 GB en disco en int4) se cargan bajo demanda. Se necesita menos de 1 GB por capa, y solo se cargan las capas necesarias en cada paso.

El motor tiene una caché LRU por capa, un hot-store opcional para los expertos más frecuentes, y usa la caché de página del sistema operativo como L2 gratuita. En términos simples: el disco actúa como una extensión de la RAM, pero inteligente — solo trae lo que realmente necesitas en cada momento.

El dato que te volará la cabeza

Todo el motor de inferencia es un solo archivo C de ~1300 líneas. Sin BLAS, sin Python en tiempo de ejecución, sin GPU. El archivo se llama glm.c y es tan legible que cualquier programador con conocimientos básicos de C puede entender lo que hace.

Compáralo con el stack de cualquier LLM moderno: Python + PyTorch + CUDA + drivers NVIDIA + Docker + Kubernetes +... Lo que Vugg hizo en un solo archivo C, las grandes empresas lo hacen con millones de líneas de dependencias.

"No tengo GPU ni hardware serio, así que no puedo probar esto en nada más potente que mi laptop. Colibrì nació de una idea muy simple, pero probada hasta el cansancio."

— Vugg, creador de Colibrì, en Hacker News

¿Y qué tal funciona? (spoiler: es lento, pero funciona)

Seamos honestos: no esperes respuestas instantáneas. En frío, Colibrì genera tokens a ~0.1 tokens por segundo. Sí, has leído bien: un token cada 10 segundos. Para escribir "Hola, mundo" necesitas esperar casi un minuto.

Pero eso no es el punto.

El punto es que funciona. En una maldita laptop normal. Sin conexión a internet. Sin depender de ningún servicio en la nube. Sin pagarle un centavo a NVIDIA, AWS, o Google Cloud.

Y con una caché caliente, el rendimiento mejora significativamente. Si mantienes una conversación larga, los expertos más usados ya están en RAM y la velocidad sube. No es usable para ChatGPT, pero es una prueba de concepto que cambia las reglas del juego.

¿Qué significa esto para el futuro de la IA?

Colibrì demuestra algo que muchos sospechaban pero nadie había logrado probar: los modelos MoE son inherentemente ejecutables en hardware de consumo si optimizas correctamente el streaming de expertos.

Las implicaciones son enormes:

• Privacidad total: corre el modelo localmente, tus datos nunca salen de tu máquina.
• Cero dependencia de cloud: no necesitas pagar APIs, no necesitas internet.
• Hardware barato: cualquier laptop con 32 GB de RAM y un SSD decente vale.
• Escalabilidad: la misma técnica funciona en servidores económicos. Un rack de CPUs con mucha RAM y SSD NVMe podría rivalizar con GPUs mucho más caras para ciertas cargas de trabajo.

Y lo más loco: la técnica de Colibrì es agnóstica al modelo. Cualquier modelo MoE (Mixtral, Qwen MoE, DeepSeek MoE) podría beneficiarse del mismo enfoque. Vugg usó GLM 5.2 porque era el modelo que le interesaba, pero el motor C subyacente puede adaptarse.

¿Qué dice la comunidad?

En Hacker News, donde la publicación alcanzó 319 puntos y 84 comentarios, las reacciones fueron una mezcla de asombro y escepticismo constructivo:

• "Esto es exactamente lo que necesita la IA open-source para democratizarse de verdad"
• "0.1 tok/s no es usable, pero es un comienzo. ¿Qué pasa cuando usamos SSDs PCIe 5.0 con 14 GB/s de lectura?"
• "El hecho de que sea un solo archivo C me hace sentir que hemos estado sobreingenierizando todo durante años"

Algunos señalaron que técnicas similares existen en proyectos como llama.cpp (que ya permite inferencia en CPU), pero que Colibrì va un paso más allá al manejar modelos con cientos de miles de expertos sin necesidad de tenerlos todos en RAM.

La lección: una persona con una laptop y C puede más que un equipo con millones de dólares

Colibrì es la prueba viviente de que la IA no necesita ser centralizada. No necesitas un cluster de H100s para experimentar con modelos de frontera. No necesitas una API key de OpenAI. No necesitas permiso de nadie.

Necesitas una laptop, un SSD, y las ganas de ignorar a todos los que te dicen que algo es imposible.

En la era de la IA en la nube, Colibrì es un recordatorio de que el poder de cómputo no tiene por qué estar en un data center. Puede estar en tu mochila.

Dato final para impresionar: GLM 5.2 en int4 ocupa ~465 GB en disco. Colibrì logra ejecutarlo con solo 9.9 GB de RAM para la parte densa y menos de 1 GB por capa activa. Esto significa que el 98% del modelo vive en disco y se carga solo cuando se necesita. Es como tener una biblioteca de 500 libros pero solo tener abierto el que estás leyendo.

¿Cómo probarlo?

El repositorio está en github.com/JustVugg/colibri. Necesitas:

• Una laptop con al menos 32 GB de RAM (25 GB libres)
• ~500 GB de espacio libre en un SSD (los pesos del modelo en int4)
• Un compilador C (gcc, clang)
• Descargar GLM 5.2 cuantizado a int4 desde Hugging Face
• Paciencia (mucha paciencia)

Y sí, es completamente open-source. Vugg lo liberó bajo licencia MIT.

¿Te imaginas un futuro donde tu laptop pueda correr modelos que hoy solo existen en la nube? Ese futuro llegó, se llama Colibrì, y pesa 1300 líneas de C.

Comparte esto si crees que el ingeniero solitario que programa hasta tarde en su laptop merece más respeto que las megacorporaciones.