⚡ Tecnología
Bonsai 27B: 27 mil millones de parámetros en tu bolsillo — el modelo de IA que corre en tu teléfono y es gratis
¿Y si te dijera que un modelo de 27 mil millones de parámetros cabe en tu iPhone y funciona sin internet?
No es un sueño ni una promesa de marketing. Es Bonsai 27B, el último lanzamiento de Prism ML, y acaba de romper todas las reglas de lo que debería ser posible con inteligencia artificial local.
Hasta hoy tenías dos opciones: pagar una fortuna por APIs en la nube o conformarte con modelos pequeños que apenas entienden lo que les pides. Bonsai 27B elimina ese dilema de un plumazo.
¿Qué hace a Bonsai 27B tan especial?
Para ponerlo en perspectiva: un modelo de 27 mil millones de parámetros en precisión normal (16-bit) ocupa 54 GB. Con cuantización 4-bit, baja a 18 GB — todavía demasiado para un teléfono que tiene que compartir memoria con el sistema operativo.
Bonsai usa un enfoque radicalmente distinto: pesos ternarios y binarios que reducen el modelo a 1.71 bits efectivos por peso en su versión ternaria y 1.125 bits en la binaria. Resultado: 5.9 GB para la versión ternaria (calidad laptop) y apenas 3.9 GB para la binaria (cabe en un iPhone 17 Pro con espacio de sobra).
Y no, no sacrificaron calidad. En 15 benchmarks distintos — matemáticas, código, razonamiento, visión — Bonsai 27B retiene prácticamente el mismo rendimiento que el modelo original de 54 GB.
Matemáticas, código y agentes: lo que realmente importa
Prism ML probó el modelo en 15 benchmarks que cubren conocimiento general, razonamiento, matemáticas, código, seguimiento de instrucciones, llamadas a herramientas y visión multimodal. Los resultados son contundentes:
- Matemáticas (GSM8K, MATH-500, AIME25, AIME26): rendimiento casi idéntico al modelo original en precisión completa
- Código (HumanEval+, MBPP+, LiveCodeBench): igual de preciso que su contraparte de 54 GB
- Llamadas a herramientas (BFCL v3, TauBench): apenas unos puntos por debajo
Las capacidades que realmente importan para flujos agentivos — razonamiento en múltiples pasos, uso de herramientas, ejecución de código — se mantienen prácticamente intactas. Para comparar, una cuantización convencional 4-bit del mismo modelo base ocupa 2.5x más memoria y rinde peor que Bonsai 27B en 1-bit.
Densidad de inteligencia: la métrica que importa
Prism ML introdujo el concepto de "inteligencia por gigabyte" con sus modelos anteriores. Bonsai 27B alcanza 0.53 de inteligencia por GB — más de 10 veces que el modelo original en precisión completa y 2.7 veces la mejor alternativa low-bit disponible.
Esto no es una mejora incremental. Es un cambio de paradigma en cómo pensamos sobre la IA local.
¿Por qué esto es más importante de lo que parece?
Las aplicaciones de IA están evolucionando de respuestas únicas a flujos de trabajo sostenidos: asistentes que operan herramientas reales, agentes que ejecutan cientos de pasos, investigaciones que sintetizan docenas de documentos. Cada paso es una llamada al modelo.
En la nube, eso significa costos que se acumulan por token. Un agente que hace 100 llamadas cuesta 100 veces más. Y todos tus datos privados cruzan la red en cada iteración.
Con Bonsai 27B, el agente vive dentro de tu dispositivo. El costo marginal de 100 pasos es cero. Tus datos nunca salen de tu máquina. Y funciona sin internet.
Rendimiento que impresiona
En hardware real, Bonsai 27B alcanza cifras que hasta hace un año parecían imposibles para un modelo de este tamaño:
- 163 tok/s en versión 1-bit sobre una NVIDIA RTX 5090
- 134 tok/s en versión ternaria sobre la misma GPU
- 87 tok/s en versión 1-bit sobre un Apple M5 Max
- 58 tok/s en versión ternaria sobre M5 Max
Y todo esto con un contexto de 262 mil tokens, decodificación especulativa para acelerar aún más, y capacidades multimodales que incluyen visión, documentos y captura de cámara en tiempo real.
¿Qué significa esto para LATAM?
Para los desarrolladores latinoamericanos, esto es enorme. El acceso a modelos de IA de alto nivel ha estado limitado por conexiones inestables, costos de APIs en dólares y hardware especializado inaccesible.
Bonsai 27B cambia eso: si tienes un iPhone 17 Pro o una laptop con GPU decente, tienes inteligencia artificial de nivel frontier corriendo localmente, sin pagar un centavo por API, sin depender de la nube, sin preocuparte por la latencia.
Prism ML está ofreciendo una API gratuita de tiempo limitado para desarrolladores, y los pesos del modelo están disponibles bajo licencia Apache 2.0 — puedes usarlo, modificarlo y redistribuirlo sin restricciones.
El futuro es local (y cabe en tu bolsillo)
La computación personal pasó de llenar habitaciones enteras a caber en un bolsillo. La inteligencia artificial está haciendo el mismo viaje, y Bonsai 27B es su paso más grande hasta ahora.
"La capacidad bruta determina lo que un modelo puede hacer. La densidad determina dónde puede hacerlo." — Prism ML
Puedes descargar los pesos desde prismml.com, probarlo con MLX en Mac o con CUDA en NVIDIA. Es gratis, es open source, y funciona sin conexión.
Comparte esto con alguien que todavía paga $200 al mes por APIs de IA cuando podría tenerlo todo corriendo localmente.
¿Y tú? ¿Crees que los modelos locales reemplazarán a las APIs en la nube en los próximos dos años? Déjalo en los comentarios.