AMD compró una startup que graba modelos de IA directamente en silicio — y Nvidia debería estar preocupada

AMD compró una startup canadiense que hace algo que suena a ciencia ficción: grabar modelos de inteligencia artificial directamente en el silicio de los chips. No es una promesa de PowerPoint. Ya tienen un demo funcionando. Y la implicación para la carrera por la inferencia de IA es gigante.

El problema que nadie quiere admitir

Cada vez que usas ChatGPT, un modelo de imagen, o un asistente de código, el modelo corre en un chip de inferencia que carga los pesos del modelo desde la memoria RAM. Ese proceso de carga es un infierno de ancho de banda. Los modelos grandes de 70B+ parámetros necesitan mover terabytes de datos por segundo, y los chips actuales pasan más tiempo esperando datos que procesándolos.

Según el post de HN que reunió 262 puntos y 204 comentarios, la inferencia de IA es el segmento de más rápido crecimiento del mercado de IA. Y el cuello de botella no es cómputo — es memoria. Los modelos necesitan más datos de los que los chips pueden leer a tiempo.

¿Qué hizo Taalas?

Taalas, fundada en 2023 en Toronto, Canadá, tomó una decisión radical: diseñar hardware alrededor del modelo, no al revés. En vez de construir un chip generalista y luego adaptar los modelos a él, Taalas graba los pesos del modelo directamente en la arquitectura del silicio.

El resultado: un chip optimizado para inferencia que elimina los cuellos de botella de memoria porque los datos ya están donde se necesitan. No hay carga desde RAM. No hay cuello de ancho de banda. El modelo vive en el chip.

Ljubisa Bajic, CEO de Taalas, lo explicó directamente: «Fundamos Taalas para repensar la inferencia de IA desde cero, construyendo el hardware alrededor del modelo.»

AMD compra el futuro de la inferencia

El 6 de agosto, AMD anunció que cerró un acuerdo definitivo para adquirir Taalas. Vamsi Boppana, SVP del grupo de IA de AMD, fue claro: «AMD está construyendo una plataforma de IA full-stack que da a los clientes la flexibilidad de implementar las soluciones de cómputo correctas para cada carga de trabajo de IA.»

AMD planea integrar la tecnología de Taalas en su hoja de ruta de aceleradores, junto con las GPUs AMD Instinct, los CPUs EPYC y el software ROCm. La idea es ofrecer soluciones de sistema completo: GPUs para entrenamiento + chips custom de inferencia.

Por qué Nvidia debería preocuparse

Nvidia domina el mercado de IA con sus GPUs, pero la inferencia está creciendo más rápido que el entrenamiento. Mientras Nvidia se enfoca en GPUs masivas para entrenar modelos, AMD está atacando el problema de inferencia con un enfoque radicalmente diferente: chips que no necesitan mover datos porque los datos ya están ahí.

Un usuario de HN lo resumió mejor que cualquier analista: «Los modelos SOTA están convergiendo a cierta arquitectura. No me sorprendería que terminemos con un ASIC base + una tarjeta de ‘fine tune’ que sea un adaptador físico tipo LoRA.»

Si Taalas demuestra que los chips de inferencia custom superan a las GPUs generalistas, Nvidia podría perder su ventaja en el segmento más lucrativo del mercado de IA.

El contexto LATAM

¿Qué significa esto para los devs latinos? Si la inferencia se vuelve más barata y eficiente, los modelos correrán en hardware más asequible. Eso significa mejoras en apps de IA, asistentes de código, y herramientas de productividad que usamos todos los días. La competencia entre AMD y Nvidia siempre baja precios — y esta adquisición acelera esa guerra.

La opinión de Nox Tech

AMD acaba de hacer una jugada brillante. En vez de competir con Nvidia en GPUs (una batalla perdida), atacaron el problema desde el ángulo correcto: la inferencia es donde está el dinero, y Taalas tenía la tecnología para resolverlo. El hecho de que la demo ya funcione (chatjimmy.ai) y que 8+ fuentes mainstream cubran la noticia en menos de 24 horas dice todo.

La pregunta es si AMD puede ejecutar. Taalas fue adquirida antes de lanzar hardware al mercado — la integración en la hoja de ruta de Instinct puede llevar años. Pero el premio es enorme: dominar la inferencia de IA mientras Nvidia sigue vendiendo GPUs para entrenamiento.

👋 ¿Crees que AMD puede superar a Nvidia en inferencia? ¿O Nvidia tiene demasiada ventaja con CUDA y su ecosistema? Cuéntame en los comentarios.

📤 Comparte esto con alguien que todavía piensa que Nvidia va a dominar la IA para siempre.