OpenAI's Jalapeño Chip: NVIDIA competitor?

OpenAI acaba de desarrollar su propio chip Jalapeno para competir con NVIDIA, y podría reconfigurar cómo funciona la siguiente generación de inteligencia artificial. Durante casi toda la expansión de la inteligencia artificial generativa, la historia del hardware realmente ha sido únicamente una Historia de NVIDIA. Sin duda, sus GPU de propósito general y ese enorme ecosistema de software que han construido han sido los motores absolutos e indiscutibles para entrenar y ejecutar modelos de inteligencia artificial modernos. Pero en este momento, ese panorama está cambiando drásticamente. Hoy profundizamos en la nueva carrera por la inferencia de IA, y específicamente, estamos mirando la enorme perturbación causada por el nuevo chip Jalotipy de OpenAI. Vamos a desentrañar exactamente por qué se construyó este silicio en primer lugar, y cómo lo hace reescribiendo literalmente las reglas del centro de datos. Vale, profundicemos en esto. En agosto de 2026, el CEO de OpenAI, Sam Altman, resumió todo este anuncio monumental con su característica understatement. Acababa de decir, Hicimos un chip, y es rápido. Pero vaya, no lo dudes, esa sencilla frase encubre un cambio masivo en la industria. Esto no es simplemente otra empresa de tecnología decidida a probar suerte con hardware por impulso. No, esto es OpenAI tomando todo lo que han aprendido al operar algunos de los más grandes cargas de inferencia en todo el planeta, y grabar ese conocimiento directamente en silicio físico Esto nos lleva naturalmente al misterio central que abordamos hoy. ¿Por qué diablos una gigante del software está construyendo su propia silicio personalizado? Quiero decir, ¿OpenAI desarrolla modelos, verdad? Escriben código, construyen productos de software como ChachiPT. Salir de ese terreno tradicional del software para adentrarse en el increíblemente brutal capital intensivo en el mundo del diseño de hardware, esa es una gran riesgo. Entonces, ¿qué motivó a uno de los mayores consumidores de cómputo de IA del mundo a decidir simplemente que ¿El hardware de uso común ya no era suficiente? Sección 1. Conoce la papa Jalapeño. Desde modelos de IA hasta hardware. Primero que nada, Jalopeno es lo que llamamos un ASIC, un circuito integrado específico para aplicaciones. circuito Y esta distinción es absolutamente crucial para entender. Mira, mientras que una GPU tradicional es un procesador de propósito general, básicamente un cuchillo suizo diseñado para ser lo suficientemente flexible como para manejar un millón de tipos diferentes de tareas, una ASIC se construye a medida desde cero para una sola aplicación dedicada. Es un bisturí. En el caso de Jalopeno, fue desarrollado junto con Broadcom y Celestica específicamente para grandes inferencia de modelo de lenguaje Pero aquí está la jugada clave. No está cableado para un solo modelo específico de OpenAI. En realidad es un chip de inferencia generalizado, lo que significa que es capaz de ejecutar arquitecturas diversas. cosas como GPT-OS y DeepSeek R1. Así que sacrificaron la flexibilidad máxima a cambio de una eficiencia extrema y altamente específica. Pero lo realmente asombroso de este proyecto es la velocidad pura con la que fue creado. Mira esto. Desde la formación inicial del equipo en el mes 1, pasaron a la fase de diseño real a partir de mes 7, y alcanzaron la fabricación, el tape-out y la producción en el mes 16. Chicos, 16 meses es un ciclo de desarrollo inusualmente rápido para una primera generación de ASIC de gama alta. Es básicamente la velocidad de la luz. ¿Entonces cómo lo hicieron tan rápido? Bueno, OpenAI en realidad utilizó sus propios modelos de inteligencia artificial avanzados para ayudar a sus ingenieros de hardware. al diseñar el chip. Piénsalo un segundo. Hemos entrado literalmente en la era en la que la inteligencia artificial está ayudando a diseñar el hardware que viene. para ejecutar la IA futura. Ahora lo realmente interesante de esta diapositiva es la magnitud del salto de rendimiento. Cuando esta cosa fue sometida a pruebas de rendimiento utilizando el método independiente InferenceX de SemiAnalysis, Jalapeno presentó algunos datos realmente reveladores. ¿Cuál es la conclusión principal aquí? 4,1x En puntos de operación altamente interactivos, Jalapeno ofrece un rendimiento aproximadamente 4,1 veces mayor que los sistemas mejores anteriores del mercado. Quiero decir, en algunas configuraciones, hablamos de aproximarse a los 1.400 tokens generados por segundo por usuario. Para una pieza de silicio personalizado de primera generación que apenas llega al punto más avanzado del empaquetado así, es prácticamente inaudito. Sección 2. Mecánica de la inferencia. Prellenado frente a Decodificación. Para entender cómo lo hicieron, debemos mirar bajo el capó. Cada vez que envías un mensaje a un modelo de lenguaje grande, el proceso de inferencia se descompone en dos fases amplias. Primero tenemos el relleno. Aquí es donde el sistema lee su solicitud, el historial de la conversación, posiblemente documentos has subido. Procesa toda esa entrada de golpe, lo que la hace increíblemente intensiva en cómputo. Es un esfuerzo intenso para el cerebro. Luego viene la decodificación. Esta es la fase en la que el modelo genera realmente su respuesta ante ti, una sola palabra o token a la vez. Ahora, la fase de decodificación no tensiona tanto el cómputo. En cambio, está enormemente limitado por el ancho de banda de memoria. Todo se trata de lo rápido que el sistema puede transferir los pesos del modelo y los datos intermedios. dentro de la máquina. ¿Y la respuesta de OpenAI a ese gran cuello de botella en la decodificación? 15,4 terabytes por segundo. Solo para ponerlo en perspectiva, es como descargar miles de películas en alta definición en un segundo único Jalapeno logra esto al estar construido alrededor de 216 gigabytes de memoria HBM4 de próxima generación. lo cual es lo que proporciona esa impresionante banda ancha de memoria de 15,4 terabytes por segundo por paquete Al optimizar de forma excesiva este cuello de botella específico y enfocándose con intensidad en reducir el fijo la latencia de comunicación a lo largo de toda la arquitectura del chip, logran mantener el cálculo moviéndose a velocidades simplemente deslumbrantes. Pero aquí hay una elección de ingeniería realmente fascinante que hicieron. Arquitectura homogénea. Verás, muchas personas en la industria creen que el futuro consistía en separar los chips. Sabes, tener un grupo de chips dedicado exclusivamente al prefill intensivo en cómputo, y otro completamente pool separado únicamente para la decodificación intensiva en memoria. Pero OpenAI eligió explícitamente no hacerlo. ¿Por qué? Porque el panorama del software está cambiando demasiado rápido. Ellos se dieron cuenta de que una división altamente especializada podría ser extremadamente eficiente hoy en día, pero podría ser completamente obsoleto en dos años. Así que optaron por un diseño homogéneo para permanecer totalmente adaptables a lo impredecible cargas de trabajo futuras de IA, al tiempo que siguen ofreciendo una velocidad increíble. Sección 3. El cambio agente. Cómo el software cambia el hardware. Y esto ilustra brillantemente el producto central detrás de Jalapeno. Mire simplemente el contraste en estas cargas de trabajo. Los chatbots tradicionales solo implican una solicitud y una respuesta únicas. Lo que más importa allí es el rendimiento bruto. Pero la inteligencia artificial avanza hacia los agentes. Un agente de codificación de IA no se limita a responder una pregunta. Inspecciona un repositorio. Razona acerca de un problema. Busca archivos, escribe código, ejecuta una prueba, encuentra un error y vuelve a corregirlo. Eso requiere cientos de pasos secuenciales y de múltiples turnos. Y un flujo de trabajo de agente cada milisegundo de latencia se compone. Si un modelo es un poco lento, el usuario de un chatbot espera un segundo adicional. No es nada importante. Pero un agente que realiza 100 pasos? Esa latencia arruina por completo la experiencia del usuario. El hardware tuvo literalmente que evolucionar para centrarse por completo en reducir la latencia para estas múltiples etapas tareas agenticas Sección 4. Controlar la pila de IA. El porqué estratégico. Ahora vamos a ampliar el enfoque y ver cómo esto genera una ventaja competitiva masiva a través del todo el stack de tecnología de inteligencia artificial Desde el paso 1 de la parte superior con productos que se desvanecen todo el camino hasta los modelos, pasando por el software de servicio, redes, y finalmente el paso 5, el silicio. Al construir Jalapeno, OpenAI ahora controla o influye directamente en cada capa. de esta pila. Los proveedores de hardware de propósito general tienen que construir chips que funcionen con miles de diferentes clientes felices. OpenAI solo tiene que hacer feliz a OpenAI. Pueden optimizar su silicio con un conocimiento perfecto de los modelos y productos que tienen. corriendo en la cima absoluta. Además, la inferencia es uno de los costos más elevados que tiene OpenAI en curso. Cuando multiplicas esos ahorros a través de gigawatts de infraestructura, la silicona personalizada no simplemente reducen su dependencia de proveedores únicos, lo que les ahorra cantidades astronómicas de dinero. Sección 5. El futuro del cómputo heterogéneo. Dividir la inteligencia. En última instancia, Jalapeno está obligando a toda la industria de centros de datos a evolucionar. Incluso NVIDIA se está adaptando. Su nueva plataforma Vera Rubin maneja cómputo general y prellenado, pero en realidad integraron La tecnología de ultra-baja latencia de Grok, que ahora es el NVIDIA Grok 3 LPX, para especializarse en una generación de decodificación extremadamente rápida, alcanzando 3.400 tokens por segundo. Mientras tanto, Cerebrus está construyendo estos procesadores a escala de pastilla masiva para resolver comunicaciones cuellos de botella Y ellos mismos, OpenAI, acaban de firmar Seller un acuerdo de desougue de 750 megavatios con ellos. Así que OpenAI no está abandonando a NVIDIA ni a las tarjetas gráficas estándar. En realidad están construyendo una cartera altamente diversa de cómputo. El punto crucial es este. Ya hemos pasado muy lejos de la época en que una sola GPU flexible hacía absolutamente todo. Los centros de datos de mañana estarán llenos de procesadores altamente especializados, cada uno ajustado para partes muy específicas del pipeline de inferencia. Vamos a ver software inteligente enrutando dinámicamente cargas de trabajo distintas, a veces incluso dividiendo una única solicitud de usuario en el hardware exacto más adecuado para la tarea. Porque en esta nueva era de agentes de IA, las antiguas métricas de flops brutos ya no tienen importancia. tanto. La nueva métrica clave que todos tienen en cuenta es simplemente el costo y el tiempo por tarea útil completada. tarea Al final del día, OpenAI desarrolló Jalapeño porque los componentes de hardware comerciales ya no pudieron seguir adelante. mantenerse al día con las crecientes exigencias de latencia de los agentes de inteligencia artificial avanzada, ni con las duras condiciones económicas realidades de operar a escala de gigavatio. Demostraron que los gigantes del software pueden construir con éxito silicio de clase mundial. Así que, al mirar hacia un futuro lleno de centros de datos personalizados y heterogéneos, yo creo que Déjate con este pensamiento final para que lo consideres. A medida que la inteligencia artificial sigue evolucionando y especializándose, ¿qué partes de la inteligencia realmente merecen ¿su propia máquina?