OpenAI presenta Jalapeño: il chip che rivoluziona l’inference

Durante la conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inference, con risultati promettenti emersi dai benchmark condotti da Semianalysis. Questo nuovo chip si distingue per la sua capacità di gestire un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inference attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.

OpenAI ha collaborato strettamente con Broadcom per lo sviluppo di Jalapeño, utilizzando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, in grado di coordinare chip, memoria e modelli in modo efficiente. L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inference. Come dichiarato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione”.

Una delle innovazioni chiave di Jalapeño è la sua capacità di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte. Questo approccio consente al sistema di attivare la combinazione adeguata di calcolo, memoria e rete per ogni fase di inference, migliorando così l’efficienza complessiva.

Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti, affermando: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire un numero maggiore di lavori AI per unità di energia, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una latenza molto bassa”.

OpenAI prevede un primo dispiegamento di Jalapeño in volumi limitati entro la fine del 2026, con una distribuzione più ampia attesa per il 2027. Questo nuovo chip potrebbe segnare un punto di svolta nel campo dell’intelligenza artificiale, rendendo l’inference più accessibile e performante per le aziende e gli sviluppatori.