Mercoledì OpenAI ha presentato il suo primo processore di inferenza personalizzato, progettato e prodotto in collaborazione con Broadcom. Denominato Jalapeño, il nuovo processore è stato progettato specificamente per le esigenze uniche dei sistemi di inferenza di OpenAI. I modelli di intelligenza artificiale di OpenAI hanno contribuito allo sviluppo del chip, ha affermato la società.
Mentre il chip è ancora in fase di test, OpenAI afferma che i primi risultati mostrano prestazioni per watt significativamente migliori rispetto alle attuali alternative all’avanguardia.
La partnership era annunciato ufficialmente in ottobrema i piani chip di OpenAI lo hanno si vociferava da tempo come un modo per ridurre la dipendenza dell’azienda dalle GPU di Nvidia. Google E Amazzonia entrambi hanno costruito chip personalizzati per uno scopo simile, spesso chiamati “acceleratori AI”: silicio progettato specificamente per accelerare i carichi di lavoro di apprendimento automatico.
Il presidente di OpenAI Greg Brockman ha spiegato l’approccio dell’azienda allo sviluppo dei chip sul suo podcast internopoco dopo l’annuncio della partnership con Broadcom.
“Abbiamo una profonda conoscenza del carico di lavoro”, ha detto Brockman nell’episodio. “Abbiamo davvero cercato carichi di lavoro specifici che sono sottoserviti e (ci siamo chiesti) come possiamo costruire qualcosa che sia in grado di accelerare ciò che è possibile?”
Jalapeño è progettato specificamente per l’inferenza, il processo di esecuzione di modelli di intelligenza artificiale predefiniti in risposta ai comandi dell’utente. Nell’annuncio, OpenAI ha sottolineato il basso costo operativo del chip durante l’esecuzione di modelli di codifica in tempo reale. È probabile che le attività più impegnative in termini di prestazioni, come la pre-formazione, continueranno a fare affidamento sull’hardware Nvidia, ma anche piccole riduzioni nei costi di inferenza potrebbero fare molto per migliorare i profitti dell’azienda.
L’ottimizzazione di quel sistema di inferenza potrebbe rivelarsi un fattore cruciale per l’economia dell’intelligenza artificiale in futuro – ed è probabile che avvenga a ogni livello dello stack. OpenAI sta già costruendo prodotti agenti come Codex e i modelli che li alimentano, nonché data center per eseguire tali modelli. Il passaggio a chip appositamente realizzati consente all’azienda di andare ancora oltre in questo processo, come ha spiegato l’azienda nel suo annuncio.
“OpenAI non sta solo sviluppando modelli di frontiera o costruendo prodotti sopra di essi; sta progettando l’infrastruttura sottostante: architettura dei chip, kernel, sistemi di memoria, rete, pianificazione, sistemi di distribuzione ed esperienza del prodotto”, ha scritto la società. “Poiché OpenAI opera su tutto lo stack, ogni livello può essere ottimizzato attorno allo stesso obiettivo: rendere i suoi modelli più veloci, più affidabili e più convenienti per gli utenti.”
Quando acquisti tramite i link presenti nei nostri articoli, potremmo guadagnare una piccola commissione. Ciò non pregiudica la nostra indipendenza editoriale.