Intel Gaudi 3: l’acceleratore di IA in breve

Intel Gaudi 3 è un potente acceleratore di IA, progettato appositamente per svolgere carichi di lavoro impegnativi con l’intelligenza artificiale. Gaudi 3 viene prodotto con un processo di produzione a 5 nanometri, dispone di 64 core tensoriali e offre il doppio in termini di prestazioni in FP8 e quattro volte la potenza di calcolo per l’IA rispetto al suo predecessore. Queste caratteristiche rendono questo acceleratore di Intel l’ideale per eseguire operazioni di inferenza e addestramento dei modelli di IA di grandi dimensioni.

Quali sono le caratteristiche prestazionali di Intel Gaudi 3?

Con Gaudi 3, Intel stabilisce nuovi standard dal punto di vista delle prestazioni e dell’efficienza energetica. Questo acceleratore di IA si basa sull’architettura di Gaudi 2, ma offre una potenza di calcolo notevolmente superiore, una maggiore larghezza di banda di memoria e una migliore efficienza energetica. Il riepilogo seguente riassume le caratteristiche principali di Intel Gaudi 3:

• Potenza di calcolo in FP8: Gaudi 3 raggiunge una potenza di calcolo in FP8 di 1.835 PFLOPS. Il suo predecessore arrivava a poco più di 0,8 PFLOPS, ossia le prestazioni per i calcoli in FP8 sono più che raddoppiate.
• Potenza di calcolo in BF16: Intel Gaudi 3 raggiunge i 1.835 PFLOPS anche nei calcoli in BF16, il che rappresenta un aumento della potenza di calcolo pari al quadruplo rispetto a Gaudi 2.
• Larghezza di banda della rete: la larghezza di banda della rete bidirezionale è stata raddoppiata a 1.200 gigabit al secondo, ottenendo una comunicazione più veloce tra i nodi nei sistemi dei cluster IA.
• Capacità e larghezza di banda HBM: con i suoi 128 gigabyte di memoria HBM, Gaudi 3 offre il 50 percento in più di larghezza di banda di memoria rispetto alla generazione precedente. La larghezza di banda HBM pari a 3,7 terabyte al secondo corrisponde a un aumento del 33 percento.

Intel Gaudi 3 è dotato di due unità di elaborazione speciali (“compute die”) che contengono 64 core tensoriali e 8 MME (“Matrix Multiplication Engine” per l’elaborazione parallela). Le 24 porte NIC RDMA, ciascuna capace di 200 gigabit al secondo, garantiscono una comunicazione veloce su reti Ethernet standardizzate.

Vantaggi e svantaggi di Intel Gaudi 3

L’utilizzo di un acceleratore di IA della generazione Gaudi 3 offre numerosi vantaggi. I principali sono:

• Elevata potenza di calcolo: con prestazioni pari a 1.835 PFLOPS in FP8 e BF16, Gaudi 3 di Intel offre una potenza enorme, di livello paragonabile alla ben più costosa NVIDIA H100. Secondo un comunicato stampa di Intel, in alcuni settori l’acceleratore di IA di Intel supera addirittura il modello di punta di NVIDIA in termini di prestazioni.
• Alta efficienza energetica: gli acceleratori Gaudi 3 per l’intelligenza artificiale sono realizzati con un processo di produzione a 5 nanometri (di TSMC), che consente una maggiore densità di potenza. Il risultato è una riduzione del consumo energetico e dei costi operativi nei data center.
• Convenienza per la scalabilità dell’IA: Intel Gaudi 3 rende possibile la scalabilità dei sistemi, in modo flessibile, sia verticalmente che orizzontalmente, il che è particolarmente vantaggioso nelle distribuzioni complesse.
• Supporto per standard aperti: poiché Gaudi 3 supporta gli standard aperti, è possibile un’integrazione flessibile degli acceleratori di IA nelle infrastrutture IT già esistenti. In questo modo si garantisce una maggiore indipendenza delle aziende nella scelta delle piattaforme di IA.

Gli acceleratori di IA, tuttavia, presentano anche svantaggi che vale la pena menzionare. Sebbene Intel Gaudi 3 offra una performance di alto livello, i chip di fascia alta di NVIDIA vantano generalmente prestazioni ancora più elevate. Perché questo aspetto è importante? Perché finora le aziende operanti nel campo dell’IA hanno optato per la soluzione più potente anziché per quella più conveniente. Di conseguenza, Intel Gaudi 3 è meno diffuso rispetto agli acceleratori IA di NVIDIA, il cui ecosistema beneficia di un vasto supporto da parte dei team di sviluppo delle IA.

Campi di applicazione: quali sono i più adatti per Intel Gaudi 3?

Intel Gaudi 3 è stato progettato appositamente per carichi di lavoro ad alta intensità di calcolo per l’IA ed è particolarmente adatto per le attività di inferenza che richiedono elevata elaborazione parallela e larghezza di banda della memoria. Tra i carichi di lavoro tipici si contano la creazione di testi con i modelli linguistici di grandi dimensioni (LLM), la generazione di immagini e la sintesi vocale. Grazie all’elevata velocità di inferenza e all’architettura FP8 ottimizzata, Gaudi 3 consente un’elaborazione potente ed efficiente dal punto di vista energetico per i modelli di IA generativa. Ma i campi di applicazione possibili non si limitano a questi. Alcuni di essi sono, in particolare:

• Addestramento di base di modelli di IA di grandi dimensioni: Gaudi 3 permette di elaborare grandi record di dati in modo efficiente. Gli acceleratori di IA sono quindi l’ideale per l’addestramento di modelli di intelligenza artificiale, ad esempio le reti neurali per l’apprendimento automatico oppure modelli trasformatori come GPT e LLaMA partendo da zero.
• Elaborazione di immagini e visione artificiale: grazie alla sua elevata potenza di calcolo, Intel Gaudi 3 è in grado di elaborare dati di immagini complesse in tempo reale. Questo acceleratore di IA risulta quindi adatto anche per applicazioni come il monitoraggio della sicurezza o l’automazione industriale.
• Server GPU e cluster IA nei data center: Intel Gaudi 3 può essere utilizzato nei server GPU per fornire la potenza di calcolo necessaria alle attività di addestramento e inferenza dell’IA.

Quali sono le alternative possibili a Intel Gaudi 3?

Esistono diversi acceleratori di IA che è possibile considerare in alternativa a Intel Gaudi 3. Una delle opzioni più note, offerta dalla concorrenza, è NVIDIA H100. Mentre l’acceleratore di Intel è l’ideale per le applicazioni di inferenza, H100 offre prestazioni di fascia alta per casi applicativi nel campo dell’intelligenza artificiale e della scienza dei dati. Un’ulteriore alternativa a Gaudi 3 è NVIDIA A30, che viene scelta spesso in quanto coniuga prestazioni elevate e prezzo accessibile.