Che cos’è una GPU Hopper?

Le GPU Hopper sono la più recente ge­ne­ra­zio­ne di GPU ad alte pre­sta­zio­ni di NVIDIA, svi­lup­pa­te ap­po­si­ta­men­te per l’IA e l’HPC, e offrono sca­la­bi­li­tà per una vasta gamma di carichi di lavoro. Basate su un’ar­chi­tet­tu­ra in­no­va­ti­va con potenti core ten­so­ria­li, riu­ni­sco­no diverse tec­no­lo­gie avanzate per ottenere la massima ef­fi­cien­za. Le GPU Hopper di NVIDIA sono indicate, tra le altre cose, per l’inferenza IA, per l’ad­de­stra­men­to nel deep learning e per l’IA ge­ne­ra­ti­va.

L’ar­chi­tet­tu­ra delle GPU Hopper di NVIDIA

Il termine “GPU Hopper” deriva dall’ar­chi­tet­tu­ra Hopper che, in quanto mi­croar­chi­tet­tu­ra GPU, co­sti­tui­sce la base dei pro­ces­so­ri grafici ad alte pre­sta­zio­ni ed è ot­ti­miz­za­ta per i carichi di lavoro di IA e per le ap­pli­ca­zio­ni di HPC. Le GPU Hopper sono prodotte da TSMC con il processo a 4 nanometri e con­ten­go­no 80 miliardi di tran­si­stor, il che le rende tra le schede grafiche più avanzate di­spo­ni­bi­li sul mercato.

Con l’ar­chi­tet­tu­ra Hopper, NVIDIA combina la più recente ge­ne­ra­zio­ne di core ten­so­ria­li con cinque in­no­va­zio­ni ri­vo­lu­zio­na­rie: motore tra­sfor­ma­to­re, sistemi NVLink/NVSwitch/NVLink-Switch, con­fi­den­tial computing, GPU multi-istanza (MIG) di seconda ge­ne­ra­zio­ne e istru­zio­ni DPX. Grazie a queste tec­no­lo­gie, le GPU Hopper offrono un’ac­ce­le­ra­zio­ne fino a 30 volte superiore nell’inferenza IA rispetto alla ge­ne­ra­zio­ne pre­ce­den­te (basata sul chatbot Megatron 530B di NVIDIA, il modello lin­gui­sti­co ge­ne­ra­ti­vo più completo al mondo).

Le in­no­va­ti­ve funzioni delle GPU Hopper

Le GPU Hopper pre­sen­ta­no diverse nuove fun­zio­na­li­tà che con­tri­bui­sco­no a mi­glio­ra­re le pre­sta­zio­ni, l’ef­fi­cien­za e la sca­la­bi­li­tà. Di seguito elen­chia­mo le prin­ci­pa­li novità:

• Motore tra­sfor­ma­to­re: uti­liz­zan­do il co­sid­det­to “tran­sfor­mer engine”, le GPU Hopper sono in grado di ad­de­stra­re i modelli di IA fino a nove volte più ve­lo­ce­men­te. Per le ope­ra­zio­ni di inferenza nell’ambito dei modelli lin­gui­sti­ci, le GPU ottengono un’ac­ce­le­ra­zio­ne fino a 30 volte superiore rispetto alla ge­ne­ra­zio­ne pre­ce­den­te.
• Sistema NVLink-Switch: la quarta ge­ne­ra­zio­ne di NVLink fornisce una larghezza di banda bi­di­re­zio­na­le per la GPU pari a 900 GB/s, mentre NVSwitch ga­ran­ti­sce una migliore sca­la­bi­li­tà per i cluster H200. In questo modo è possibile elaborare modelli di IA con migliaia di miliardi di parametri in modo ef­fi­cien­te.
• Con­fi­den­tial computing: l’ar­chi­tet­tu­ra Hopper ga­ran­ti­sce la pro­te­zio­ne dei dati, dei modelli di IA e degli algoritmi anche durante l’ela­bo­ra­zio­ne.
• GPU multi-istanza (MIG) 2.0: la seconda ge­ne­ra­zio­ne della tec­no­lo­gia MIG permette di sud­di­vi­de­re una singola GPU Hopper in un massimo di sette istanze isolate. In questo modo, più persone hanno la pos­si­bi­li­tà di elaborare carichi di lavoro diversi con­tem­po­ra­nea­men­te, senza che ciò influisca ne­ga­ti­va­men­te sulle altre ope­ra­zio­ni.
• Istru­zio­ni DPX: le istru­zio­ni DPX con­sen­to­no di calcolare algoritmi pro­gram­ma­ti di­na­mi­ca­men­te fino a sette volte più ve­lo­ce­men­te rispetto alle GPU con ar­chi­tet­tu­ra Ampere.

Le ap­pli­ca­zio­ni più adatte alle GPU Hopper

Le GPU NVIDIA basate sull’ar­chi­tet­tu­ra Hopper sono pro­get­ta­te per eseguire i più svariati carichi di lavoro ad alte pre­sta­zio­ni. I prin­ci­pa­li campi di ap­pli­ca­zio­ne delle GPU Hopper sono:

• Attività di inferenza: i pro­ces­so­ri grafici sono tra le soluzioni leader del settore per l’utilizzo pro­dut­ti­vo dell’inferenza di IA. I sistemi di rac­co­man­da­zio­ne per l’e-commerce, la dia­gno­sti­ca medica o le pre­vi­sio­ni in tempo reale per la guida autonoma sono tutte ap­pli­ca­zio­ni in cui le GPU Hopper possono elaborare enormi quantità di dati in modo rapido ed ef­fi­cien­te.
• IA ge­ne­ra­ti­va: le GPU di fascia alta for­ni­sco­no la potenza di calcolo ne­ces­sa­ria per ad­de­stra­re ed eseguire gli strumenti dotati di IA ge­ne­ra­ti­va. L’ela­bo­ra­zio­ne parallela aumenta l’ef­fi­cien­za dei calcoli in attività creative come la ge­ne­ra­zio­ne di testi, immagini e video.
• Ad­de­stra­men­to per il deep learning: grazie alla loro elevata potenza di calcolo, le GPU Hopper sono l’ideale per ad­de­stra­re reti neurali di grande esten­sio­ne. L’ar­chi­tet­tu­ra Hopper riduce sen­si­bil­men­te i tempi di ad­de­stra­men­to dei modelli di IA.
• IA con­ver­sa­zio­na­le: grazie all’ot­ti­miz­za­zio­ne per l’ela­bo­ra­zio­ne del lin­guag­gio naturale (NLP, Natural Language Pro­ces­sing), le GPU Hopper si adattano bene ai sistemi vocali basati sull’IA, come gli as­si­sten­ti virtuali e i chatbot IA. Essi con­sen­to­no di ac­ce­le­ra­re l’ela­bo­ra­zio­ne di grandi modelli di IA e ga­ran­ti­sco­no un’in­te­ra­zio­ne reattiva che può essere integrata fa­cil­men­te nei processi aziendali, ad esempio nell’as­si­sten­za.
• Analisi dei dati e Big Data: le GPU Hopper ge­sti­sco­no enormi quantità di dati ad alta velocità e ve­lo­ciz­za­no calcoli complessi grazie alla potenza di ela­bo­ra­zio­ne parallela. Le aziende hanno quindi la pos­si­bi­li­tà di ana­liz­za­re più ra­pi­da­men­te i Big Data e ricavarne pre­vi­sio­ni per in­ter­ve­ni­re in modo corretto.
• Scienza e ricerca: le GPU sono pro­get­ta­te per ap­pli­ca­zio­ni di HPC e sono quindi par­ti­co­lar­men­te utili per eseguire si­mu­la­zio­ni e calcoli ad alta com­ples­si­tà. Le GPU Hopper sono uti­liz­za­te, ad esempio, in astro­fi­si­ca, nella mo­del­li­sti­ca climatica e nella chimica com­pu­ta­zio­na­le.

Gli attuali modelli di NVIDIA

L’azienda sta­tu­ni­ten­se ha già lanciato due GPU Hopper: NVIDIA H100 e NVIDIA H200. NVIDIA A30 si basa invece ancora sull’ar­chi­tet­tu­ra Ampere. In senso stretto, la H200 non è pro­pria­men­te un modello a sé stante, ma un’ulteriore evo­lu­zio­ne della H100. La seguente pa­no­ra­mi­ca mostra le dif­fe­ren­ze tra le due GPU:

• Memoria e larghezza di banda: mentre NVIDIA H100 è dotata di 80 GB di memoria HBM3, la GPU H200 dispone di memoria HBM3e con una capacità di 141 GB. Inoltre, la H200 è no­te­vol­men­te in vantaggio anche dal punto di vista della larghezza di banda della memoria, con 4,8 TB/s contro i 2 TB/s della H100.
• Pre­sta­zio­ni di inferenza IA: nel confronto, NVIDIA H200 offre pre­sta­zio­ni di inferenza doppie rispetto a modelli come LLaMA 2-70 B. Tali pre­sta­zio­ni con­sen­to­no non soltanto un’ela­bo­ra­zio­ne più rapida, ma si traducono anche in un ri­di­men­sio­na­men­to ef­fi­cien­te.
• Ap­pli­ca­zio­ni di HPC e calcoli scien­ti­fi­ci: la H100 offre già un livello di pre­sta­zio­ni di prima classe per i calcoli complessi, che la H200 riesce ad­di­rit­tu­ra a sur­clas­sa­re. La velocità di inferenza è fino a due volte superiore e le pre­sta­zio­ni di HPC sono circa il 20 percento più elevate.