Stable Diffusion: creare immagini da input testuali

Stable Diffusion è un modello di in­tel­li­gen­za ar­ti­fi­cia­le che genera immagini digitali partendo da istru­zio­ni testuali. Lo strumento si distingue per la sua capacità di creare contenuti estre­ma­men­te det­ta­glia­ti e rea­li­sti­ci. Viene prin­ci­pal­men­te uti­liz­za­to per la creazione di immagini, ma anche per l’editing di foto e la pro­get­ta­zio­ne di in­ter­fac­ce utente.

Che cos’è Stable Diffusion?

Stable Diffusion è un modello di IA ge­ne­ra­ti­va in grado di creare immagini uniche e rea­li­sti­che. Questo avviene tramite istru­zio­ni spe­ci­fi­che, chiamate prompt, inserite in forma testuale. Le versioni più recenti includono anche il ri­co­no­sci­men­to di comandi vocali e la pos­si­bi­li­tà di creare brevi video o ani­ma­zio­ni (in com­bi­na­zio­ne con esten­sio­ni come Deforum).

Questo software si basa sul deep learning e utilizza reti neurali ar­ti­fi­cia­li per elaborare in­for­ma­zio­ni. In questo modo il modello apprende au­to­no­ma­men­te dai dati a sua di­spo­si­zio­ne. L’in­tel­li­gen­za ar­ti­fi­cia­le è ad­de­stra­ta con milioni di immagini associate a testi. Ana­liz­zan­do questi dati, l’IA è in grado di ri­co­no­sce­re schemi e relazioni e di generare così contenuti adeguati alle richieste.

Lo strumento di IAl è nato da un progetto di ricerca della LMU di Monaco e dell’Uni­ver­si­tà di Hei­del­berg. Dalla sua prima versione, ri­la­scia­ta nell’agosto 2022, il modello è stato con­ti­nua­men­te mi­glio­ra­to. At­tual­men­te supporta fino a otto miliardi di parametri, per­met­ten­do una com­pren­sio­ne precisa delle in­ten­zio­ni degli input e generando risultati par­ti­co­lar­men­te per­ti­nen­ti. Stable Diffusion è di­stri­bui­to come software open source, con codice sorgente li­be­ra­men­te ac­ces­si­bi­le.

Che cosa con­trad­di­stin­gue Stable Diffusion?

Stable Diffusion si con­trad­di­stin­gue per una serie di elementi e ca­rat­te­ri­sti­che che lo rendono in­te­res­san­te sia per i privati che per le aziende. Si ri­scon­tra­no quindi queste funzioni:

• Open source: chiunque può scaricare il codice sorgente del modello IA e uti­liz­zar­lo per progetti personali. Inoltre, la comunità attiva di Stable Diffusion fornisce do­cu­men­ta­zio­ne e tutorial estesi.
• Risultati di alta qualità: grazie alla sua ar­chi­tet­tu­ra avanzata e al set di dati di LAION, Stable Diffusion genera contenuti rea­li­sti­ci e det­ta­glia­ti anche in presenza di input complessi. Per questo è con­si­de­ra­to uno dei migliori ge­ne­ra­to­ri di immagini IA presenti sul mercato.
• Ver­sa­ti­li­tà hardware: Stable Diffusion può essere eseguito sia su server potenti che su hardware standard, compresi PC e computer portatili. In questo modo il modello risulta ac­ces­si­bi­le a una vasta gamma di utenti, che possono uti­liz­zar­lo per scopi creativi e pro­fes­sio­na­li senza necessità di doversi affidare a costosi servizi cloud.
• Elevata fles­si­bi­li­tà: se hai le com­pe­ten­ze ne­ces­sa­rie, puoi per­so­na­liz­za­re il modello di IA per sod­di­sfa­re spe­ci­fi­che esigenze creative o creare ap­pli­ca­zio­ni basate su flussi di lavoro in­di­vi­dua­li.

Come funziona Stable Diffusion?

A dif­fe­ren­za di molti altri ge­ne­ra­to­ri di immagini IA, Stable Diffusion utilizza un modello di dif­fu­sio­ne. Questo approccio in­no­va­ti­vo trasforma le immagini del set dei dati di ad­de­stra­men­to in rumore visivo. Durante la ge­ne­ra­zio­ne, il processo si svolge al contrario. Nel corso dell’ad­de­stra­men­to, il modello impara a generare immagini si­gni­fi­ca­ti­ve dal rumore, con­fron­tan­do ri­pe­tu­ta­men­te la dif­fe­ren­za tra le immagini create e quelle reali. L’ar­chi­tet­tu­ra di Stable Diffusion comprende quattro com­po­nen­ti prin­ci­pa­li:

• Au­toen­co­der va­ria­zio­na­le (VAE): VAE è composto da un co­di­fi­ca­to­re e un de­co­di­fi­ca­to­re. Il co­di­fi­ca­to­re comprime l’immagine per fa­ci­li­tar­ne la ma­ni­po­la­zio­ne e rileva il suo si­gni­fi­ca­to semantico. Il de­co­di­fi­ca­to­re si occupa dell’output dell’immagine.
• Processi di dif­fu­sio­ne: la dif­fu­sio­ne diretta aggiunge gra­dual­men­te rumore gaussiano all’immagine fino a che non rimane solo un rumore casuale. In seguito, la dif­fu­sio­ne inversa annulla questo processo ite­ra­ti­va­men­te, creando un’immagine unica dal rumore.
• Pre­dit­to­re di rumore: il pre­dit­to­re di rumore stima la quantità di rumore nello spazio latente e la sottrae dall’immagine, ripetendo il processo più volte per ridurre il rumore. Fino alla versione 3.0, veniva uti­liz­za­to un modello U-Net (rete neurale con­vo­lu­zio­na­le). Le versioni più recenti uti­liz­za­no invece il Rectified Flow Tran­sfor­mer (in italiano tra­du­ci­bi­le come “tra­sfor­ma­to­re di flusso ret­ti­fi­ca­to”).
• Con­di­zio­na­men­to testuale: un to­ke­niz­za­to­re traduce l’input testuale in unità com­pren­si­bi­li per il modello di IA, in­ter­pre­tan­do con pre­ci­sio­ne l’in­ten­zio­ne dell’utente. L’input viene poi passato al pre­dit­to­re di rumore.

Campi di ap­pli­ca­zio­ne di Stable Diffusion

Il prin­ci­pa­le campo di ap­pli­ca­zio­ne di Stable Diffusion è la creazione di immagini. Gli scopi per cui le immagini vengono generate possono variare no­te­vol­men­te. I creativi e i designer uti­liz­za­no il ge­ne­ra­to­re di immagini IA per dare vita alle proprie idee, mentre le agenzie pub­bli­ci­ta­rie rea­liz­za­no bozze digitali per campagne e progetti.

Stable Diffusion viene anche impiegato per l’editing di immagini. Tra le sue opzioni, consente di rimuovere oggetti da un’immagine, mo­di­fi­car­ne i colori, cambiare lo sfondo e regolare l’il­lu­mi­na­zio­ne.

Inoltre, il modello di IA viene uti­liz­za­to per il design di in­ter­fac­ce utente. Grazie ai prompt testuali, è possibile generare intere in­ter­fac­ce grafiche o elementi UI come pulsanti, icone e sfondi. Questo permette ai designer di testare ra­pi­da­men­te vari concetti senza grandi sforzi, mi­glio­ran­do po­ten­zial­men­te il design dell’espe­rien­za utente, ovvero user ex­pe­rien­ce design.

I limiti di Stable Diffusion

No­no­stan­te le numerose fun­zio­na­li­tà e capacità im­pres­sio­nan­ti, Stable Diffusion presenta alcune li­mi­ta­zio­ni:

• Errori nelle immagini: anche se il modello è in grado di creare immagini det­ta­glia­te, in caso di concetti astratti possono ve­ri­fi­car­si im­pre­ci­sio­ni. Gli utenti meno esperti po­treb­be­ro ri­scon­tra­re dif­fi­col­tà nell’ottenere i risultati de­si­de­ra­ti.
• Casi d’uso sco­no­sciu­ti: Stable Diffusion può accedere solo agli esempi presenti nel set dei dati di ad­de­stra­men­to. Se mancano dati per una richiesta specifica, lo strumento non funziona o fornisce risultati molto limitati, che dif­fi­cil­men­te saranno sod­di­sfa­cen­ti.
• Problemi di copyright: i dati uti­liz­za­ti per ad­de­stra­re l’IA sono stati impiegati senza l’esplicito consenso di chi ne detiene i diritti. Questo ha già portato a con­tro­ver­sie legali in diverse occasioni.
• Bias e ste­reo­ti­pi: come altri modelli di IA, Stable Diffusion può in­cor­po­ra­re pre­giu­di­zi dai dati di ad­de­stra­men­to, portando a rap­pre­sen­ta­zio­ni ste­reo­ti­pa­te o di­scri­mi­na­to­rie (ad esempio, pre­giu­di­zi legati al genere, alla cultura o all’età).
• Requisiti hardware: la ge­ne­ra­zio­ne di immagini con Stable Diffusion richiede risorse com­pu­ta­zio­na­li si­gni­fi­ca­ti­ve, in par­ti­co­la­re una potente scheda grafica (GPU) con suf­fi­cien­te memoria video (Video Random Access Memory, VRAM). Questo può rap­pre­sen­ta­re un ostacolo per chi dispone di hardware standard, a causa dei tempi di ca­ri­ca­men­to lenti e della velocità limitata di ge­ne­ra­zio­ne delle immagini.