Che cos’è Unicode? De­fi­ni­zio­ne e spie­ga­zio­ne

Unicode è uno standard in­ter­na­zio­na­le per la codifica, la rap­pre­sen­ta­zio­ne e la gestione dei caratteri testuali pro­ve­nien­ti da quasi tutti i sistemi di scrittura del mondo. Ogni carattere riceve un codice univoco, che può essere me­mo­riz­za­to in codifiche come UTF-8 o UTF-16. Ciò consente a Unicode di garantire una rap­pre­sen­ta­zio­ne e un’ela­bo­ra­zio­ne uniforme dei testi su diverse piat­ta­for­me e lingue.

Che cos’è Unicode?

Unicode cor­ri­spon­de a un sistema di codifica uni­ver­sa­le dei caratteri. Il termine deriva dall’inglese “Universal Character Encoding”. Si tratta di uno standard per la codifica dei caratteri scritto in rap­pre­sen­ta­zio­ne binaria, che permette di salvare ed elaborare i testi con sistemi digitali.

Unicode rap­pre­sen­ta una novità in quanto non è legato ai formati e alle codifiche di un singolo alfabeto di una de­ter­mi­na­ta lingua umana. È stato ideato con l’obiettivo di servire da standard uniforme per la ri­pro­du­zio­ne di tutti i sistemi di scrittura svi­lup­pa­ti dagli esseri umani e dei ri­spet­ti­vi caratteri.

Dalla pub­bli­ca­zio­ne di Unicode 1.0 alla fine del 1991, lo standard ha raggiunto quello che era lo scopo iniziale. Oggi browser e sistemi operativi usano in­ter­na­men­te Unicode come formato uniforme. La versione 16.0, ri­la­scia­ta nel 2024 da Unicode Con­sor­tium, ha riassunto il re­per­to­rio dello standard Unicode composto da un totale di 154.998 caratteri. Il set di caratteri cor­ri­spon­den­ti allo standard Unicode coincide esat­ta­men­te con quello dello Universal Coded Character Set (UCS), contenuto nella norma in­ter­na­zio­na­le ISO/IEC 10646.

Base tec­no­lo­gi­ca per la codifica dei caratteri

Per prima cosa è im­por­tan­te com­pren­de­re che tutte le in­for­ma­zio­ni presenti in un sistema digitale si basano su una catena infinita di zeri e uno: la rap­pre­sen­ta­zio­ne binaria. Il codice binario as­so­mi­glia per certi versi a un alfabeto, ma si compone soltanto di due “lettere”, appunto zero e uno. Ogni posizione all’interno di una sequenza composta da zeri e uno si definisce bit.

Il trucco della tec­no­lo­gia dell’in­for­ma­zio­ne digitale sta nel comporre i caratteri dei vari alfabeti come sequenze di zeri e uno. In questo modo si riescono a co­di­fi­ca­re sia i numeri che le lettere, ma anche a di­stin­gue­re tra tutti gli altri stati. Ge­ne­ral­men­te si parla di simboli. Più lunga è la sequenza di zeri e uno per la rap­pre­sen­ta­zio­ne di un singolo simbolo, più simboli si possono ri­pro­dur­re. Con l’aggiunta di ogni bit raddoppia il numero dei simboli possibili.

Un esempio concreto: immagina di avere delle “parole” binarie della lunghezza di due bit. Queste per­met­to­no di co­di­fi­ca­re quattro numeri:

Ag­giun­gen­do un ulteriore bit all’inizio della sequenza, raddoppia il numero delle possibili parole. Queste si com­pon­go­no delle sequenze di bit già men­zio­na­te, con l’aggiunta di un uno o uno zero davanti. In questo modo possiamo co­di­fi­ca­re otto numeri:

Per motivi di sem­pli­ci­tà abbiamo deciso di mostrarti la codifica dei numeri. Lo stesso principio trova però utilizzo nei sistemi digitali anche per la codifica di lettere o di qualsiasi altro simbolo o stato. Di seguito pro­po­nia­mo l’esempio molto sem­pli­fi­ca­to di un codice binario di lettere:

La rap­pre­sen­ta­zio­ne grafica di un carattere prende il nome di glifo. In base al font usato ci sono diversi glifi per lo stesso carattere. Ad­di­rit­tu­ra, uno stesso font può contenere più varianti per uno stesso glifo. Per esempio, pensa a diversi pesi, legature e corsivi. Di seguito trovi una rap­pre­sen­ta­zio­ne avanzata che riassume la cor­ri­spon­den­za di caratteri e glifi:

Ter­mi­no­lo­gia della codifica dei caratteri

La codifica digitale dei caratteri comprende una serie di concetti specifici. L’uso dei vari termini ha un uso simile in italiano. Per poter dare una de­fi­ni­zio­ne Unicode precisa, ri­por­tia­mo di seguito anche i termini in inglese:

Le codifiche di caratteri più comuni

Dalla comparsa di Unicode si sono ve­ri­fi­ca­te una grande quantità di codifiche spe­ci­fi­che. La regola prevedeva l’uso di una codifica per ogni lingua o famiglia lin­gui­sti­ca. Questo ha portato spesso a errori di rap­pre­sen­ta­zio­ne e in­con­gruen­ze nei dati. Per evitare che ciò con­ti­nuas­se ad accadere, le codifiche dei caratteri sono spesso state modellate come so­vrain­sie­mi degli standard già esistenti, com­pa­ti­bi­li con le versioni pre­ce­den­ti. Per questo motivo lo standard Unicode moderno si basa sulla pre­ce­den­te codifica dei caratteri ISO Latin-1, basata a sua volta sul codice ASCII.

Struttura dello standard Unicode

Lo standard Unicode definisce i caratteri e i punti di codice cor­ri­spon­den­ti per lettere, sillabe, ideo­gram­mi, in­ter­pun­zio­ne, caratteri speciali e cifre. Oltre all’alfabeto latino supporta anche quello greco, cirillico, arabo, ebraico e tai­lan­de­se. A questi si ag­giun­go­no anche le grafie giap­po­ne­si (katakana, hiragana), cinesi e coreane. Infine, comprende anche i caratteri speciali ma­te­ma­ti­ci, com­mer­cia­li e tecnici, come gli storici caratteri di controllo per te­le­scri­ven­ti.

I caratteri sono riassunti in una serie di tabelle. Di seguito ti forniamo una pa­no­ra­mi­ca delle tabelle di caratteri più usate.

I sistemi di scrittura dello standard Unicode

Simboli e set di caratteri dello standard Unicode

Per cosa si usa lo standard Unicode?

Lo standard Unicode serve prin­ci­pal­men­te da base fon­da­men­ta­le per l’ela­bo­ra­zio­ne, l’ar­chi­via­zio­ne e lo scambio di testi in qualsiasi lingua. La maggior parte delle com­po­nen­ti software moderne quali librerie, pro­to­col­li, database, ecc., che operano sui testi, sono basate su Unicode. I seguenti esempi servono a chiarire la vastità delle pos­si­bi­li­tà del suo utilizzo.

Sistemi operativi

Nella mag­gio­ran­za dei sistemi operativi moderni, Unicode è lo standard interno per la ri­pro­du­zio­ne testuale. Alcuni sistemi operativi come macOS di Apple per­met­to­no l’uso di caratteri Unicode nei nomi dei file.

Siti web

La variante di Unicode UTF-8 si è imposta come standard per la codifica dei documenti in HTML. Già nel 2016 più dell’80% dei siti web più visitati a livello mondiale uti­liz­za­va­no UTF-8 per l’ar­chi­via­zio­ne e la ri­pro­du­zio­ne dei loro documenti HTML. Per l’uso di lettere non ASCII nei nomi di dominio si è invece affermato lo standard Punycode.

Linguaggi di pro­gram­ma­zio­ne

Molti dei linguaggi di pro­gram­ma­zio­ne moderni si servono di Unicode come base per l’ela­bo­ra­zio­ne di testi. Un ulteriore sviluppo è la pos­si­bi­li­tà di usare i caratteri Unicode per la de­no­mi­na­zio­ne di variabili e funzioni. Tra i vari linguaggi è possibile in EC­MA­Script/Ja­va­Script, come di­mo­stra­to dal seguente codice:

let ︎👍 = true;
let 👎 = false;
if (bool_var === ︎👎) {
 // …
}

Database

Il molto ap­prez­za­to e am­pia­men­te uti­liz­za­to database MySQL supporta l’intero set di dati Unicode con la codifica di caratteri “utf8mb4”. L’uso della codifica di caratteri “utf8” comporta invece la perdita di caratteri il cui punto di codice eccede i tre byte.

Font

I font con­ten­go­no glifi che servono per la ri­pro­du­zio­ne grafica del testo. A causa della grande quantità di caratteri dello standard Unicode, nessun font li contiene tutti. Servono diversi font a com­pren­de­re tutti quelli del Basic Mul­ti­lin­gual Plane. Un paio di esempi:

Come si imposta Unicode?

In molti casi gli utenti ricorrono a Unicode senza neanche saperlo. Il testo digitale è presente nella maggior parte dei documenti e dei programmi sotto forma di Unicode e può essere copiato, incollato e mo­di­fi­ca­to dall’utente a suo pia­ci­men­to. A volte risulta ne­ces­sa­rio per l’utente finale ag­giun­ge­re un de­ter­mi­na­to carattere Unicode all’interno di un testo. Per farlo, ci sono diverse pos­si­bi­li­tà che ti pre­sen­tia­mo qui di seguito.

Tastiere speciali

L’impiego di speciali tastiere software è in assoluto il metodo più diffuso per ag­giun­ge­re caratteri Unicode in un testo. Su tutti i di­spo­si­ti­vi mobili queste tastiere rendono possibile passare da una lingua a un’altra e quindi da un alfabeto a un altro. Cambiando l’alfabeto cambiano anche i tasti, ma i caratteri che compaiono ap­par­ten­go­no tutti al re­per­to­rio Unicode. I caratteri dei vari alfabeti possono essere li­be­ra­men­te mischiati e combinati tra loro.

Un buon esempio sono le emoji: all’interno di Unicode le emoji sono dei normali caratteri, alla stregua di lettere, numeri e caratteri speciali. Come spesso accade per i caratteri digitali, la ri­pro­du­zio­ne delle emoji è in­di­pen­den­te, ogni sistema operativo riproduce la stessa emoji in maniera leg­ger­men­te diversa.

Le utili tastiere software non trovano impiego solo ed esclu­si­va­men­te sui di­spo­si­ti­vi mobili, ma sono presenti anche su desktop. Sono di­spo­ni­bi­li con Windows, macOS e molte di­stri­bu­zio­ni Linux e, in base alla lingua scelta, offrono una quantità variabile di caratteri. Poiché il numero dei tasti è limitato, non riportano tutti i caratteri Unicode. Al contrario, si tratta di una scelta dei caratteri più co­mu­ne­men­te usati specifica per la relativa lingua.

Tabelle dei caratteri Unicode

Dopo le tastiere software, le tabelle di caratteri Unicode rap­pre­sen­ta­no il modo più con­ve­nien­te per servirsi dei caratteri Unicode. Ri­cor­dia­mo che un codice di carattere (“coded character set”) cor­ri­spon­de alla quantità di tutti i caratteri, inclusi i ri­spet­ti­vi punti di codice univoci. L’or­ga­niz­za­zio­ne in tabelle si presta bene per questo tipo di struttura e infatti lo standard Unicode comprende le co­sid­det­te Code Charts.

Da un lato queste tabelle per­met­to­no di copiare caratteri specifici da riu­ti­liz­za­re altrove. Dall’altro danno la pos­si­bi­li­tà all’utente finale di leggere il punto di codice di un carattere, ad esempio per usarlo come ri­fe­ri­men­to numerico del carattere (maggiori in­for­ma­zio­ni a riguardo nel prossimo paragrafo).

Anche molti sistemi operativi per desktop con­ten­go­no una tabella di caratteri Unicode. Questo offre una pa­no­ra­mi­ca di tutti i caratteri Unicode di­spo­ni­bi­li, inclusi punto di codice, de­scri­zio­ne e glifi. Un carattere può essere aggiunto con un clic o co­pian­do­lo. Una tabella di caratteri può essere creata con poche righe di codice. Più avanti in questo articolo ti mostriamo un esempio ser­ven­do­ci del lin­guag­gio di pro­gram­ma­zio­ne Python.

Ri­fe­ri­men­to numerico dei caratteri

Al centro dello standard Unicode vi è l’as­se­gna­zio­ne di caratteri ai punti di codice. Se si conosce il punto di codice di un carattere, lo si può usare per inserire il carattere cor­ri­spon­den­te in vari contesti. Su Windows, l’in­se­ri­men­to di simboli Unicode avviene digitando una speciale com­bi­na­zio­ne di tasti at­tra­ver­so la normale tastiera fisica. Ricorda però che il numero del punto di codice deve so­li­ta­men­te essere inserito in caratteri esa­de­ci­ma­li.

Nella maggior parte dei casi le pro­gram­ma­tri­ci e i pro­gram­ma­to­ri hanno bisogno dei ri­fe­ri­men­ti numerici dei caratteri. La rap­pre­sen­ta­zio­ne esa­de­ci­ma­le dei punti di codice permette la ri­pro­du­zio­ne di un carattere Unicode con caratteri ap­par­te­nen­ti al set ASCII. Di seguito ti mostriamo il pro­ce­di­men­to in HTML, ma dal punto di vista teorico vale anche per Python, C++ e altri.

Lo schema generale per inserire un carattere at­tra­ver­so il suo ri­fe­ri­men­to numerico consiste nel ri­fe­ri­men­to stesso preceduto da un termine di apertura e seguito da un termine di chiusura: nei documenti HTML il ri­fe­ri­men­to numerico si apre con &#x e si chiude con ;. Nel mezzo va riportato il punto di codice esa­de­ci­ma­le di minimo due e massimo quattro cifre, senza lasciare spazi vuoti. Il modello da usare è quindi &#xNNNN;.

Per inserire il simbolo del copyright “©” in un documento HTML segui questo pro­ce­di­men­to:

1. Cerca il carattere in una tabella Unicode.
2. Segnati il punto di codice relativo al carattere. In questo esempio, il punto di codice rap­pre­sen­ta­to in caratteri esa­de­ci­ma­li è “U+00A9”.
3. Riporta il ri­fe­ri­men­to del carattere nel codice sorgente HTML o aggiungi un documento in Markdown. Nel nostro caso inseriamo © che re­sti­tui­sce il simbolo “©”.

In al­ter­na­ti­va, puoi usare i punti di codice in­se­ren­do­li con caratteri decimali invece che esa­de­ci­ma­li. Tuttavia, questo approccio è meno comune. In questo caso il ri­fe­ri­men­to numerico inizia con &# (ovvero senza la “x”) e si conclude sempre con ;. All’interno di questo in­ter­val­lo si riporta il punto di codice in rap­pre­sen­ta­zio­ne decimale. Sempre con ri­fe­ri­men­to all’esempio di cui sopra, il ri­fe­ri­men­to numerico per il simbolo del copyright andrebbe inserito così &#169.

Le entità

Poiché il modo di scrivere i caratteri Unicode come ri­fe­ri­men­ti numerici è tutt’altro che intuitivo, ci sono altri metodi a di­spo­si­zio­ne: le entità. Queste vengono definite per i caratteri più co­mu­ne­men­te usati e assegnano al carattere un nome breve e facile da ricordare. Un’entità inizia con il carattere & e termina con il punto e virgola ;. Nel mezzo si posiziona il nome stabilito senza spazi. Per ag­giun­ge­re il simbolo del copyright “©” in un documento HTML è suf­fi­cien­te scrivere ©.

Linguaggi di pro­gram­ma­zio­ne

La maggior parte dei linguaggi di pro­gram­ma­zio­ne contiene funzioni di base per tra­sfor­ma­re i caratteri e i punti di codice. Queste funzioni prendono spesso il nome di ord(carattere) e chr(punto di codice). Si presenta così:

chr(ord(carattere)) == carattere

Nota che è sempre possibile risalire al punto di codice cor­ri­spon­den­te da un carattere. In senso contrario la cor­ri­spon­den­za funziona solo per i numeri ef­fet­ti­va­men­te definiti come punto di codice del carattere co­di­fi­ca­to. Di seguito ti mostriamo lo schema di base ri­cor­ren­do a un esempio con Python:

# Determinare il punto di codice decimale di un carattere
ord('A') # `65`
# Determinare il punto di codice esadecimale di un carattere
hex(ord('A')) # `0x41`
# Determinare il carattere corrispondente al punto di codice
chr(65) # `'A'`
chr(0x41) # `'A'`
chr(0x110001) # errore, poiché il punto di codice > `0x110000`

Grazie a queste funzioni si può fa­cil­men­te creare una tabella per i punti di codice del set di caratteri Unicode. Per farlo basta ripetere i punti di codice e indicare i caratteri cor­ri­spon­den­ti. Con Python lo si può fare con poche righe di codice:

# iniziare `range` con `32`, poiché con valori più piccoli si ottengono i caratteri di controllo
# Fornire set di caratteri ASCII
for code_point in range(32, 128):
	print(code_point, hex(code_point), chr(code_point))
# Fornire ISO Latin-1
for code_point in range(32, 256):
	print(code_point, hex(code_point), chr(code_point))

Libreria dei linguaggi di pro­gram­ma­zio­ne ICU

I com­po­nen­ti in­ter­na­zio­na­li per Unicode (“In­ter­na­tio­nal Com­po­nen­ts for Unicode”, ICU) sono raccolti in una libreria di linguaggi di pro­gram­ma­zio­ne messa a di­spo­si­zio­ne da Unicode Con­sor­tium. La libreria ri­la­scia­ta con licenza open source può essere usata in molti sistemi operativi. Il software serve all’in­ter­na­zio­na­liz­za­zio­ne della pro­gram­ma­zio­ne (“In­ter­na­tio­na­li­za­tion” spesso ab­bre­via­to come “i18n”). Tra i settori di utilizzo vi sono:

• Ela­bo­ra­zio­ne di testi Unicode
• Supporto di espres­sio­ni regolari in Unicode
• Analisi sin­tat­ti­ca (parsing) o for­mat­ta­zio­ne di date, orari, numeri, valute e messaggi

La libreria ICU è di­spo­ni­bi­le in due versioni:

• La “icu4c” è scritta in C/C++ e mette a di­spo­si­zio­ne un’API per questi linguaggi di pro­gram­ma­zio­ne.
• La “icu4j” è scritta in Java e mette a di­spo­si­zio­ne un’API per questo lin­guag­gio di pro­gram­ma­zio­ne.

L’utilizzo delle com­po­nen­ti porta a risultati con­si­sten­ti in­di­pen­den­te­men­te dalla piat­ta­for­ma in uso.

Attributo charset nell’head dei documenti HTML

Ad oggi, la maggior parte dei documenti HTML è di­spo­ni­bi­le nella codifica di caratteri UTF-8. Per as­si­cu­rar­si che un vi­si­ta­to­re o una vi­si­ta­tri­ce riesca a vi­sua­liz­za­re il documento con i caratteri corretti, dovrebbe essere inserito un meta tag “Charset” nell’head del documento HTML. Questo serve a informare il browser che deve in­ter­pre­ta­re il documento richiesto come UTF-8:

<head>
<meta charset="utf-8">
<!-- altri elementi dell’head -->
</head>

Font di Instagram

Il popolare social network Instagram non permette alcuna for­mat­ta­zio­ne testuale per le in­for­ma­zio­ni della biografia, i post o le storie. Le pos­si­bi­li­tà creative dell’utente risultano perciò limitate. Le svi­lup­pa­tri­ci e gli svi­lup­pa­to­ri ingegnosi sono però riusciti a ideare un truc­chet­to: Instagram si basa su Unicode e questo permette di comporre un testo, ap­po­si­ta­men­te for­mat­ta­to, con caratteri speciali. I più usati sono i caratteri che ricordano le lettere latine. Il modo più facile per riuscirci è quello di usare un ge­ne­ra­to­re di font per Instagram. L’uso dei caratteri di Instagram funziona anche in altri social network.