Che cos’è Unicode? Definizione e spiegazione

La nascita di linguaggi permette la trasmissione di conoscenza e la sua conservazione di generazione in generazione. Lo sviluppo della scrittura ha semplificato ulteriormente questo passaggio di conoscenza.

Molti dei sistemi di scrittura usati oggigiorno hanno migliaia di anni. A confronto, il testo in formato digitale è piuttosto recente. Inizialmente, la sua riproduzione era orientata verso la lingua inglese. Da allora una parte considerevole delle interazioni umane ha iniziato ad avere luogo nelle reti globali digitali. Le persone si scambiano informazioni superando i confini linguistici e geografici. Questo cambiamento ha portato a un ripensamento e al successivo sviluppo di una struttura unitaria per lo scambio di testi di diversi sistemi di scrittura e dei vari caratteri. Allo stesso tempo, il progresso tecnologico ha aperto nuove possibilità per la riproduzione dei caratteri.

Un esempio chiaro: pensate alle tanto usate emoji sul vostro smartphone. Potete usare queste icone colorate grazie a un’apposita tastiera, come fossero lettere, quasi come facessero parte dell’alfabeto. Ma come funziona? La risposta sta nello standard Unicode.

Unicode corrisponde a un sistema di codifica universale dei caratteri. Il termine deriva dall’inglese “Universal Character Encoding”. Si tratta di uno standard per la codifica dei caratteri scritto in rappresentazione binaria, che permette di salvare ed elaborare i testi con sistemi digitali.

Unicode rappresenta una novità in quanto non è legato ai formati e alle codifiche di un singolo alfabeto di una lingua umana. Unicode è stato ideato con l’obiettivo di servire da standard uniforme per la riproduzione di tutti i sistemi di scrittura sviluppati dagli uomini e dei rispettivi caratteri.

Dalla pubblicazione di Unicode 1.0 alla fine del 1991, lo standard ha raggiunto quello che era lo scopo iniziale. Oggi browser e sistemi operativi usano internamente Unicode come formato uniforme. La versione 13.0, rilasciata nel 2020 da Unicode Consortium, ha riassunto il repertorio dello standard Unicode composto da un totale di 143.859 caratteri.

Unicode Consortium è un’organizzazione senza scopo di lucro con sede in California che promuove il continuo sviluppo dello standard. Tra i membri del consorzio si annoverano imprese tecnologiche di primissimo livello come Adobe, Apple, Facebook, Google, IBM, Microsoft, Netflix e SAP. Il set di caratteri corrispondenti allo standard Unicode coincide esattamente con quello dello Universal Coded Character Set (UCS), contenuto nella norma internazionale ISO/IEC 10646.

La scrittura e i testi sono onnipresenti nella vita dell’uomo moderno. Leggere e scrivere fanno parte delle prime capacità culturali che una persona impara a scuola. Non sorprende dunque che tante persone diano per assodata la presenza della scrittura digitale. Ma come funziona la riproduzione degli scritti da un punto di vista tecnico? Scoprite con noi il mondo della codifica testuale digitale.

Per prima cosa è importante comprendere che tutte le informazioni presenti in un sistema digitale si basano su una catena infinita di zeri e uno: la rappresentazione binaria. Il codice binario assomiglia per certi versi a un alfabeto, ma si compone soltanto di due “lettere”, appunto zero e uno. Ogni posizione all’interno di una sequenza composta da zeri e uno si definisce “bit”.

Il trucco della tecnologia dell’informazione sta nel comporre i caratteri dei vari alfabeti come sequenze di zeri e uno. In questo modo si riescono a codificare sia i numeri che le lettere, ma anche a distinguere tra tutti gli altri stati. Generalmente si parla di simboli. Più lunga è la sequenza di zeri e uno per la rappresentazione di un singolo simbolo, più simboli si possono riprodurre. Con l’aggiunta di ogni bit raddoppia il numero dei simboli possibili.

Un esempio concreto: immaginatevi di avere delle “parole” binarie della lunghezza di due bit. Queste permettono di codificare quattro numeri:

Aggiungendo un ulteriore bit all’inizio della sequenza, raddoppia il numero delle possibili parole. Queste si compongono delle sequenze di bit già menzionate, con l’aggiunta di un uno o uno zero davanti. In questo modo possiamo codificare otto numeri:

Per motivi di semplicità abbiamo deciso di mostrarvi la codifica dei numeri. Lo stesso principio trova però utilizzo nei sistemi digitali anche per la codifica di lettere o di qualsiasi altro simbolo o stato. Di seguito proponiamo l’esempio molto semplificato di un codice binario di lettere:

Fate attenzione che la spiegazione fin qui non tiene in considerazione il tipo di font utilizzato. Infatti, qui parliamo solamente del modello interno su cui si basa la riproduzione digitale dei caratteri. La rappresentazione grafica di un carattere prende il nome di glifo.

In base al font usato ci sono diversi glifi per lo stesso carattere. Addirittura, uno stesso font può contenere più varianti per uno stesso glifo. Per esempio, pensate a diversi pesi, legature e corsivi. Di seguito trovate una rappresentazione avanzata che riassume la corrispondenza di caratteri e glifi:

La codifica digitale dei caratteri comprende una serie di concetti specifici. L’uso dei vari termini ha un uso simile in italiano. Per poter dare una definizione Unicode precisa, riportiamo di seguito anche i termini in inglese:

Dalla comparsa di Unicode si sono verificate una grande quantità di codifiche specifiche. La regola prevedeva l’uso di una codifica per ogni lingua o famiglia linguistica. Questo ha portato spesso a errori di rappresentazione e incongruenze nei dati. Per evitare che ciò continuasse ad accadere, le codifiche dei caratteri sono spesso state modellate come sovrainsiemi degli standard già esistenti, compatibili con le versioni precedenti. Per questo motivo lo standard Unicode moderno si basa sulla precedente codifica dei caratteri ISO Latin-1, basata a sua volta sul codice ASCII.

Lo standard Unicode definisce i caratteri e i punti di codice corrispondenti per lettere, sillabe, ideogrammi, interpunzione, caratteri speciali e cifre. Oltre all’alfabeto latino supporta anche quello greco, cirillico, arabo, ebraico, tailandese. A questi si aggiungono anche le grafie giapponesi (katakana, hiragana), cinesi e coreane. Infine, comprende anche i caratteri speciali matematici, commerciali e tecnici, come gli storici caratteri di controllo per telescriventi.

I caratteri sono riassunti in una serie di tabelle. Di seguito vi forniamo una panoramica delle tabelle di caratteri più usate.

Lo standard Unicode serve principalmente da base fondamentale per l’elaborazione, l’archiviazione e lo scambio di testi in qualsiasi lingua. La maggior parte delle componenti software moderne quali librerie, protocolli, database, ecc., che operano sui testi, sono basate su Unicode. I seguenti esempi servono a chiarire la vastità delle possibilità del suo utilizzo.

Nella maggioranza dei sistemi operativi moderni, Unicode è lo standard interno per la riproduzione testuale. Alcuni sistemi operativi come macOS di Apple permettono l’uso di caratteri Unicode nei nomi dei file.

La variante di Unicode UTF-8 si è imposta come standard per la codifica dei documenti in HTML. Già nel 2016 più dell’80 % dei siti web più visitati a livello mondiale utilizzavano UTF-8 per l’archiviazione e la riproduzione dei loro documenti HTML. Per l’uso di lettere non ASCII nei nomi di dominio si è invece affermato lo standard Punycode.

Molti dei linguaggi di programmazione moderni si servono di Unicode come base per l’elaborazione di testi. Un ulteriore sviluppo è la possibilità di usare i caratteri Unicode per la denominazione di variabili e funzioni. Tra i vari linguaggi è possibile in ECMAScript/JavaScript, come dimostrato dal seguente codice:

Il molto apprezzato e ampiamente utilizzato database MySQL supporta l’intero set di dati Unicode con la codifica di caratteri “utf8mb4”. L’uso della codifica di caratteri “utf8” comporta invece la perdita di caratteri il cui punto di codice eccede i 3 byte.

I font contengono glifi che servono per la riproduzione grafica del testo. A causa della grande quantità di caratteri dello standard Unicode, nessun font li contiene tutti. Servono diversi font a comprendere tutti quelli del Basic Multilingual Plane. Un paio di esempi:

In molti casi gli utenti ricorrono a Unicode senza neanche saperlo. Il testo digitale è presente nella maggior parte dei documenti e dei programmi sotto forma di Unicode e può essere copiato, incollato e modificato dall’utente a suo piacimento. A volte risulta necessario per l’utente finale aggiungere un determinato carattere Unicode all’interno di un testo. Per farlo, ci sono diverse possibilità che vi presentiamo qui di seguito.

L’impiego di speciali tastiere software è in assoluto il metodo più diffuso per aggiungere caratteri Unicode in un testo. Su tutti i dispositivi mobili queste tastiere rendono possibile passare da una lingua a un’altra e quindi da un alfabeto a un altro. Cambiando l’alfabeto cambiano anche i tasti, ma i caratteri che compaiono appartengono tutti al repertorio Unicode. I caratteri dei vari alfabeti possono essere liberamente mischiati e combinati tra loro.

Un buon esempio sono le emoji: all’interno di Unicode le emoji sono dei normali caratteri, alla stregua di lettere, numeri e caratteri speciali. Come spesso accade per i caratteri digitali, la riproduzione delle emoji è indipendente, ogni sistema operativo riproduce la stessa emoji in maniera leggermente diversa.

Le utili tastiere software non trovano impiego solo ed esclusivamente sui dispositivi mobili, ma sono presenti anche su desktop. Sono disponibili con Windows, macOS e molte distribuzioni Linux e, in base alla lingua scelta, offrono una quantità variabile di caratteri. Poiché il numero dei tasti è limitato, non riportano tutti i caratteri Unicode. Al contrario, si tratta di una scelta dei caratteri più comunemente usati specifica per la relativa lingua.

Dopo le tastiere software, le tabelle di caratteri Unicode rappresentano il modo più conveniente per servirsi dei caratteri Unicode. Ricordiamo che un codice di carattere (“coded character set”) corrisponde alla quantità di tutti i caratteri, inclusi i rispettivi punti di codice univoci. L’organizzazione in tabelle si presta bene per questo tipo di struttura e infatti lo standard Unicode comprende le cosiddette Code Charts.

Da un lato queste tabelle permettono di copiare caratteri specifici da riutilizzare altrove. Dall’altro danno la possibilità all’utente finale di leggere il punto di codice di un carattere, ad esempio per usarlo come riferimento numerico del carattere (maggiori informazioni a riguardo nel prossimo paragrafo).

Anche molti sistemi operativi per desktop contengono una tabella di caratteri Unicode. Questo offre una panoramica di tutti i caratteri Unicode disponibili, inclusi punto di codice, descrizione e glifi. Un carattere può essere aggiunto con un clic o copiandolo. Una tabella di caratteri può essere creata con poche righe di codice. Più avanti in questo articolo vi mostriamo un esempio servendoci del linguaggio di programmazione Python.

Al centro dello standard Unicode vi è l’assegnazione di caratteri ai punti di codice. Se si conosce il punto di codice di un carattere, lo si può usare per inserire il carattere corrispondente in vari contesti. In Windows, l’inserimento di simboli Unicode avviene digitando una speciale combinazione di tasti attraverso la normale tastiera fisica. Ricordate però che il numero del punto di codice deve solitamente essere inserito in caratteri esadecimali.

Nella maggior parte dei casi i programmatori hanno bisogno dei riferimenti numerici dei caratteri. La rappresentazione esadecimale dei punti di codice permette la riproduzione di un carattere Unicode con caratteri appartenenti al set ASCII. Di seguito vi mostriamo il procedimento in HTML, ma dal punto di vista teorico vale anche per Python, C++ e altri.

Lo schema generale per inserire un carattere attraverso il suo riferimento numerico consiste nel riferimento stesso preceduto da un termine di apertura e seguito da un termine di chiusura: nei documenti HTML il riferimento numerico si apre con “&#x” e si chiude con “;”. Nel mezzo va riportato il punto di codice esadecimale di minimo due e massimo quattro cifre, senza lasciare spazi vuoti. Il modello da usare è quindi “&#xNNNN;”.

Per includere il simbolo del copyright “©” in un documento HTML seguite questo procedimento:

1. Cercate il carattere in una tabella Unicode.
2. Segnatevi il punto di codice relativo al carattere.

In questo esempio, il punto di codice rappresentato in caratteri esadecimali è “U+00A9”.

1. Riportate il riferimento del carattere nel codice sorgente HTML o aggiungete un documento in markdown.

Nel nostro caso inseriamo “©“ che restituisce il simbolo “©”.

In alternativa potete usare i punti di codice inserendoli con caratteri decimali invece che esadecimali. Tuttavia, questo approccio è meno comune. In questo caso il riferimento numerico inizia con “&#” (ovvero senza la “x”) e si conclude sempre con “;”. All’interno di questo intervallo si riporta il punto di codice in rappresentazione decimale. Sempre con riferimento all’esempio di cui sopra, il riferimento numerico per il simbolo del copyright andrebbe inserito così “&#169”.

Poiché il modo di scrivere i caratteri Unicode come riferimenti numerici è tutt’altro che intuitivo, ci sono altri metodi a disposizione: le entità. Queste vengono definite per i caratteri più comunemente usati e assegnano al carattere un nome breve e facile da ricordare. Un’entità inizia con il carattere “&” e termina con il punto e virgola “;”. Nel mezzo si posiziona il nome stabilito senza spazi. Per aggiungere il simbolo del copyright “©” in un documento HTML è sufficiente scrivere “©”.

La maggior parte dei linguaggi di programmazione contiene funzioni di base per trasformare i caratteri e i punti di codice. Queste funzioni prendono spesso il nome di “ord()” e “chr()”.

‘chr(ord(carattere)) == carattere’

Sappiate che è sempre possibile risalire al punto di codice corrispondente a un carattere. In senso contrario la corrispondenza funziona solo per i numeri effettivamente definiti come punto di codice del carattere codificato. Di seguito vi mostriamo lo schema di base ricorrendo a un esempio con Python:

Grazie a queste funzioni si può facilmente creare una tabella per i punti di codice del set di caratteri Unicode. Per farlo basta ripetere i punti di codice e indicare i caratteri corrispondenti. Con Python lo si può fare con poche righe di codice:

I componenti internazionali per Unicode (International Components for Unicode”, ICU) sono raccolti in una libreria di linguaggi di programmazione messa a disposizione da Unicode Consortium. La libreria rilasciata con licenza open source può essere usata in molti sistemi operativi. Il software serve all’internazionalizzazione della programmazione (“Internationalization” spesso abbreviato come “i18n”). Tra i settori di utilizzo vi sono:

• Elaborazione di testi Unicode
• Supporto di espressioni regolari in Unicode
• Analisi sintattica (parsing) o formattazione di date, orari, numeri, valute e messaggi

La libreria ICU è disponibile in due versioni:

• La “icu4c” è scritta in C/C++ e mette a disposizione una API per questi linguaggi di programmazione.
• La “icu4j” è scritta in Java e mette a disposizione una API per questo linguaggio di programmazione.

L’utilizzo delle componenti porta a risultati consistenti indipendentemente dalla piattaforma in uso.

Ad oggi, la maggior parte dei documenti HTML è disponibile nella codifica di caratteri UTF-8. Per assicurarsi che un visitatore riesca a visualizzare il documento con i caratteri corretti, dovrebbe essere inserito un attributo meta Charset nell’head del documento HTML. Questo serve a informare il browser che deve interpretare il documento richiesto come UTF-8:

La piattaforma di messaggi brevi Twitter non permette alcuna formattazione testuale per tweet, profili o nomi utente. Le possibilità creative dell’utente risultano perciò limitate. Degli sviluppatori ingegnosi sono però riusciti a ideare un trucchetto: Twitter si basa su Unicode e questo permette di comporre un testo, appositamente formattato, con caratteri speciali. I più usati sono i caratteri che ricordano le lettere latine. Il modo più facile per riuscirci è quello di usare un generatore di font per Twitter.