Errori sta­ti­sti­ci e altri ostacoli nell’A/B testing

Ve­ri­fi­ca­re la fun­zio­na­li­tà di diversi elementi con l’aiuto di A/B test, è oggi prassi comune della maggior parte degli svi­lup­pa­to­ri e gestori di siti web. Se sia di­spo­ni­bi­le ab­ba­stan­za traffico, lo rivela ra­pi­da­men­te lo svol­gi­men­to stesso del test, ad esempio se uno scenario A porti più fa­cil­men­te alla con­ver­sio­ne de­si­de­ra­ta rispetto ad uno B. Ma, sia nella pia­ni­fi­ca­zio­ne che anche durante la fase di test vera e propria e di va­lu­ta­zio­ne finale vi aspettano alcuni ostacoli. Quali errori sta­ti­sti­ci e sbagli siano par­ti­co­lar­men­te diffusi e quale sia la maniera migliore per evitarli, lo scoprite di seguito.

Ancora prima che si inizi con il test, ipotesi errate e di con­se­guen­za una fase pre­pa­ra­to­ria sbagliata possono portarvi già verso l’in­suc­ces­so. Errore 1: ri­nun­cia­re ad un’ipotesi, puntando invece sulle casualità L’errore più grave che si possa fare nella fase pre­pa­ra­to­ria, è quello di ri­nun­cia­re ad un’ipotesi e poi sperare che, testando un numero ab­ba­stan­za alto di varianti, ci siano già quelle giuste. Sebbene aumenti con il numero di varianti del test scelte a caso anche la pos­si­bi­li­tà di poter trovarne una vincente, allo stesso tempo aumenta anche la pos­si­bi­li­tà che questa variabile vincente in realtà non rap­pre­sen­ti alcun mi­glio­ra­men­to per il sito web. In una singola variante, solamente nel 5% di tutti i casi ci si imbatterà in un’ot­ti­miz­za­zio­ne im­por­tan­te della variabile del test, ma che non ha nessun effetto nella realtà. La pro­ba­bi­li­tà di un errore alfa di questo tipo aumenta con il numero di varianti inserite: con tre diversi oggetti testati sono già, ad esempio, il 14%, con otto varianti già il 34%. Se prima non formulate nessuna tesi, non sapete poi per quale ragione la variante stabilita come vin­ci­tri­ce provochi un’ot­ti­miz­za­zio­ne. Se invece formulate prima, ad esempio, l’ipotesi che l’aumento delle di­men­sio­ni di un pulsante porti ad un aumento delle con­ver­sio­ni, allora potete clas­si­fi­ca­re i risultati raccolti. In sintesi un A/B test non si determina in alcun modo basandosi sulle causalità, ma dovrebbe sempre essere spinto da ipotesi e limitato nel numero delle sue varianti. Inoltre, se lavorate con tool come Op­ti­mi­ze­ly, che evitano un aumento della per­cen­tua­le di errori, eseguire un A/B testing di successo non sarà un problema.

Errore 2: in­di­ca­to­ri sbagliati in­fluen­za­no il successo di una variante del test

Anche nell’A/B testing gli in­di­ca­to­ri chiave di pre­sta­zio­ne (KPI), cioè le ca­rat­te­ri­sti­che di­stin­ti­ve del vostro progetto, hanno un ruolo im­por­tan­te che non dovreste tra­scu­ra­re. Mentre l’aumento delle aperture di una pagina e di click per un blog o un portale di notizie sono già delle con­ver­sio­ni di qualità, questi fattori per un negozio online non sono più un trend positivo. Per i negozi numeri come or­di­na­zio­ni, tasso di risposta, fatturato o guadagno sono de­ci­sa­men­te più im­por­tan­ti. Sulla base della dif­fi­col­tà nel misurarli, gli A/B test che mirano ai KPI prin­ci­pa­li (come i guadagni assoluti) sono legati com­pren­si­bil­men­te ad un alto dispendio di energie. In cambio però offrono mol­tis­si­me pre­vi­sio­ni af­fi­da­bi­li rispetto a questo tipo di test, che ad esempio con­si­de­ra­no solo il po­si­zio­na­men­to di un articolo nel carrello. Infatti in questi casi è ancora sempre possibile che il cliente, alla fine, non effettui alcun acquisto.

È quindi im­por­tan­te trovare i valori rilevati adatti, anche se non dovreste sce­glier­ne troppo diversi. Li­mi­ta­te­vi invece ai fattori es­sen­zia­li e ri­cor­da­te­vi delle ipotesi prima formulate. Questo riduce il rischio di pre­sup­po­re er­ro­nea­men­te un aumento con­ti­nua­ti­vo, dove in realtà c’è solo un effetto in­ci­den­ta­le senza con­ti­nui­tà. 

Errore 3: escludere ca­te­go­ri­ca­men­te un test mul­ti­va­ria­to In alcuni casi vi trovate davanti ad un problema durante la pre­pa­ra­zio­ne di un A/B test: il voler testare più elementi nelle varianti. Con un A/B test semplice questo non è davvero rea­liz­za­bi­le, ragion per cui vengono in mente molte al­ter­na­ti­ve rispetto agli A/B test mul­ti­va­ria­ti. Tuttavia questa idea è spesso scartata com­ple­ta­men­te perché i test mul­ti­va­ria­ti sono con­si­de­ra­ti troppo di­spen­dio­si e inesatti. Però possono essere, se con­fi­gu­ra­ti cor­ret­ta­men­te, la soluzione ottimale del problema men­zio­na­to: con i tool giusti le diverse pagine testate non sono solo ve­lo­ce­men­te regolate, ma poi anche fa­cil­men­te ana­liz­za­te. Inoltre, con un po’ di pratica si può stabilire l’influenza dei singoli com­po­nen­ti mo­di­fi­ca­ti. Ma il pre­re­qui­si­to è che il sito web abbia ab­ba­stan­za traffico. La pos­si­bi­li­tà di di­chia­ra­re vin­ci­tri­ce una variante sbagliata aumenta allo stesso modo come in un A/B testing con il numero delle varianti del test applicate: una li­mi­ta­zio­ne sulla base di una pre­se­le­zio­ne è dunque con­si­glia­bi­le anche in questo metodo. Per ottenere la certezza che una versione po­ten­zial­men­te migliore superi nei fatti l’originale, potete ve­ri­fi­ca­re il risultato a po­ste­rio­ri con un A/B test. Ma resta comunque la pro­ba­bi­li­tà solita di un errore alfa del 5%. 

Se il test è online e tutti i dati rilevanti sono re­gi­stra­ti come de­si­de­ra­to, molti credono che uno svol­gi­men­to di successo di un A/B test non sia più un problema. Ma im­pa­zien­za ed errori di va­lu­ta­zio­ne portano spesso a sba­gliar­si. Per questo si do­vreb­be­ro evitare as­so­lu­ta­men­te i seguenti errori tipici.

Errore 4: bloccare lo svol­gi­men­to del test prima del tempo o ac­cor­ciar­lo

La pos­si­bi­li­tà già durante il test di scegliere sta­ti­sti­che det­ta­glia­te è quanto mai utile, ma porta spesso a trarre con­clu­sio­ni af­fret­ta­te e a terminare l’A/B Test troppo presto. Di fatto vale che ogni test ha bisogno di una minima di­men­sio­ne di svol­gi­men­to perché fin dall’inizio i risultati oscillano for­te­men­te. Inoltre l’espres­si­vi­tà aumenta a seconda di quanto a lungo dura la fase del test, perché con la durata del test mi­glio­ra­to passo per passo gli effetti casuali possono essere eliminati. Se in­ter­rom­pe­te il vostro test troppo presto, rischiate di ottenere un’immagine com­ple­ta­men­te sbagliata sulla per­for­man­ce della variante e di valutarla in maniera sbagliata: o troppo bene o troppo male.

Dal momento che non è facile stabilire la durata ottimale del test ci sono diversi tool che vi possono aiutare nel conteggio. Na­tu­ral­men­te ci sono anche buone ragioni per tirare le somme su di un test prima del tempo, ad esempio quando una variante im­por­tan­te inizia con una brutta pre­sta­zio­ne che potrebbe com­pro­met­te­re i vostri interessi economici.

Errore 5: ap­pro­fit­ta­re di pro­ce­di­men­ti moderni per ac­cor­cia­re la durata del test È già chia­ra­men­te emerso che i diversi tool per eseguire A/B test lavorano con processi, che man­ten­go­no nelle variabili applicate una per­cen­tua­le di errore più bassa possibile. La sta­ti­sti­ca bayesiana, che usa ad esempio le ap­pli­ca­zio­ni Op­ti­mi­ze­ly e Visual Website Optimizer, promette inoltre risultati oltremodo solidi quando le di­men­sio­ni minime del test non sono ancora state raggiunte. Anche qui rischiate di cadere in errori sta­ti­sti­ci quando usate come base per la vostra va­lu­ta­zio­ne un parametro in­ter­rot­to troppo presto. Infatti se da un lato il metodo si basa sulle vostre stime riguardo al successo di una variante, dall’altro però anche la sta­ti­sti­ca bayesiana non può iden­ti­fi­ca­re gli effetti casuali iniziali come tali.

In­dub­bia­men­te è già una grande sfida trovare KPI adatti per formulare ipotesi calzanti e infine or­ga­niz­za­re ed eseguire l’A/B test. La vera sfida vi aspetta però solo alla fine quando bisogna ana­liz­za­re i valori raccolti ed esaminare i vostri utenti per il successo del vostro sito web. Il fatto che gli stessi pro­fes­sio­ni­sti possano incappare in una per­cen­tua­le di errore è fuori dubbio. Errori da prin­ci­pian­ti come quelli che vengono il­lu­stra­ti nei seguenti paragrafi, do­vreb­be­ro però essere as­so­lu­ta­men­te evitati. 

Errore 6: Affidarsi solamente ai risultati dei tool che eseguono il test

I tool più usati per eseguire i test non vi aiutano solo ad iniziare un test e a rap­pre­sen­ta­re tutti i dati raccolti gra­fi­ca­men­te, ma con­se­gna­no anche allo stesso tempo dati completi se le varianti cor­ri­spon­den­ti rap­pre­sen­ta­no un mi­glio­ra­men­to e fino a quale misura viene in­fluen­za­to un aumento del vostro tasso di con­ver­sio­ne. Inoltre si sta­bi­li­sce anche una variante come vin­ci­tri­ce assoluta. Questi tool non possono quindi misurare KPI come il fatturato com­ples­si­vo o il ritorno sull’in­ve­sti­men­to perché devono per forza di cose coin­vol­ge­re anche in­for­ma­zio­ni esterne. In par­ti­co­la­re quando i risultati non ri­spec­chia­no le aspet­ta­ti­ve vale la pena dare un’occhiata ai risultati del vostro programma di analisi web se­pa­ra­ta­men­te, che di regola offre una pa­no­ra­mi­ca det­ta­glia­ta sul percorso dell’utente.

L’analisi specifica dei singoli dati è anche l’unico modo per stabilire se ci siano degli outlier e filtrare even­tual­men­te il risultato com­ples­si­vo. Come questo possa essere un criterio decisivo per evitare una falsa ipotesi, lo chiarisce il seguente esempio: una variante A viene indicata dal tool come versione ottimale e tiene anche in con­si­de­ra­zio­ne il fatturato ottenuto che viene raggiunto grazie al miglior risultato della variante A. Ma in un’analisi più attenta non passa inos­ser­va­to che questa cir­co­stan­za potrebbe essere ri­con­du­ci­bi­le ad un par­ti­co­la­re acquisto di un singolo utente (un cliente B2B). Se si aggiunge a questo un acquisto fuori dalla sta­ti­sti­ca, la variante B pre­sen­te­rà im­prov­vi­sa­men­te un miglior risultato in termini di fatturato.

Lo stesso esempio si lascia usare anche per il carrello, la per­cen­tua­le di or­di­na­zio­ni o altri diversi KPI. In questi casi noterete che i valori estremi possono in­fluen­za­re il valore medio for­te­men­te e arrivare così ve­lo­ce­men­te a false con­clu­sio­ni.  

Errore 7: seg­men­ta­re i risultati in maniera troppo netta

Na­tu­ral­men­te l’esame det­ta­glia­to dei dati dell’A/B test in com­bi­na­zio­ne con fonti di dati esterne apre anche altre opzioni. Par­ti­co­lar­men­te amato è il fatto che i risultati assegnano gruppi di utenti ben definiti. Così ad esempio scoprite come gli utenti di un gruppo di età ben definito hanno reagito in una regione ben precisa o in certo browser rispetto ad una specifica variante. Più segmenti con­fron­ta­te tra loro, più alta sarà però la pro­ba­bi­li­tà di errore.

A questo riguardo dovreste im­pe­gnar­vi perché i gruppi scelti pos­sie­da­no una grande rilevanza per i vostri concept del test e rap­pre­sen­ti­no una parte si­gni­fi­ca­ti­va degli utenti nel complesso. Ad esempio, quando vi con­cen­tra­te solo sugli utenti che sono maschi e sotto i 30 anni, che accedono da tablet e visitano la vostra pagina solo durante il weekend, sco­pri­re­te che la portata del test non è in nessun caso rap­pre­sen­ta­ti­ve di tutto il target. Quando pia­ni­fi­ca­te già da prima di seg­men­ta­re i risultati di un A/B test, dovreste as­so­lu­ta­men­te stimare anche una durata del test consona.

Errore 8: mettere in di­scus­sio­ne il successo per via di stime imprecise

Per chiarire se il passaggio ad una nuova variante influirà in futuro sulla per­cen­tua­le di con­ver­sio­ni, i risultati del test A/B si usano spesso come base per concreti calcoli esti­ma­ti­vi. Per i fini di pre­sen­ta­zio­ne questo potrebbe essere un mezzo efficace, ma questo tipo di pre­vi­sio­ni basate su diversi fattori di influenza non sono davvero pra­ti­ca­bi­li. Mentre i risultati di un test A/B danno solamente spie­ga­zio­ni sulle modifiche a breve termine nel com­por­ta­men­to dell’utente, gli effetti a lungo termine come l’influsso della sod­di­sfa­zio­ne del cliente entro la breve durata del test non sono mi­su­ra­bi­li; pre­sup­por­re la costanza di una crescita rilevata, è quindi af­fret­ta­to. Inoltre ci sono i con­di­zio­na­men­ti, come ad esempio debolezze sta­gio­na­li, dif­fi­col­tà di consegna, modifiche nella scelta dei prodotti, modifiche del gruppo dei clienti o problemi tecnici, che non possono essere inclusi nell’A/B test.

Come con gli altri errori sta­ti­sti­ci e con le in­con­gruen­ze durante l’ese­cu­zio­ne e la va­lu­ta­zio­ne di un test sull’usabilità del sito web bisogna af­fron­ta­re la si­tua­zio­ne con calma. Con­clu­sio­ni af­fret­ta­te portano in fretta anche ad essere delusi dai risultati con­clu­si­vi in tempo reale, anche se la versione ot­ti­miz­za­ta del sito web funziona davvero bene. Solo quando nella for­mu­la­zio­ne di una pre­vi­sio­ne e nella con­se­guen­te va­lu­ta­zio­ne di quella tesi vi affidate ad un modo di lavorare pulito e ben pensato, i risultati dell’A/B test si potranno ana­liz­za­re chia­ra­men­te e in­ter­pre­ta­re.