Ancora prima che si inizi con il test, ipotesi errate e di conseguenza una fase preparatoria sbagliata possono portarvi già verso l’insuccesso.
Errore 1: rinunciare ad un’ipotesi, puntando invece sulle casualità
L’errore più grave che si possa fare nella fase preparatoria, è quello di rinunciare ad un’ipotesi e poi sperare che, testando un numero abbastanza alto di varianti, ci siano già quelle giuste. Sebbene aumenti con il numero di varianti del test scelte a caso anche la possibilità di poter trovarne una vincente, allo stesso tempo aumenta anche la possibilità che questa variabile vincente in realtà non rappresenti alcun miglioramento per il sito web. In una singola variante, solamente nel 5% di tutti i casi ci si imbatterà in un’ottimizzazione importante della variabile del test, ma che non ha nessun effetto nella realtà. La probabilità di un errore alfa di questo tipo aumenta con il numero di varianti inserite: con tre diversi oggetti testati sono già, ad esempio, il 14%, con otto varianti già il 34%. Se prima non formulate nessuna tesi, non sapete poi per quale ragione la variante stabilita come vincitrice provochi un’ottimizzazione. Se invece formulate prima, ad esempio, l’ipotesi che l’aumento delle dimensioni di un pulsante porti ad un aumento delle conversioni, allora potete classificare i risultati raccolti.
In sintesi un A/B test non si determina in alcun modo basandosi sulle causalità, ma dovrebbe sempre essere spinto da ipotesi e limitato nel numero delle sue varianti. Inoltre, se lavorate con tool come Optimizely, che evitano un aumento della percentuale di errori, eseguire un A/B testing di successo non sarà un problema.