Testare un partner con un gruppo di confronto

Per stimare l’effetto di un’attività affiliata, assegnate in anticipo unità comparabili a un gruppo che può riceverla e a uno che non può riceverla. Confrontate poi gli ordini complessivi idonei nei due gruppi, non soltanto quelli accreditati al partner. Il test risponde alla domanda sull’attività effettivamente differenziata, nel pubblico e nel periodo esaminati.

Delimitare l’intervento

Delimitare l’intervento

Scegliete una newsletter, una collocazione o un’offerta che il partner possa mostrare soltanto al gruppo previsto. Chiarite se volete stimare l’effetto di quella singola iniziativa o dell’intera presenza del partner. Se altre sue attività restano disponibili a entrambi i gruppi, il confronto riguarda l’iniziativa sospesa, non tutto il partner.

Verificate prima che la distinzione sia praticabile. Un codice condivisibile o una pagina aperta a tutti possono raggiungere anche il gruppo di confronto. Annotate quali altri canali promuovono la stessa offerta: non devono essere confusi con l’intervento che volete misurare.

Stabilire gruppi e misura prima del lancio

Stabilire gruppi e misura prima del lancio

Quando potete identificare i destinatari idonei, assegnateli ai gruppi prima dell’esposizione con una regola casuale conservata nel piano della prova. Se confrontate aree geografiche, esaminate i risultati precedenti, le condizioni commerciali e la possibilità reale di differenziare l’attività nelle aree scelte. I clienti possono muoversi fra aree o condividere offerte: registrate questo limite.

Fissate in anticipo:

Non limitate l’analisi alle persone che hanno cliccato. Il clic avviene dopo l’assegnazione: selezionare soltanto chi ha reagito altera il confronto fra i gruppi.

Leggere il risultato

Leggere il risultato

Confrontate gli ordini idonei dell’intero negozio, inclusi quelli arrivati da altri canali. Se i gruppi hanno dimensioni diverse, usate una misura per unità comparabile e dichiarate il denominatore. Riconciliate gli ordini con il negozio prima della lettura finale. Per prove geografiche, mostrate anche le differenze già presenti prima dell’intervento; una somiglianza approssimativa non elimina ogni possibile causa alternativa.

Riportate la differenza stimata, la sua incertezza, i costi pertinenti e le contaminazioni osservate. Un risultato incerto non dimostra un effetto nullo.

Se il partner non può mantenere la separazione o se manca un risultato osservabile per entrambi i gruppi, non chiamate esperimento un confronto fra soli ordini attribuiti. Registrate il limite e usate gli altri dati come descrizione, oppure progettate una prova diversa.

Metriche fondamentali da monitorare nel test