Comprender la significación estadística en las campañas de Klaviyo

Qué aprenderás

Aprenda a saber si una prueba A/B se considera estáticamente significativa o no. Por ejemplo, si una variación de la campaña A tiene una tasa de apertura del 15% y la variación B tiene una tasa de apertura del 14%, ¿cómo puede saber con certeza si la variación A o la B funcionaron mejor?

Categorías de significación estadística

La significación estadística es cuando Klaviyo es matemáticamente capaz de determinar si una variación producirá un mejor rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de victoria, que es la probabilidad de que una variación produzca mejores resultados en función de lo bien que supere a la(s) otra(s) variación(es).

Cuando realice pruebas A/B, debe evitar cualquier factor que pueda influir significativamente en su audiencia; por ejemplo, no vuelva a realizar pruebas cerca de un fin de semana festivo, cuando es mucho más probable que su audiencia esté buscando sus correos electrónicos. 

Cuando se trata de campañas de pruebas A/B, existen cuatro categorías para la significación estadística:

• Estadísticamente significativo
• Prometedor
• No es estadísticamente significativo
• Inconcluso

En las próximas secciones, repasaremos cuándo una prueba entra en cada una de estas categorías.

Estadísticamente significativo

La etiqueta estadísticamente significativa en su prueba A/B significa que es muy probable que una determinada variación de su prueba gane a la(s) otra(s) opción(es). También indica que sería capaz de reproducir los resultados y podría aplicar lo aprendido a sus futuros envíos.

Para las campañas de Klaviyo, el resultado de una prueba A/B se considera estadísticamente significativo cuando:

• 50 personas han recibido cada variación
• La probabilidad de victoria es de al menos el 90%.

Esto garantiza que una muestra suficientemente grande de destinatarios haya visto la prueba A/B y que la variación ganadora haya superado ampliamente a la otra u otras en la métrica ganadora elegida (que, para las campañas, es la tasa de apertura, la tasa de clics o la tasa de pedidos realizados).

Por ejemplo, digamos que está probando si un emoji en la línea de asunto afecta o no a la tasa de apertura. Los resultados de la prueba muestran que la variación ganadora es la que tiene el emoji y hay una etiqueta verde de significación estadística. En este caso, puede estar seguro de que una línea de asunto con un emoji obtendrá sistemáticamente mejores resultados que una sin emoji, y no es necesario volver a realizar pruebas.

Sin embargo, siempre debe utilizar su mejor criterio a la hora de actuar en función de los resultados de la prueba. Si está enviando un mensaje más serio o sombrío, por ejemplo, puede que no sea apropiado utilizar un emoji.

Prometedor

Cuando los resultados son prometedores, parece que una variación funciona mejor que la otra u otras, pero las pruebas por sí solas no son lo suficientemente sólidas. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta indicándolo; sin embargo, verá una alerta que le indicará que debe volver a realizar la prueba.

Si el resultado de una prueba es prometedor, debería realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo del emoji anterior, si los resultados son prometedores, vuelva a realizar esta prueba. Si sigue viendo resultados prometedores a favor del emoji después de varias pruebas A/B, puede confiar en que los emojis tienen un impacto leve pero positivo en su público, y debe seguir utilizándolos en las campañas.

Para las campañas, el resultado de una prueba A/B se considera prometedor cuando:

• 50 personas han recibido cada variación
• La probabilidad de ganar oscila entre el 75% y el 89%.

No es estadísticamente significativo

Si algo no es estadísticamente significativo, es que una variación supera a la otra u otras en la prueba sólo por una pequeña cantidad, por lo que es posible que no pueda reproducir el resultado en otra prueba. Para nuestro ejemplo, esto puede significar que la variación con el emoji venció a la(s) variación(es) sin emoji, pero sólo por una cantidad muy pequeña - y no lo suficiente para que el resultado de la prueba sea significativo.

En este caso, recomendamos volver a probar este factor dos o tres veces más y vigilar de cerca los resultados. Si sigue observando que el resultado de la prueba no se considera estadísticamente significativo, no continúe con la prueba; en su lugar, pase a realizar una prueba A/B sobre un tema diferente. Si una prueba entra en esta categoría, aparecerá una etiqueta gris que dirá No estadísticamente significativo en la página de resultados de la prueba A/B.

Para las campañas, se considera que el resultado de una prueba A/B no es estadísticamente significativo cuando:

• 1.800 han recibido cada variación
• La diferencia porcentual entre la variación líder y la variación en segundo lugar es del 4% o menos
• La probabilidad de victoria es inferior al 60%.

Inconcluso

Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo o no. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, caerá en el cubo de los no concluyentes. Puede visualizar esto utilizando el árbol de decisión que se muestra en la siguiente sección. Tenga en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.

En este caso, es posible que desee ampliar su audiencia para cualquier prueba de seguimiento. Si tiene un grupo pequeño con el que está haciendo la prueba, interprete los resultados como mejor le parezca y vuelva a hacer la prueba para comprobar que lo que ha descubierto es exacto. Además, céntrese en conocer a sus suscriptores por otros medios; por ejemplo, encuestas, sondeos, etc.

Árbol de decisión de significación estadística

El siguiente árbol de decisiones muestra cuándo una prueba A/B entrará en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".

Recursos adicionales

Obtenga más información sobre los resultados de las pruebas A/B en este artículo. 

Consulte las mejores prácticas para las pruebas A/B. 

Vea cómo realizar pruebas A/B en sus correos electrónicos: 

• Cómo probar A/B un correo electrónico de flujo individual
• Cómo realizar una prueba A/B de una campaña de correo electrónico