Comprender la significación estadística en las campañas de Klaviyo
Objetivos de aprendizaje
Aprende a saber si una prueba A/B se considera estáticamente significativa o no. Por ejemplo, si una campaña variante A tiene una tasa de apertura de 15% y la variante B tiene una tasa de apertura de 14%, ¿cómo puedes saber con seguridad si la variante A o la B funcionaron mejor?
Nota sobre la protección de privacidad de Apple MailNota sobre la protección de privacidad de Apple Mail
Con el lanzamiento de iOS15, macOS Monterey, iPadOS 15 y WatchOS 8, y Protección de la privacidad (Mail Privacy Protection, MPP) de Apple, cambió la forma en que recibimos los datos de tasa de apertura de tus correos electrónicos al obtener previamente nuestro pixel de seguimiento. Con este cambio, es importante entender que la tasa de apertura se inflará.
Con respecto a las pruebas A/B, prevemos que nuestras herramientas deberían contar para estas tasas de apertura infladas; sin embargo, puede que necesites un umbral más alto para alcanzar la significación estadística. Si realizas regularmente pruebas A/B Y tienes más de ~45% de aperturas en Apple Mail, te sugerimos que crees un informe personalizado que incluya una propiedad MPP. También puedes identificar estas aperturas en tu segmento suscriptor individual.
Consulta información completa sobre aperturas de la MPP en nuestra guía iOS 15: Cómo prepararse para los cambios de Apple.
Categorías de significación estadísticaCategorías de significación estadística
La significación estadística se da cuando Klaviyo es capaz de determinar matemáticamente si una variante producirá una mejora del rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de victoria, que es la probabilidad de que una variante dé mejores resultados en función de cómo supere a las demás variantes.
Cuando hagas pruebas A/B, debes evitar cualquier factor que pueda influir significativamente en tu audiencia; por ejemplo, no vuelvas a hacer pruebas cerca de un fin de semana festivo, cuando es mucho más probable que tu audiencia esté buscando tu correo electrónico.
Cuando se trata de campañas de pruebas A/B, hay cuatro categorías de significación estadística:
- Con significación estadística
- Prometedor
- Sin significación estadística
- No concluyente
En los próximos apartados, repasaremos cuándo un test pertenece a cada una de estas categorías.
¿No tienes tiempo para leer? pagar el árbol de decisiones que aparece al final de este artículo.
Con significación estadística
La etiqueta estadísticamente significativa en tu prueba A/B significa que es muy probable que una determinada variante de tu prueba gane a la(s) otra(s) opción(es). También indica que serías capaz de reproducir los resultados y podrías aplicar lo aprendido a tus futuros envíos.
Para las campañas de Klaviyo, se considera que el resultado de una prueba A/B es estadísticamente significativo cuando
- 50 personas han recibido cada variante.
- La probabilidad de ganar es de al menos 90%.
Esto garantiza que una muestra suficientemente grande de destinatarios haya visto la prueba A/B, y que la variante ganadora haya superado ampliamente a la otra u otras para la métrica ganadora elegida (que, para las campañas, es la tasa de apertura, la tasa de clics (CR) o la tasa de pedidos colocada).
Por ejemplo, digamos que estás probando si un emoji en la línea de asunto afecta o no a la tasa de apertura. Los resultados de la prueba muestran que la variante ganadora es la que tiene el emoji y hay una etiqueta verde de significación estadística. En este caso, puedes estar seguro de que una línea de asunto con un emoji tendrá sistemáticamente mejores resultados que una sin emoji: y no hace falta volver a hacer pruebas.
Sin embargo, siempre debes utilizar tu mejor juicio cuando actúes según los resultados de la prueba. Si estás enviando un mensaje más serio o sombrío, por ejemplo, puede que no sea apropiado utilizar un emoji.
PrometedorPrometedor
Cuando los resultados son prometedores, parece que una variante funciona mejor que la otra u otras, pero las pruebas por sí solas no son lo bastante sólidas. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta indicándolo; sin embargo, verás una alerta que te indicará que debes volver a ejecutar la prueba.
Si el resultado de una prueba es prometedor, debes realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo del emoji anterior, si los resultados son prometedores, vuelve a realizar esta prueba. Si sigues viendo resultados prometedores a favor del emoji tras varias pruebas A/B, puedes confiar en que los emojis tienen un impacto leve pero positivo en tu audiencia, y deberías seguir utilizándolos en las campañas.
Para las campañas, se considera que el resultado de una prueba A/B es prometedor cuando
- 50 personas han recibido cada variante.
- La probabilidad de ganar oscila entre 75% y 89%.
Sin significación estadística
Si algo no es estadísticamente significativo, una variante supera a la otra u otras en la prueba sólo por una pequeña cantidad y es posible que no puedas reproducir el resultado en otra prueba.
Para nuestro ejemplo, esto puede significar que la variante con el emoji venció a la(s) variante(s) sin emoji, pero sólo por muy poco; no lo suficiente para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 ó 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba no es estadísticamente significativo, no continúes con la prueba; en su lugar, pasa a las pruebas A/B de otro tema. Si una prueba entra en esta categoría, en la página de resultados de la prueba A/B aparecerá una etiqueta gris que dirá No estadísticamente significativo.
En el caso de las campañas, se considera que el resultado de una prueba A/B no es estadísticamente significativo cuando
- La probabilidad es inferior a 75% y al menos 1.800 personas recibieron cada variante.
O - Menos de 1.800 han recibido cada variante, la diferencia porcentual entre la variante líder y la segunda es de 4% o menos, y la probabilidad de victoria es inferior a 60%.
No concluyente
Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo o no. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, caerá en el cubo de los no concluyentes. Puedes visualizarlo utilizando el árbol de decisión que se muestra en la siguiente sección. Ten en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.
En este caso, puede que quieras ampliar tu audiencia para cualquier prueba de seguimiento. Si haces la prueba con un grupo reducido, interpreta los resultados como creas conveniente y vuelve a hacer la prueba para comprobar que lo que has averiguado es exacto. Además, céntrate en conocer a tu suscriptor por otros medios; por ejemplo, encuestas, sondeos, etc.
Árbol de decisión de significación estadísticaÁrbol de decisión de significación estadística
El siguiente árbol de decisión muestra cuándo una prueba A/B entrará en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".
Recursos adicionales
Obtén más información sobre los resultados de las pruebas A/B en este artículo.
pagar las mejores prácticas para las pruebas A/B.
Mira cómo hacer pruebas A/B con tu correo electrónico: