Entender la significación estadística en las campañas de Klaviyo
Qué aprenderás
Descubre cómo saber si una prueba A/B es estadísticamente significativa. Por ejemplo, si la variante A de una campaña tiene una tasa de apertura del 15 % y la variante B tiene una tasa de apertura del 14 %, ¿cómo sabes qué variante tuvo un mejor rendimiento?
Nota sobre la protección de la privacidad de Mail de Apple
Con el lanzamiento de iOS 15, macOS Monterey, iPadOS 15 y watchOS 8, la protección de la privacidad en Mail de Apple cambió la forma en la que recibimos los datos de la tasa de apertura de los emails al precargar nuestro píxel de seguimiento. Es importante tener en cuenta que, a partir de ese cambio, las tasas de apertura estarán sobrestimadas.
Las aperturas de MPP se incluyen cuando una prueba A/B usa la tasa de apertura como métrica ganadora. La significación estadística no establece que los destinatarios hayan abierto el email de forma intencionada. Considera la tasa de clics si MPP hace que los resultados de la tasa de apertura sean difíciles de interpretar. Para entender cómo afecta MPP a la audiencia, crea un informe personalizado que incluya una propiedad de MPP. También puedes identificar estas aperturas en tus segmentos de suscriptor individuales.
Para obtener información completa sobre las aperturas de MPP, consulta nuestro documento iOS 15: Guía sobre cómo prepararse para los cambios de Apple.
Categorías de significación estadística
La significación estadística indica que hay pruebas sólidas de que una variante funciona mejor que las demás para la métrica ganadora elegida. En el caso de las campañas, Klaviyo evalúa tanto el tamaño de la audiencia como la probabilidad de victoria: la probabilidad estimada de que una variante tenga la tasa más alta para esa métrica, en función de los datos de la prueba.
Al hacer pruebas A/B, debes evitar cualquier factor que pueda influir de forma significativa en tu audiencia; por ejemplo, no vuelvas a hacer la prueba cerca de un fin de semana festivo, cuando tu audiencia tiene muchas más probabilidades de estar pendiente de tus emails.
En lo que respecta a las pruebas A/B de campañas, hay 4 categorías de significación estadística:
- Estadísticamente significativa
- Prometedor
- No estadísticamente significativa
- Inconcluso
Para revisar los resultados, abre el informe de la campaña y selecciona Resultados de la prueba A/B. Cuando la prueba se complete, consulta Probabilidad de victoria. Si están disponibles Resultados del periodo de prueba y Resultados continuos, selecciona Resultados del periodo de prueba para evaluar los datos recopilados antes de que se seleccionara el ganador. Resultados continuos incluye la actividad posterior de los destinatarios de la prueba.
¿No tienes tiempo para leer? Consulta el árbol de decisión al final de este artículo.
Estadísticamente significativa
La etiqueta Estadísticamente significativo en la prueba A/B significa que es muy probable que una variante supere a la(s) otra(s) opción(es) para la métrica elegida, según los datos de la prueba. Puedes usar lo que has aprendido para orientar futuros envíos, pero el resultado no garantiza el mismo resultado con una audiencia, un mensaje o una hora de envío diferentes.
Para las campañas de Klaviyo, un resultado de prueba A/B se considera estadísticamente significativo cuando:
- Cada variante tiene más de 50 entregas correctas para email o más de 50 destinatarios para SMS.
- La probabilidad de ganar es superior al 90 %.
Estos criterios combinan el tamaño de la audiencia con la confianza en el resultado de la métrica ganadora que elijas: tasa de apertura, tasa de clics o tasa de pedidos realizados. La probabilidad de ganar que se muestra se redondea, así que usa la etiqueta de resultado o la alerta al interpretar un valor cercano a un límite.
Por ejemplo, imagina que estás probando si un emoji en el asunto afecta a la tasa de apertura. Los resultados muestran que ganó la variante con el emoji y tiene la etiqueta Estadísticamente significativo. Esto respalda el uso del emoji en envíos similares a esa audiencia, pero no establece que los emojis mejoren de forma consistente la tasa de apertura en cada campaña.
Sin embargo, siempre debes usar tu mejor criterio al actuar en función de los resultados de la prueba. Si, por ejemplo, estás enviando un mensaje más serio o solemne, puede que no sea apropiado usar un emoji.
Prometedor
Cuando los resultados son prometedores, una variante parece estar funcionando mejor que la(s) otra(s), pero las pruebas de la prueba por sí solas no son lo suficientemente sólidas. Los resultados prometedores no tienen una etiqueta de significancia. En el caso de una prueba completada, una alerta recomienda repetir la prueba. Si Resultados del periodo de prueba está disponible, busca ahí esta alerta. Si una variante diferente lidera en Resultados continuos, aparece en su lugar una alerta sobre el cambio de ganador.
Si obtienes un resultado prometedor, realiza otra prueba A/B similar para comprobar si el resultado se mantiene. Volviendo al ejemplo de los emojis, la repetición de resultados prometedores puede sugerir un patrón, pero por sí sola no confirma la significación estadística. Úsalos para orientar pruebas adicionales, en lugar de dar por hecho que los emojis mejorarán todas las campañas.
En el caso de las campañas, el resultado de una prueba A/B se considera prometedor cuando:
- Cada variante tiene más de 50 entregas correctas para email o más de 50 destinatarios para SMS.
- La probabilidad de ganar es superior al 75 % e igual o inferior al 90 %.
No estadísticamente significativa
Un resultado sin significación estadística significa que la prueba no proporciona pruebas lo suficientemente sólidas de que la variante líder tenga un mejor rendimiento. Aun así, se puede seleccionar una variante como ganadora aunque el resultado no tenga significación estadística.
Para nuestro ejemplo, esto puede significar que la variante con el emoji superó a la(s) variante(s) sin emoji, pero solo por un margen muy pequeño; no lo suficiente para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 o 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba se considera no estadísticamente significativo, no sigas haciendo pruebas; en su lugar, pasa a hacer pruebas A/B sobre otro tema. Si una prueba entra en esta categoría, aparecerá la etiqueta No estadísticamente significativo en la página de resultados de la prueba A/B.
Para las campañas, cada variante debe tener más de 50 entregas correctas para email o más de 50 destinatarios para SMS antes de que se pueda clasificar un resultado como no estadísticamente significativo. Una vez que se alcanza ese mínimo, cualquiera de estas condiciones cumple los requisitos:
- La probabilidad de victoria es del 75 % o inferior, y cada variante tiene más de 1 800 entregas correctas de email, o más de 1 800 destinatarios para SMS.
- La probabilidad de ganar es inferior al 60 %, y la diferencia en la métrica ganadora entre las variantes líder y en segundo lugar es inferior a 4 puntos porcentuales.
Inconcluso
Si una prueba no es concluyente, no hay suficiente información para determinar si una variante tiene un mejor rendimiento. Si alguna variante tiene 50 o menos entregas correctas para email o 50 o menos destinatarios para SMS, el resultado no es concluyente independientemente de la probabilidad de ganar. Los resultados que no cumplen los criterios de ninguna de las otras categorías también son no concluyentes. Puedes visualizar las categorías usando el árbol de decisión de la siguiente sección. Las pruebas no concluyentes no muestran una etiqueta de significación estadística en la página de resultados.
En este caso, puede que quieras ampliar la audiencia para cualquier prueba de seguimiento. Si estás probando con un grupo pequeño, interpreta los resultados como consideres oportuno y vuelve a hacer la prueba para comprobar que lo que has encontrado es preciso. Además, céntrate en conocer mejor a los suscriptores por otros medios; p. ej., encuestas, sondeos, etc.
Árbol de decisión de significación estadística
El siguiente árbol de decisiones muestra cuándo una prueba A/B entrará en cada categoría. Las líneas verdes indican que la respuesta es «sí», mientras que las rojas representan «no».
Recursos adicionales
- Cómo revisar los resultados de tus pruebas A/B para campañas
Descubre qué datos puedes encontrar en la página de resultados de pruebas A/B y qué significa cada uno de estos indicadores. La información de esta guía se aplica tanto a las pruebas A/B con campañas de email como a las campañas de SMS.
- Procedimientos recomendados para la referencia de pruebas A/B
Descubre las prácticas recomendadas para usar las funciones de pruebas A/B de Klaviyo y ayudar a optimizar tu comunicación con los clientes.
See how to A/B test your emails:
- Cómo hacer una prueba A/B de un email de flujo
Descubre cómo usar la experiencia de pruebas A/B de Klaviyo para probar emails individuales en un flujo, incluidas opciones como el asunto, los descuentos y el contenido del email, etc. Incluso puedes usar pruebas A/B para determinar si los emails de texto sin formato rinden mejor que los emails HTML con muchas imágenes.
- Cómo hacer pruebas A/B de una campaña de email
Descubre cómo configurar y ejecutar una prueba A/B para una campaña, cómo leer los resultados de la prueba y algunos casos de uso de las pruebas A/B para campañas. La función de pruebas A/B para campañas de Klaviyo te permite probar fácilmente distintos asunto, contenido del mensaje y hora de envío para entender mejor qué funciona mejor con tu audiencia.