Comprender la significación estadística en las campañas de Klaviyo
Objetivos del artículo
Aprende a determinar si una prueba A/B es estadísticamente significativa. Por ejemplo, si la variante A de la campaña tiene una tasa de apertura de 15 % y la variante B tiene una tasa de apertura de 14 %, ¿cómo sabes qué variante tuvo un mejor rendimiento?
Nota sobre la protección de privacidad de Apple Mail
Con el lanzamiento de iOS 15, macOS Monterey, iPadOS 15 y watchOS 8, la protección de la privacidad de Apple Mail (MPP) cambió la forma en que recibimos los datos de tasa de apertura de tus correos electrónicos al cargar previamente nuestro píxel de seguimiento. Con este cambio, es importante entender que la tasa de apertura se inflará.
Las aperturas de MPP se incluyen cuando una prueba A/B usa la tasa de apertura como métrica ganadora. La significancia estadística no establece que los destinatarios hayan abierto intencionalmente el correo electrónico. Considera la tasa de clics (CR) si MPP dificulta la interpretación de los resultados de la tasa de apertura. Para entender cómo MPP afecta a tu audiencia, crea un informe personalizado que incluya una propiedad de MPP. También puedes identificar estas aperturas en tus segmentos de suscriptores individuales.
Consulta información completa sobre aperturas de la MPP en nuestra guía iOS 15: Cómo prepararse para los cambios de Apple.
Categorías de significación estadística
La significancia estadística indica evidencia sólida de que una variante tiene un mejor desempeño que las demás para la métrica ganadora elegida. Para las campañas, Klaviyo evalúa tanto el tamaño de la audiencia como la probabilidad de victoria: la probabilidad estimada de que una variante tenga la tasa más alta para esa métrica, según los datos de la prueba.
Al hacer pruebas A/B, se debe evitar cualquier factor que pueda influir de forma significativa en tu audiencia; por ejemplo, no vuelvas a hacer pruebas cerca de un fin de semana festivo, cuando es mucho más probable que tu audiencia esté buscando tus correos electrónicos.
Cuando se trata de campañas de pruebas A/B, hay 4 categorías de significancia estadística:
- Con significación estadística
- Prometedor
- Sin significación estadística
- No concluyente
Para revisar los resultados, abre el informe de la campaña y selecciona Resultados de la prueba A/B. Después de que se complete la prueba, busca en Probabilidad de ganar. Si están disponibles tanto Resultados del periodo de prueba como Resultados continuos, selecciona Resultados del periodo de prueba para evaluar los datos recopilados antes de que se seleccionara el ganador. Resultados continuos incluye la actividad posterior de los destinatarios de la prueba.
¿No tienes tiempo para leer? Consulta el árbol de decisiones al final de este artículo.
Con significación estadística
La etiqueta Estadísticamente significativo en tu prueba A/B significa que es muy probable que una variante supere a la(s) otra(s) opción(es) para la métrica elegida, según los datos de la prueba. Puedes usar lo que aprendiste para orientar futuros envíos, pero el resultado no garantiza el mismo resultado con una audiencia, mensaje u hora de envío diferentes.
Para las campañas de Klaviyo, el resultado de una prueba A/B se considera estadísticamente significativo cuando:
- Cada variante tiene más de 50 entregas exitosas para correo electrónico o más de 50 destinatarios para SMS.
- La probabilidad de ganar es mayor que 90 %.
Estos criterios combinan el tamaño de la audiencia con la confianza en el resultado de la métrica ganadora que elijas: tasa de apertura, tasa de clics (CR) o tasa de pedidos realizados. La probabilidad de victoria que se muestra se redondea, así que usa la etiqueta del resultado o la alerta al interpretar un valor cercano a un límite.
Por ejemplo, supongamos que estás probando si un emoji en el asunto afecta la tasa de apertura. Los resultados muestran que la variante con el emoji ganó y tiene la etiqueta Estadísticamente significativo. Esto respalda el uso del emoji en envíos similares a ese público, pero no establece que los emojis mejorarán de forma constante la tasa de apertura en cada campaña.
Sin embargo, siempre debes usar tu mejor criterio al actuar según los resultados de la prueba. Si estás enviando un mensaje más serio o sombrío, por ejemplo, tal vez no sea apropiado usar un emoji.
Prometedor
Cuando los resultados son prometedores, una variante parece estar teniendo un mejor desempeño que la(s) otra(s), pero la evidencia no es lo suficientemente sólida solo con la prueba. Los resultados prometedores no tienen una etiqueta de significancia. Para una prueba completada, una alerta recomienda repetir la prueba. Si Resultados del periodo de prueba está disponible, busca ahí esta alerta. Si una variante diferente va a la cabeza en Resultados continuos, aparecerá en su lugar una alerta sobre el cambio de ganador.
Para un resultado prometedor, realiza otra prueba A/B similar para comprobar si el resultado se mantiene. Volviendo al ejemplo de los emojis, repetir resultados prometedores puede sugerir un patrón, pero por sí solos no confirman la significancia estadística. Úsalos para orientar pruebas adicionales en lugar de asumir que los emojis mejorarán todas las campañas.
Para campañas, un resultado de prueba A/B se considera prometedor cuando:
- Cada variante tiene más de 50 entregas exitosas para correo electrónico o más de 50 destinatarios para SMS.
- La probabilidad de ganar es mayor del 75 % y no mayor del 90 %.
Sin significación estadística
Un resultado sin significancia estadística significa que la prueba no proporciona evidencia lo suficientemente sólida de que la variante principal tenga un mejor rendimiento. Aun cuando el resultado no sea estadísticamente significativo, se puede seleccionar una variante como ganadora.
En nuestro ejemplo, esto puede significar que la variante con emoji superó a la(s) variante(s) sin emoji, pero solo por un margen muy pequeño; no lo suficiente como para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 o 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba se considera no estadísticamente significativo, no sigas probando; en su lugar, pasa a hacer pruebas A/B de otro tema. Si una prueba cae en esta categoría, aparecerá la etiqueta No estadísticamente significativo en la página de resultados de pruebas A/B.
Para las campañas, cada variante debe tener más de 50 entregas exitosas para correo electrónico, o más de 50 destinatarios para SMS, antes de que un resultado pueda clasificarse como no estadísticamente significativo. Una vez que se cumpla ese mínimo, cualquiera de estas condiciones aplica:
- La probabilidad de ganar es de 75 % o menos, y cada variante tiene más de 1800 entregas exitosas para correo electrónico, o más de 1800 destinatarios para SMS.
- La probabilidad de ganar es inferior al 60 %, y la diferencia en la métrica ganadora entre la variante líder y la que quedó en segundo lugar es de menos de 4 puntos porcentuales.
No concluyente
Si una prueba no es concluyente, no hay suficiente información para determinar si una variante tiene un mejor rendimiento. Si alguna variante tiene 50 o menos entregas exitosas de correo electrónico, o 50 o menos destinatarios de SMS, el resultado no es concluyente, independientemente de la probabilidad de ganar. Los resultados que no cumplen con los criterios de ninguna de las otras categorías también son no concluyentes. Puedes visualizar las categorías con el árbol de decisiones en la siguiente sección. Las pruebas no concluyentes no muestran una etiqueta de significancia estadística en la página de resultados.
En este caso, quizá convenga ampliar la audiencia para cualquier prueba de seguimiento. Si estás haciendo pruebas con un grupo pequeño, interpreta los resultados como consideres conveniente y vuelve a hacer la prueba para comprobar que lo que encontraste sea preciso. Además, concéntrate en aprender sobre tus suscriptores por otros medios; p. ej., encuestas, sondeos, etc.
Árbol de decisiones de significación estadística
El siguiente árbol de decisiones muestra cuándo una prueba A/B caerá en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".
Recursos adicionales
- Cómo revisar los resultados de tus pruebas A/B para campañas
Descubre qué datos puedes encontrar en la página de resultados de la prueba A/B y qué significa cada uno de estos indicadores. La información de esta guía se aplica tanto a las pruebas A/B con campañas de correo electrónico como a campañas de SMS.
- Prácticas recomendadas como referencia para las pruebas A/B
Conoce las mejores prácticas para usar las funciones de pruebas A/B de Klaviyo y ayudar a optimizar la comunicación con los clientes.
See how to A/B test your emails:
- Cómo hacer una prueba A/B de un correo electrónico de flujo
Descubre cómo usar la experiencia de pruebas A/B de Klaviyo para probar correos electrónicos individuales en un flujo, incluidas cosas como el asunto, descuentos y contenido del correo electrónico, etc. Incluso puedes usar pruebas A/B para determinar si los correos electrónicos de texto sin formato funcionan mejor que los correos electrónicos HTML con muchas imágenes.
- Cómo realizar una prueba A/B de una campaña de correo electrónico
Aprende a configurar y ejecutar una prueba A/B para una campaña, a leer los resultados de la prueba y algunos casos de uso para las pruebas A/B en campañas. Las funciones de pruebas A/B de Klaviyo para campañas te permiten probar fácilmente distintos asuntos, contenido del mensaje y hora de envío para que puedas entender mejor qué es lo que funciona mejor con tu audiencia.