Comprender la significación estadística en las campañas de Klaviyo
Objetivos del artículo
Aprende a determinar si una prueba A/B se considera estadísticamente significativa o no. Por ejemplo, si una variante A de una campaña tiene una tasa de apertura del 15 % y la variante B tiene una tasa de apertura del 14 %, ¿cómo sabes con certeza si la variante A o la B tuvo un mejor desempeño?
Nota sobre la protección de privacidad de Apple Mail
Con el lanzamiento de iOS15, macOS Monterey, iPadOS 15 y WatchOS 8, y Protección de la privacidad (Mail Privacy Protection, MPP) de Apple, cambió la forma en que recibimos los datos de tasa de apertura de tus correos electrónicos al obtener previamente nuestro pixel de seguimiento. Con este cambio, es importante entender que la tasa de apertura se inflará.
Con respecto a las pruebas A/B, anticipamos que nuestras herramientas deberían tomar en cuenta estas tasas de apertura infladas; sin embargo, es posible que necesites un umbral más alto para alcanzar significancia estadística. Si realizas pruebas A/B con regularidad Y tienes más de ~45 % de aperturas en Apple Mail, te sugerimos crear un reporte personalizado que incluya una propiedad de MPP. También puedes identificar estas aperturas en tus segmentos de suscriptores individuales.
Consulta información completa sobre aperturas de la MPP en nuestra guía iOS 15: Cómo prepararse para los cambios de Apple.
Categorías de significación estadística
La significancia estadística es cuando Klaviyo puede determinar matemáticamente si una variante producirá un mejor rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de ganar, que indica qué tan probable es que una variante genere mejores resultados según qué tanto supera a la(s) otra(s) variante(s).
Al hacer pruebas A/B, se debe evitar cualquier factor que pueda influir de forma significativa en tu audiencia; por ejemplo, no vuelvas a hacer pruebas cerca de un fin de semana festivo, cuando es mucho más probable que tu audiencia esté buscando tus correos electrónicos.
Cuando se trata de pruebas A/B en campañas, hay cuatro categorías de significancia estadística:
- Con significación estadística
- Prometedor
- Sin significación estadística
- No concluyente
En las siguientes secciones, revisaremos cuándo una prueba entra en cada una de estas categorías.
¿No tienes tiempo para leer? Consulta el árbol de decisiones al final de este artículo.
Con significación estadística
La etiqueta de significancia estadística en la prueba A/B significa que es muy probable que cierta variante de la prueba supere a la(s) otra(s) opción(es). También indica que podrías reproducir los resultados y aplicar lo que aprendiste a tus futuros envíos.
Para las campañas de Klaviyo, el resultado de una prueba A/B se considera estadísticamente significativo cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar es de al menos 90 %.
Esto garantiza que un tamaño de muestra suficientemente grande de destinatarios haya visto la prueba A/B y que la variante ganadora haya superado ampliamente a la(s) otra(s) según la métrica ganadora elegida (que, para campañas, es la tasa de apertura, la tasa de clics (CR) o la tasa de pedidos realizados).
Por ejemplo, digamos que estás probando si un emoji en el asunto afecta la tasa de apertura. Los resultados de la prueba muestran que la variante ganadora es la que tiene el emoji y hay una etiqueta verde de significancia estadística. En este caso, puedes tener la seguridad de que un asunto con un emoji siempre tendrá un mejor rendimiento que uno sin emoji: y no es necesario volver a hacer pruebas.
Sin embargo, siempre debes usar tu mejor criterio al actuar según los resultados de la prueba. Si estás enviando un mensaje más serio o sombrío, por ejemplo, tal vez no sea apropiado usar un emoji.
Prometedor
Cuando los resultados son prometedores, una variante parece estar funcionando mejor que la(s) otra(s), pero la evidencia no es lo suficientemente sólida solo con la prueba. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta que lo indique; sin embargo, verás una alerta que indica que debes volver a ejecutar la prueba.
Para obtener un resultado de prueba prometedor, deberías realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo de emojis de arriba, si los resultados son prometedores, realiza esta prueba de nuevo. Si sigues viendo resultados prometedores a favor del emoji después de varias pruebas A/B, puedes confiar en que los emojis tienen un impacto ligero pero positivo en tu audiencia, y deberías seguir usándolos en campañas.
Para campañas, un resultado de prueba A/B se considera prometedor cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar está entre el 75 % y el 89 %.
Sin significación estadística
Si algo no es estadísticamente significativo, una variante supera a la otra (u otras) en la prueba solo por un pequeño margen y es posible que no puedas replicar el resultado en una prueba posterior.
En nuestro ejemplo, esto puede significar que la variante con emoji superó a la(s) variante(s) sin emoji, pero solo por un margen muy pequeño; no lo suficiente como para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 o 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba se considera no estadísticamente significativo, no sigas probando; en su lugar, pasa a hacer pruebas A/B con otro tema. Si una prueba entra en esta categoría, aparecerá una etiqueta gris que dice No estadísticamente significativo en la página de resultados de la prueba A/B.
En las campañas, un resultado de prueba A/B se considera no estadísticamente significativo cuando se cumple cualquiera de estas condiciones:
- La probabilidad es menor al 75 % y al menos 1 800 personas recibieron cada variante.
O - Menos de 1 800 han recibido cada variante, la diferencia porcentual entre la variante líder y la variante en segundo lugar es de 4 % o menos, y la probabilidad de ganar es menor al 60 %.
No concluyente
Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, caerá en el grupo de no concluyentes. Puedes visualizar esto con el árbol de decisiones que se muestra en la siguiente sección. Ten en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.
En este caso, quizá convenga ampliar la audiencia para cualquier prueba de seguimiento. Si estás probando con un grupo pequeño, interpreta los resultados como consideres conveniente y vuelve a probar para comprobar que lo que encontraste sea correcto. Además, concéntrate en conocer a tus suscriptores por otros medios; por ejemplo, encuestas, sondeos, etc.
Árbol de decisiones de significación estadística
El siguiente árbol de decisiones muestra cuándo una prueba A/B caerá en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".
Recursos adicionales
- Cómo revisar los resultados de tus pruebas A/B para campañas
Descubre qué datos puedes encontrar en la página de resultados de la prueba A/B y qué significa cada uno de estos indicadores. La información de esta guía se aplica tanto a las pruebas A/B con campañas de correo electrónico como a campañas de SMS.
- Prácticas recomendadas como referencia para las pruebas A/B
Conoce las mejores prácticas para usar las funciones de pruebas A/B de Klaviyo y ayudar a optimizar la comunicación con los clientes.
Mira cómo hacer pruebas A/B con tu correo electrónico:
- Cómo hacer una prueba A/B de un correo electrónico de flujo
Descubre cómo usar la experiencia de pruebas A/B de Klaviyo para probar correos electrónicos individuales en un flujo, incluidas cosas como el asunto, descuentos y contenido del correo electrónico, etc. Incluso puedes usar pruebas A/B para determinar si los correos electrónicos de texto sin formato funcionan mejor que los correos electrónicos HTML con muchas imágenes.
- Cómo realizar una prueba A/B de una campaña de correo electrónico
Aprende a configurar y ejecutar una prueba A/B para una campaña, a leer los resultados de la prueba y algunos casos de uso para las pruebas A/B en campañas. Las funciones de pruebas A/B de Klaviyo para campañas te permiten probar fácilmente distintos asuntos, contenido del mensaje y hora de envío para que puedas entender mejor qué es lo que funciona mejor con tu audiencia.