Comprender la significación estadística en las campañas de Klaviyo
Objetivos del artículo
Aprende a determinar si una prueba A/B se considera estadísticamente significativa o no. Por ejemplo, si una variante A de una campaña tiene una tasa de apertura del 15 % y la variante B tiene una tasa de apertura del 14 %, ¿cómo sabes con certeza si la variante A o la B tuvo un mejor desempeño?
Nota sobre la protección de privacidad de Apple Mail
Con el lanzamiento de iOS15, macOS Monterey, iPadOS 15 y WatchOS 8, y Protección de la privacidad (Mail Privacy Protection, MPP) de Apple, cambió la forma en que recibimos los datos de tasa de apertura de tus correos electrónicos al obtener previamente nuestro pixel de seguimiento. Con este cambio, es importante entender que la tasa de apertura se inflará.
Con respecto a las pruebas A/B, anticipamos que nuestras herramientas deberían tomar en cuenta estas tasas de apertura infladas; sin embargo, es posible que necesites un umbral más alto para alcanzar significancia estadística. Si realizas pruebas A/B con regularidad Y tienes más de ~45 % de aperturas en Apple Mail, te sugerimos crear un reporte personalizado que incluya una propiedad de MPP. También puedes identificar estas aperturas en tus segmentos de suscriptores individuales.
Consulta información completa sobre aperturas de la MPP en nuestra guía iOS 15: Cómo prepararse para los cambios de Apple.
Categorías de significación estadística
La significancia estadística es cuando Klaviyo puede determinar matemáticamente si una variante producirá un mejor rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de ganar, que indica qué tan probable es que una variante genere mejores resultados según qué tanto supera a la(s) otra(s) variante(s).
Al hacer pruebas A/B, se debe evitar cualquier factor que pueda influir de forma significativa en tu audiencia; por ejemplo, no vuelvas a hacer pruebas cerca de un fin de semana festivo, cuando es mucho más probable que tu audiencia esté buscando tus correos electrónicos.
Cuando se trata de pruebas A/B en campañas, hay cuatro categorías de significancia estadística:
- Con significación estadística
- Prometedor
- Sin significación estadística
- No concluyente
En las siguientes secciones, revisaremos cuándo una prueba entra en cada una de estas categorías.
¿No tienes tiempo para leer? Consulta el árbol de decisiones al final de este artículo.
Con significación estadística
La etiqueta de significancia estadística en la prueba A/B significa que es muy probable que cierta variante de la prueba supere a la(s) otra(s) opción(es). También indica que podrías reproducir los resultados y aplicar lo que aprendiste a tus futuros envíos.
Para las campañas de Klaviyo, el resultado de una prueba A/B se considera estadísticamente significativo cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar es de al menos 90 %.
Esto garantiza que un tamaño de muestra suficientemente grande de destinatarios haya visto la prueba A/B y que la variante ganadora haya superado ampliamente a la(s) otra(s) según la métrica ganadora elegida (que, para campañas, es la tasa de apertura, la tasa de clics (CR) o la tasa de pedidos realizados).
Por ejemplo, digamos que estás probando si un emoji en el asunto afecta la tasa de apertura. Los resultados de la prueba muestran que la variante ganadora es la que tiene el emoji y hay una etiqueta verde de significancia estadística. En este caso, puedes tener la seguridad de que un asunto con un emoji siempre tendrá un mejor rendimiento que uno sin emoji: y no es necesario volver a hacer pruebas.
Sin embargo, siempre debes usar tu mejor criterio al actuar según los resultados de la prueba. Si estás enviando un mensaje más serio o sombrío, por ejemplo, tal vez no sea apropiado usar un emoji.
Prometedor
Cuando los resultados son prometedores, una variante parece estar funcionando mejor que la(s) otra(s), pero la evidencia no es lo suficientemente sólida solo con la prueba. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta que lo indique; sin embargo, verás una alerta que indica que debes volver a ejecutar la prueba.
Para obtener un resultado de prueba prometedor, deberías realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo de emojis de arriba, si los resultados son prometedores, realiza esta prueba de nuevo. Si sigues viendo resultados prometedores a favor del emoji después de varias pruebas A/B, puedes confiar en que los emojis tienen un impacto ligero pero positivo en tu audiencia, y deberías seguir usándolos en campañas.
Para campañas, un resultado de prueba A/B se considera prometedor cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar está entre el 75 % y el 89 %.
Sin significación estadística
Si algo no es estadísticamente significativo, una variante supera a la otra (u otras) en la prueba solo por un pequeño margen y es posible que no puedas replicar el resultado en una prueba posterior.
En nuestro ejemplo, esto puede significar que la variante con emoji superó a la(s) variante(s) sin emoji, pero solo por un margen muy pequeño; no lo suficiente como para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 o 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba se considera no estadísticamente significativo, no sigas probando; en su lugar, pasa a hacer pruebas A/B con otro tema. Si una prueba entra en esta categoría, aparecerá una etiqueta gris que dice No estadísticamente significativo en la página de resultados de la prueba A/B.
En las campañas, un resultado de prueba A/B se considera no estadísticamente significativo cuando se cumple cualquiera de estas condiciones:
- La probabilidad es menor al 75 % y al menos 1 800 personas recibieron cada variante.
O - Menos de 1 800 han recibido cada variante, la diferencia porcentual entre la variante líder y la variante en segundo lugar es de 4 % o menos, y la probabilidad de ganar es menor al 60 %.
No concluyente
Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, caerá en el grupo de no concluyentes. Puedes visualizar esto con el árbol de decisiones que se muestra en la siguiente sección. Ten en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.
En este caso, quizá convenga ampliar la audiencia para cualquier prueba de seguimiento. Si estás probando con un grupo pequeño, interpreta los resultados como consideres conveniente y vuelve a probar para comprobar que lo que encontraste sea correcto. Además, concéntrate en conocer a tus suscriptores por otros medios; por ejemplo, encuestas, sondeos, etc.
Árbol de decisiones de significación estadística
El siguiente árbol de decisiones muestra cuándo una prueba A/B caerá en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".
Recursos adicionales
- How to review your A/B test results for campaigns
Learn what data you can find on the A/B test results page and what each of these indicators mean. The information in this guide applies to both A/B testing with email campaigns and SMS campaigns.
- Best practices for A/B testing reference
Learn best practices for using Klaviyo's A/B testing features to help optimize your communication with customers.
See how to A/B test your emails:
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test an email campaign
Learn how to set up and run an A/B test for a campaign, how to read the test results, and a few use cases for A/B testing campaigns. Klaviyo's A/B testing feature for campaigns allows you to easily test different subject lines, message content, and send times so you can better understand what works best for your audience.