Entender la significación estadística en las campañas de Klaviyo

Qué aprenderás

Descubre cómo saber si una prueba A/B se considera estadísticamente significativa o no. Por ejemplo, si una variante A de una campaña tiene una tasa de apertura del 15 % y la variante B tiene una tasa de apertura del 14 %, ¿cómo sabes con certeza si la variante A o la B han tenido un mejor rendimiento?

Nota sobre la protección de la privacidad de Mail de Apple

Con el lanzamiento de iOS 15, macOS Monterey, iPadOS 15 y watchOS 8, la protección de la privacidad en Mail de Apple cambió la forma en la que recibimos los datos de la tasa de apertura de los emails al precargar nuestro píxel de seguimiento. Es importante tener en cuenta que, a partir de ese cambio, las tasas de apertura estarán sobrestimadas.

Con respecto a las pruebas A/B, prevemos que nuestras herramientas deberían tener en cuenta estas tasas de apertura infladas; sin embargo, es posible que necesites un umbral más alto para alcanzar la significación estadística. Si realizas pruebas A/B con frecuencia Y tienes más de ~45 % de aperturas en Apple Mail, te sugerimos crear un informe personalizado que incluya una propiedad de MPP. También puedes identificar estas aperturas en tus segmentos de suscriptor individuales.

Para obtener información completa sobre las aperturas de MPP, consulta nuestro documento iOS 15: Guía sobre cómo prepararse para los cambios de Apple.

Categorías de significación estadística

La importancia estadística es cuando Klaviyo puede determinar matemáticamente si una variante producirá un mejor rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de ganar, que es la probabilidad de que una variante dé mejores resultados en función de lo bien que supere a la(s) otra(s) variante(s).

Al hacer pruebas A/B, debes evitar cualquier factor que pueda influir de forma significativa en tu audiencia; por ejemplo, no vuelvas a hacer la prueba cerca de un fin de semana festivo, cuando tu audiencia tiene muchas más probabilidades de estar pendiente de tus emails.

En cuanto a las pruebas A/B de campañas, hay cuatro categorías de significación estadística:

• Estadísticamente significativa
• Prometedor
• No estadísticamente significativa
• Inconcluso

En las próximas secciones, veremos cuándo una prueba entra en cada una de estas categorías.

Estadísticamente significativa

La etiqueta de significación estadística en tu prueba A/B significa que es muy probable que una determinada variante de la prueba supere a la(s) otra(s) opción(es). También indica que podrías reproducir los resultados y aplicar lo aprendido a tus futuros envíos.

Para las campañas de Klaviyo, un resultado de prueba A/B se considera estadísticamente significativo cuando:

• 50 personas han recibido cada variante.
• La probabilidad de ganar es de al menos el 90 %.

Esto garantiza que una muestra lo suficientemente grande de destinatarios haya visto la prueba A/B y que la variante ganadora haya superado ampliamente a la(s) otra(s) según la métrica ganadora seleccionada (que, en el caso de las campañas, es la tasa de apertura, la tasa de clics o la tasa de pedidos realizados).

Por ejemplo, imagina que estás probando si un emoji en el asunto afecta a la tasa de apertura. Los resultados de la prueba muestran que la variante ganadora es la que tiene el emoji y hay una etiqueta de significación estadística en verde. En este caso, puedes estar seguro de que un asunto con un emoji funcionará mejor de forma constante que uno sin él: y no es necesario volver a hacer la prueba.

Sin embargo, siempre debes usar tu mejor criterio al actuar en función de los resultados de la prueba. Si, por ejemplo, estás enviando un mensaje más serio o solemne, puede que no sea apropiado usar un emoji.

Prometedor

Cuando los resultados son prometedores, una variante parece funcionar mejor que la(s) otra(s), pero la evidencia de la prueba por sí sola no es lo suficientemente sólida. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta que lo indique; sin embargo, verás una alerta que indica que debes volver a ejecutar la prueba.

Si un resultado de prueba es prometedor, deberías realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo de emojis anterior, si los resultados son prometedores, realiza esta prueba de nuevo. Si sigues viendo resultados prometedores a favor del emoji después de varias pruebas A/B, puedes confiar en que los emojis tienen un impacto leve pero positivo en tu audiencia, y deberías seguir usándolos en las campañas.

En el caso de las campañas, el resultado de una prueba A/B se considera prometedor cuando:

• 50 personas han recibido cada variante.
• La probabilidad de ganancia está entre el 75 % y el 89 %.

No estadísticamente significativa

Si algo no es estadísticamente significativo, una variante supera a la(s) otra(s) en la prueba solo por un margen pequeño y quizá no puedas replicar el resultado en una prueba posterior.

Para nuestro ejemplo, esto puede significar que la variante con el emoji superó a la(s) variante(s) sin emoji, pero solo por un margen muy pequeño; no lo suficiente para que el resultado de la prueba sea significativo.

En este caso, recomendamos volver a probar este factor 2 o 3 veces más y vigilar de cerca los resultados.

Si sigues viendo que el resultado de la prueba se considera que no es estadísticamente significativo, no continúes con la prueba; en su lugar, pasa a hacer pruebas A/B con un tema diferente. Si una prueba entra en esta categoría, aparecerá una etiqueta gris que dice No es estadísticamente significativo en la página de resultados de la prueba A/B.

Para las campañas, un resultado de prueba A/B se considera no estadísticamente significativo cuando se cumple alguna de estas condiciones:

• La probabilidad es inferior al 75 % y al menos 1800 personas recibieron cada variante.
  O
• Menos de 1.800 han recibido cada variante, la diferencia porcentual entre la variante líder y la variante en segundo lugar es de un 4 % o menos, y la probabilidad de victoria es inferior al 60 %.

Inconcluso

Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo o no. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, se incluirán en la categoría de no concluyentes. Puedes visualizarlo con el árbol de decisión que se muestra en la siguiente sección. Ten en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.

En este caso, quizá quieras ampliar tu audiencia para cualquier prueba de seguimiento. Si estás probando con un grupo pequeño, interpreta los resultados como consideres oportuno y vuelve a probar para comprobar que lo que has encontrado es preciso. Además, céntrate en conocer a tus suscriptores por otros medios; por ejemplo, encuestas, sondeos, etc.

Árbol de decisión de significación estadística

El siguiente árbol de decisiones muestra cuándo una prueba A/B entrará en cada categoría. Las líneas verdes indican que la respuesta es «sí», mientras que las rojas representan «no».

Recursos adicionales