Prueba A/B (A/B testing)
Una prueba A/B compara dos versiones de algo, como una página o un correo, mostrándole cada una a una mitad de la gente escogida al azar y midiendo cuál funciona mejor.
Selecciona cualquier frase de aquí para preguntarle a tu Maestro.
Un proceso de pago nuevo de verdad sube la conversión de 3.0% a 3.6%. Lo pruebas con 2,000 visitas por versión. Si 20 equipos corren esta misma prueba, ¿cuántos ven una mejora significativa?
Cómo funciona: repartes a la gente al azar: la mitad ve la versión A (la que ya tienes) y la otra mitad ve B (el cambio). Mides un mismo número en las dos, como la tasa de conversión, y una prueba como la chi cuadrada o la prueba t te dice si la diferencia es más grande que el azar, con su valor p.
Para qué sirve: para decidir con datos y no con opiniones: qué asunto de correo abren más, qué página vende más, qué precio convierte mejor. Como el reparto es al azar, la única diferencia de fondo entre los grupos es el cambio.
Dónde falla: revisar los resultados todos los días y parar la primera vez que B va arriba. Al principio los números brincan mucho, así que parar en un buen momento convierte la suerte en "victorias". Decide antes de empezar cuántas visitas necesitas y para ahí.
Así se usa
Cómo se arma una
Una prueba A/B, paso a paso
- Escoge un solo número para juzgarla: aquí, qué parte de las visitas compra
- marcado: Calcula cuántas visitas necesitas con una calculadora de tamaño de muestraDepende de tu conversión actual y de la mejora más chica que te importa encontrar.
- Reparte las visitas al azar, mitad y mitad, hasta llegar a ese número
- Compara las dos tasas y su valor p, y decide
Cuándo mirar más de cerca
Contar las visitas primero
Dos semanas de prueba
- Repartiste el tráfico mitad y mitad durante dos semanas
- marcado: A recibió 10,000 visitas y B recibió 9,400
Repartiste el tráfico mitad y mitad, pero A recibió 10,000 visitas y B 9,400. ¿Todavía puedes confiar en la prueba?
Pregúntale a tu Maestro sobre Prueba A/B
Te responde desde la página gratis más cercana a esta palabra, igual que mientras estudias.
Tú: ¿Qué quiere decir "Prueba A/B", en palabras sencillas?
Tu Maestro: Te lo explico con un caso tuyo, que se queda mejor que una definición. ¿Qué cambio de tu sitio o tus correos te gustaría probar?
Pregunta sobre: Responde desde la página "¿Cómo comparo cada fila con la del mes anterior en SQL con LAG?"
Solo este navegador guarda lo que preguntas aquí. ¿Cómo funciona?
Para saber más
Términos relacionados
- Valor p (p-value)
El valor p es la probabilidad de ver un resultado al menos tan extremo como el tuyo si en realidad no hubiera ningún efecto. Mientras más chico, más raro sería tu resultado sin efecto.
- Prueba t
Una prueba t revisa si la diferencia entre dos promedios, como el ticket antes y después de un cambio, es probablemente real o pudo salir por azar.
- Prueba de chi cuadrada
La prueba de chi cuadrada revisa si dos categorías están relacionadas, como el plan y la cancelación, comparando los conteos que obtuviste con los que esperarías si no lo estuvieran.
- Población y muestra
La población es todo el grupo que quieres conocer; la muestra, la parte de ese grupo que sí mides para estimar al resto.