¿Por qué faltan datos en una tabla y qué cambia en mi análisis?
Busca la causa de cada vacío en las otras columnas, con un ejemplo resuelto y una gráfica, y decide qué cambia en tu análisis.
Curso gratis. Tu Maestro, una IA, .
Contar los vacíos te dice cuántos son. Saber por qué faltan te dice qué puedes concluir con lo que queda. Casi todos los vacíos de una tabla de trabajo caen en una de tres familias:
| Familia | Qué pasó | Ejemplo |
|---|---|---|
| No aplica | El dato no existe para ese caso | un pase de un día sin fecha de vencimiento de membresía |
| Todavía no existe | El hecho no había terminado cuando se sacó la tabla | un paciente sin fecha de alta porque sigue internado |
| Se perdió | El dato existió y no se registró | un sensor sin señal, un campo que alguien no llenó |
Las tres dejan huella en las otras columnas: los vacíos se juntan en un grupo, en unas fechas o en un lugar. Ese es el truco de esta página. No mires la columna vacía; mira las demás columnas de las filas donde falta.
Una columna con vacíos
Quédate con las filas vacías
data[data["columna"].isna()]
¿Se juntan en un grupo, una fecha o un lugar?
Camino 1 de 2: sí
Busca la causa en ese grupo
compara con el total del grupo
Sigue en: Anota la causa probable y a quién preguntarle
Camino 2 de 2: no
Anótalos como dispersos
Sigue en: Anota la causa probable y a quién preguntarle
Anota la causa probable y a quién preguntarle
Primero mira cómo se hace con los años de nacimiento. Abre un paso a la vez e intenta adivinar el siguiente antes de abrirlo.
¿Por qué faltan 73 años de nacimiento?
Ejemplo resuelto · 6 pasos
A 73 de los 311 viajes les falta anio_nacimiento. Antes de calcular la edad de los usuarios de Rueda, quieres saber por qué.
Piensa el siguiente paso por tu cuenta y luego ábrelo para comparar.
Ahora te toca con los 8 viajes sin destino. En la página anterior viste que son los mismos 8 en tres columnas. La pregunta es cuándo pasaron. Una gráfica de viajes por día te lo dice de un vistazo.
La gráfica cuenta todos los viajes de cada día. Agrega al final .transformfilter("!isValid(datum.duracionmin)") para quedarte solo con los viajes sin duración. Ya terminaste cuando la gráfica muestre solo esos 8 viajes y veas qué día se concentran.
Tu turno
La gráfica cuenta todos los viajes de cada día. Agrega al final .transform_filter("!isValid(datum.duracion_min)") para quedarte solo con los viajes sin duración. Ya terminaste cuando la gráfica muestre solo esos 8 viajes y veas qué día se concentran.
La gráfica se vuelve a dibujar cuando haces una pausa, o al momento con Ejecutar. Ctrl+Enter ejecuta tu código. Tab agrega sangría; para salir del editor, presiona Escape y luego Tab.
Listo para ejecutar tu código.
Datos: viajes-rueda, 311 filas
Enter guarda una celda y Escape la deja como estaba. Deja una celda vacía para un valor faltante.
| Fila | Quitar | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | ||||||||||
| 2 | ||||||||||
| 3 | ||||||||||
| 4 | ||||||||||
| 5 | ||||||||||
| 6 | ||||||||||
| 7 | ||||||||||
| 8 | ||||||||||
| 9 | ||||||||||
| 10 | ||||||||||
| 11 | ||||||||||
| 12 | ||||||||||
| 13 | ||||||||||
| 14 | ||||||||||
| 15 | ||||||||||
| 16 | ||||||||||
| 17 | ||||||||||
| 18 | ||||||||||
| 19 | ||||||||||
| 20 |
De los 8, seis empezaron el domingo 15 de marzo, entre las 22:08 y las 23:51: los últimos viajes de la tabla. Es la sospecha que anotaste en el módulo 1. Lo más probable es que, cuando se exportó la tabla, esas bicis todavía iban rodando. Familia "todavía no existe": esos viajes no estaban incompletos, estaban en curso.
Qué cambia: si reportas la duración por día, el 15 se queda sin sus viajes nocturnos; si cuentas "viajes terminados", el 15 sale más bajo de lo que fue. El reporte tiene que decirlo.
Quedan dos sueltos: el 40291 (viernes 6 de marzo, 15:03) y el 40413 (miércoles 11 de marzo, 19:02), los dos de ocasionales, en medio del periodo. Esos no se explican por la hora de exportación. Quizá la bici nunca se ancló, quizá se perdió. No lo sabes, y está bien no saberlo: va a la bitácora como pregunta para el equipo de operación.
Observación: 6 de los 8 viajes sin destino empezaron el 15 de marzo después de las 22:00; 2 son de días anteriores. Evidencia: la gráfica de viajes sin duración por día. Pregunta: ¿la tabla se exportó cerca de medianoche del 15? ¿Qué pasó con las bicis de los viajes 40291 y 40413?
Fíjate en lo que acabas de hacer: no tocaste la columna vacía. Toda la evidencia salió de inicio y tipo_usuario. Qué hacer después con esas filas, si excluirlas, marcarlas o estimarlas, es una decisión de limpieza; la verás en el curso gratuito Limpia tus datos.
Si en tu tabla hay vacíos y no sabes con qué columna compararlos, pregúntale a tu Maestro.