ETL (extraer, transformar, cargar)
ETL (extraer, transformar, cargar) copia datos de los sistemas donde nacen, los limpia y les da forma, y los carga en un almacén de datos para analizarlos juntos.
Selecciona cualquier frase de aquí para preguntarle a tu Maestro.
Cada noche, un proceso ETL agrega los pedidos del día a una tabla del almacén de datos. La carga del martes falló después de agregar 106 de sus 212 pedidos, y el miércoles alguien la volvió a correr. ¿Qué muestra el almacén para el martes?
Qué es: ETL son las siglas en inglés de extraer, transformar y cargar. Extraes los datos de los sistemas donde nacen (la tienda en línea, el CRM, la contabilidad), los limpias y les das forma, y los cargas en un almacén de datos donde se pueden analizar juntos.
ETL o ELT: en ELT cargas primero los datos crudos y transformas dentro del almacén con SQL. Es lo más común hoy, y herramientas como dbt hacen la parte de transformar.
Dónde falla: un proceso que corre cada noche puede fallar en silencio: duplica filas al repetirse o se salta las que llegan tarde. Haz una conciliación de los totales contra el sistema de origen cada vez que cargues.
Así se usa
Las tres letras
ETL nocturno de pedidos
- marcado: Extraer: leer los pedidos de ayer de la API de la tiendaCopia los datos sin tocar el sistema que usa la tienda.
- Transformar: quitar pedidos de prueba, convertir fechas, una fila por pedidoAquí se deciden las reglas que todos van a usar.
- Cargar: escribirlos en la tabla orders del almacén de datosAgregar, reemplazar o hacer merge por llave: esta decisión es la que más importa al repetir una carga.
Cuándo mirar más de cerca
Lee lo nuevo desde la última corrida
Extracción incremental
- marcado: Corrida del martes a las 2:00 a. m.: leer pedidos creados después de la corrida anterior
Cada corrida lee los pedidos creados desde la anterior. ¿Cuáles nunca podría leer?
Pregúntale a tu Maestro sobre ETL
Te responde desde la página gratis más cercana a esta palabra, igual que mientras estudias.
Tú: ¿Qué quiere decir "ETL", en palabras sencillas?
Tu Maestro: Te lo explico con un caso tuyo, que se queda mejor que una definición. ¿De cuántos sistemas copias datos a mano cada semana?
Pregunta sobre: Responde desde la página "¿Qué es el análisis exploratorio de datos y qué hago primero con una tabla nueva?"
Solo este navegador guarda lo que preguntas aquí. ¿Cómo funciona?
Para saber más
Términos relacionados
- Almacén de datos (data warehouse)
Un almacén de datos (data warehouse) es una base de datos hecha para analizar: junta los datos de muchos sistemas en un solo lugar, guarda su historia y los acomoda para consultarlos.
- dbt (data build tool)
dbt (data build tool) convierte consultas SELECT de SQL en tablas o vistas de tu almacén de datos, las corre en orden y prueba los resultados: dbt run construye los modelos y dbt test los revisa.
- SQL
SQL es el lenguaje para pedirle datos a una base de datos: qué columnas, de qué tabla, qué filas y cómo resumirlas. Te regresa otra tabla.
- Conciliación
Comparar un total que calculaste con el mismo total de una fuente independiente, como un estado de cuenta o un reporte de caja, y explicar cualquier diferencia.