Un ingeniero de datos trabaja en todo el Ciclo de Vida de ingeniería de datos:
El proceso de ETL es la parte que más esfuerzo demanda. La ingesta de datos puede ser:
- Batch vs streaming.
- Push vs pull.
Es importante la Gestión de Datos Maestros y data quality. DataOps es un movimiento que busca mejorar la entrega y operación de un Producto de Datos. Unifica Agilidad, DevOps y el control estadístico de procesos.
Estos conceptos se consideran en la Arquitectura de Datos.