El data mesh es un esquema distribuido de Arquitectura de Datos donde hay una red de datos por sobre un repositorio unificado de datos.
Problemas actuales en estrategias de datos:
- Tecnología por sobre casos de uso (se siguen muchas modas de la industria).
- Problemas para escalar recursos.
- Problemas para escalar consumidores.
- Fallos en materializar el valor de ser data-driven.
Data mesh propone un cambio de paradigma. Busca llevar el Análisis de Datos lo más posible a donde se produce el dato para reducir los esfuerzos de la Ingeniería de Datos. Cambios:
| Antes | Data mesh |
|---|---|
| Centralized ownership. | Decentralized ownership by domains. |
| Monolithic. | Distributed. |
| Data by product of code. | Data and code as one unit. |
| Top-down. | Bottom-up. |
| Data as an asset. | Data as a product. |
| Fragmented platform. | Integrated platform. |
4 principios del data mesh:
- Producto de Datos.
- Infraestructura de autoservicio.
- Governanza computacional federada.
- Domain ownership.