Linaje y clasificación de metadatos utilizando Apache Atlas en Amazon EMR

Con el papel cada vez mayor y en constante evolución de los datos en el mundo actual, la gobernanza de datos es un aspecto esencial de la gestión eficaz de datos. Muchas organizaciones usan un lago de datos como un único repositorio para almacenar datos que están en varios formatos y que pertenecen a una entidad comercial de la organización. El uso de metadatos, catalogación y linaje de datos es clave para el uso efectivo del lago.

Esta publicación lo guía a través de cómo Apache Atlas instalado en Amazon EMR puede proporcionar capacidad para hacerlo. Puede usar esta configuración para clasificar dinámicamente datos y ver el linaje de datos a medida que avanza a través de varios procesos. Como parte de esto, puede usar un lenguaje específico de dominio (DSL) en Atlas para buscar los metadatos.