Arquitectura técnica

El flujo está compuesto por un conjunto de servicios completamente gestionados por AWS, que operan bajo demanda para reducir costes y simplificar el mantenimiento:

1. Ingesta: Backups SQL de RDS se almacenan automáticamente en un bucket S3 mediante una función Lambda.
2. Catalogación: Un Glue Crawler detecta la estructura de los datos en Bronze y actualiza el Data Catalog.
3. Transformación: Las consultas CTAS de Athena convierten los datos a formato Parquet, generando las capas Silver y Gold sin necesidad de Spark.
4. Orquestación: AWS Lambda y EventBridge automatizan todo el flujo diario, de copia, transformación y limpieza.
5. Visualización: QuickSight o Power BI se conectan a la capa Gold para análisis interactivo y dashboards.

Capas del modelo

• Bronze: contiene los datos crudos exportados directamente de RDS, en formato .sql.gz o CSV.
• Silver: almacena los datos transformados a Parquet, listos para análisis y con tipado uniforme.
• Gold: incluye datasets agregados y normalizados para informes y visualizaciones.

Infraestructura como código (Terraform)

Todo el entorno se define de forma declarativa con Terraform, de modo que el pipeline completo pueda crearse, replicarse o destruirse en minutos y sin pasos manuales:

• Módulos reutilizables por entorno (dev / staging / prod) con etiquetado multi-tenant.
• Provisionamiento de los buckets S3 con la estructura Bronze/Silver/Gold.
• Creación automática de Glue Crawlers, Databases y Jobs, y de las vistas/catálogos de Athena.
• Capacidad de destruir y recrear entornos completos, reduciendo errores humanos y tiempo de despliegue.

Beneficios clave

• Coste ultrabajo: estructura optimizada para pagar solo por ejecución.
• Zero mantenimiento: todos los servicios son serverless y se ejecutan bajo demanda.
• Reproducible: infraestructura inmutable lista para dev/staging/prod gracias a Terraform.
• Escalable: permite añadir nuevos tenants o datasets sin modificar la arquitectura.
• Transformaciones SQL: toda la lógica se basa en consultas CTAS en Athena.
• Integración BI: conexión directa con QuickSight o Power BI sobre la capa Gold.

Aplicación y propósito

Este modelo fue diseñado como un pipeline ETL serverless de bajo coste para proyectos de analítica cloud donde la simplicidad y la eficiencia económica son clave. Su estructura modular permite implementarlo en entornos multi-tenant, startups o pequeñas empresas que deseen aprovechar el ecosistema AWS sin costes elevados.

Combina dos enfoques modernos de ingeniería de datos: serverless para no mantener servidores e infraestructura como código para estandarizar y replicar el pipeline de forma fiable.