NUBE + DATOS
Cloud data systems.
Datos en producción y procesamiento distribuido
El sistema en movimiento.
Recorrido de arquitectura · 00:10
Una ruta abstracta de evento a data warehouse que destaca las responsabilidades de encolado, manejo de fallos y transformación.
Una composición ilustrativa de tecnologías de mi trabajo con clientes; no representa un despliegue concreto.
Abrir video ↗Eventos de aplicación y datasets de origen.
El trabajo en segundo plano falla en silencio si no lo diseñas para fallar.
Los sistemas en producción dependen de trabajos en segundo plano y pipelines de datos que alguien tiene que operar. Cuando algo falla, el fallo tiene que verse y poder recuperarse.
Colas, workers y warehouses con rutas de fallo explícitas.
En Soluntech implementé procesamiento con SQS FIFO y manejo de dead-letter para la plataforma de un cliente con unos 30.000 usuarios, y construí flujos de ingesta y transformación con S3, Parquet, Glue, Redshift, dbt, BigQuery y Cloud Functions en distintos proyectos con clientes.
El camino infeliz también es parte del diseño.
La semántica de colas, los reintentos, la captura de fallos y el monitoreo importan tanto como el camino feliz. La arquitectura de los clientes es privada, así que este caso describe los patrones y no un despliegue concreto.
Apdex de 0,60 a 0,95, como equipo.
Después de este trabajo, el Apdex de esa plataforma subió de 0,60 a 0,95. Fue un resultado del equipo.
Trabajo profesional en Soluntech, sin detalles de clientes. El código y los enlaces internos son privados. Esta página resume lo que muestran esos documentos.