[Data Lake + Arquitetura Lambda] na prática

Armazenar, catalogar e processar grandes quantidades de dados exigem novas ferramentas e novos processos. Nesta apresentação, mostraremos o conceito (e a prática) de como realizar estas ações de maneira moderna, modular e escalável, utilizando um Data Lake e a Arquitetura Lambda.

1. Data Lake &
Arquitetura Lambda
Felipe Pereira

2. www.linkedin.com/in/pereira-felipe/
●Pai, Theo
●Cientista de Dados, Daitan
●Fundador, campData

5. Arquitetura
Lambda

7. Arquitetura
Lambda
Batch
Big Data Histórico Raw Data
Real Time
Monitoramento Real Time

8. Serving Layer

9. Data Lake &
Arquitetura Lambda &
AWS

10. Aviso: Arquitetura Lambda ≠ AWS Lambda

11. Na AWS
Data Lake
●Armazenamento: S3
●Metadata: Glue
Lambda
●Processamento: Kinesis,
Kafka, Spark, etc

Serving
●Data Warehouse: Redshift
●Machine Learning:
Sagemaker
●Analytics: Quicksight, Elastic
●Ad-Hoc: Athena, Redshift
Spectrum, Presto, etc

12. Na AWS
Data Lake
●Armazenamento: S3
●Metadata: Glue
Lambda
●Processamento: Kinesis,
Kafka, Spark, etc

Serving
●Data Warehouse: Redshift
●Machine Learning:
Sagemaker
●Analytics: Quicksight, Elastic
●Ad-Hoc: Athena, Redshift
Spectrum, Presto, etc

13. It's demo time!

14. Obrigado Sr Musk!

15. Resumo
Lambda
Kinesis Firehose:
●Origem
●Transformação Batch
●Destino
Kinesis Analytics:
●Origem
●Analytics Real Time
●Destino

Data Lake
●Armazenamento: S3
●Particionamento: Kinesis
●Metadados: Glue
Consumo
SQL: Athena

16. Obrigado!