Cloud services for development and data analysis

Cloud computing

1. Титульный слайд Лекция 6: Облачные сервисы для разработки и анализа данных Курс: Облачные технологии

2. План лекции 1. Роль облаков 2. Хранилища и БД 3. ETL и конвейеры 4. ML и MLOps 5. BI и кейсы

3. Роль облачных сервисов в аналитике Масштабируемость Гибкость Совместная работа

4. Модели сервисов: IaaS, PaaS, SaaS, DaaS Краткая характеристика каждой модели

5. Архитектура платформы данных в облаке Data Lake Processing Serving/BI

6. Облачные хранилища (S3, GCS, Blob) Особенности объектного хранилища Классы хранения

7. Data Lake vs Data Warehouse Отличия по структуре данных и задачам

8. Облачные аналитические БД (BigQuery, Redshift, Snowflake) Архитектурные особенности Разделение compute/storage

9. ETL vs ELT и Data Pipelines Традиционные ETL Современные ELT-подходы

10. Сервисы для построения конвейеров (Glue, Dataflow, ADF) Ключевые возможности Автоматизация

11. Интеграция потоковых данных (Kafka, Pub/Sub) Stream processing Use-cases

12. Платформы для анализа и обработки (Databricks, Synapse) Spark-основанные платформы Collaborative notebooks

13. Архитектура ноутбука и workspace Notebooks, repos, jobs

14. Машинное обучение в облаке (SageMaker, Vertex, Azure ML) Тренировка, гиперпараметры, развертывание

15. Модели развертывания ML: online vs batch Онлайн предсказания Пакетная инференс

16. MLOps: CI/CD для моделей Versioning, pipelines, monitoring

17. Feature stores и управление признаками Зачем нужен feature store Consistency between train & serve

18. Model monitoring и A/B тестирование Метрики drift, latency, accuracy

19. Serverless для аналитики (Lambda, Functions) Event-driven, lightweight tasks

20. Data governance и безопасность Access control, encryption, lineage

21. Data catalog и метаданные Catalogues, schema registry

22. BI-инструменты и визуализация (Power BI, Looker) Self-service BI Dashboards

23. Стоимость и оптимизация расходов Spot instances, autoscaling, lifecycle policies

24. Кейсы: пример end-to-end pipeline Ingest -> Process -> Train -> Serve -> Monitor

25. Проблемы и ограничения Vendor lock-in, latency, data sovereignty

26. Тренды и будущее Data mesh, lakehouse, augmented analytics

27. Ресурсы для самостоятельного изучения Документация провайдеров Курсы, книги, статьи

28. Вопросы и обсуждение Обсудите кейсы студентов Домашнее задание и оценивание