ARMG: Архитектура Модели Данных
Курс для архитекторов и специалистов отвечающих за проектирование и разработку архитектуры модели данных(Big Data), планирование инфраструктуры озер больших данных (Data Lakes) и проектов Big Data в компаниях. В учебном курсе разбираются наиболее важные аспекты построения корпоративных хранилищ данных. Разъясняются основные понятия и принципы построения современных хранилищ, в том числе на базе принципов и технологий Big Data. Даются основанные на практическом опыте рекомендации и лучшие практики по сопровождению и развитию хранилищ на протяжении их жизненного цикла в структуре предприятия.
Программа курса Архитектура Модели Данных
-
Основные концепции и понятия теории хранилищ данных
- Классическое реляционное хранилище
- Слои данных (Stage, ODS, DDS, витрины)
- Методики моделирования: подходы Р. Кимбалла и Б. Инмона, Data Vault, Anchor modeling
- Озеро данных (Data lakes)
- Schema—on—write vs Schema—on—read
- Виртуализация данных (Data Virtualization)
- Big Data и NoSQL технологии
- ETL\ELT процессы
- Лямбда— и Каппа-архитектуры для модели данных
- Классическое реляционное хранилище
-
Проектирование репозиториев данных (Data Lakes)
- Определение используемого подхода и техники моделирования
- Проектирование модели данных
- Определение стека используемых технологий
- Планирование жизненного цикла и развития хранилищ
- Разработка проектной документации
-
Внедрение репозиториев данных (Data Lakes)
- Организация контуров разработки, тестирования и UAT
- Разработка управляющих потоков
- Разработка процессов загрузки и обработки данных
- Создание справочников и общих измерений
- Миграция исторических данных
-
Эксплуатация репозиториев данных (Data Lakes)
- Разработка эксплуатационной документации
- Регламентные процессы обслуживания
- Обеспечение отказо- и катастрофоустойчивости
- Организация технической поддержки
-
Смежные вопросы
- Управление данными (Data Governance)
- Качество данных (Data Quality)
- Информационная безопасность
Регистрация