Курс DPREP: Подготовка данных для Data Mining

Программа курса

1. Введение в Data Mining

   • Процессный подход Data Mining. Data Lake концепция
   • Стандарты CRISP-DM и SEMMA
   • Фазы жизненного цикла процессов Data Mining
   • Подход Data provenance — происхождение данных. Тэгирование данных
   • Подход Data Lineage и документирование
   • Важность фазы подготовки данных для формирования озера данных

2. Целевая функция

   • Целевая функции, и ее содержание.
   • Основные принципы формирования целевой функции

3. Формат зависимых переменных

   • Зависимые переменные. Типы зависимых переменных и преобразование шкал (нормализация данных)
   • Приведение форматов даты и времени
   • Приведение форматов Locale

4. Тестовая выборка

   • Формирование тестовой выборки, ее содержание и объем по отношению ко всему объему исходных данных
   • Основные принципы формирования тестовой выборки

5. Валидационная выборка

   • Понятие валидационной выборки, ее содержание и объем по отношению ко всему объему исходных данных
   • Основные принципы формирования тестовой выборки и валидационной

6. Анализ выбросов

   • Понятие «выбросов» (Outliers) и их анализ

7. Проверка на нормальность распределения

   • Тестирование входных параметров на нормальность распределения
   • Параметрическая статистика

8. Отcутствующие значения в исходных данных

   • Отсутствующие значения (Missing values)
   • Правила замены (генерации) отсутствующих данных или опущения (ommit)

9. Регрессионные модели данных

   • Понятие регрессионных моделей, и их сильные и слабые стороны
   • Проверка на мультиколлинеарность (Multicollinearity)

10. Заключительный проект по подготовке данных

    • Выполнение полного цикла очистки и подготовки данных на примере выбранного dataset
    • Формирование тестовой и валидационной выборки
    • Документирование