Управление большими данными для технических специалистов

Курс направлен на получение необходимых базовых знаний об архитектуре, качестве и безопасности данных; изучение особенностей управления и ведения хранилищ данных, а также предусматривает практическую отработку приобретённых знаний.

Формат

60% - теория

40% - практика

*в зависимости от потребностей заказчика в соотношении теории / практики

Локация

Offline

Преподаватели

Топ-менеджеры Руководители проектов

*с опытом работы 5+ лет, участвующие в реализации проектов по управлению большими данными

Курс будет полезен:
  • Аналитикам
  • Техлидам
  • Разработчикам БД
  • Архитекторам
  • Data scientists
  • Дата-инженерам
  • ETL developers

Пользователям, сотрудникам и администраторам, которым предстоит работать с DWH

Курс будет полезен:

Программа курса:

40% практики

9

тематических модулей

60% теории

1. Введение (технические аспекты)

  • Знакомство с основными понятиями в управлении данных.
  • Знакомство с основными типами систем, их назначением и возможностями.
  • Изучение верхнеуровневой архитектуры решений по управлению данными и основных компонентов системы.

2. Архитектура данных

  • Изучение основных принципов проектирования структуры БД.
  • Получение навыков проектирования структуры БД для различных систем.

3. Безопасность данных

  • Изучение основных понятий и подходов в безопасности данных.
  • Получение практических навыков по ограничению доступа к СУБД и данным.
  • Знакомство с понятием шифрования данных.

4. Ведение хранилищ данных и бизнес-анализа

  • Изучение основных подходов в построении DWH.
  • Знакомство с архитектурой MPP СУБД Greenplum.
  • Получение практических навыков работы с СУБД Greenplum.

5. Управление метаданными

  • Знакомство с основными понятиями и концепциями управления метаданных.
  • Знакомство с инструментами управления метаданными.
  • Получение практических навыков работы с каталогом данных (на примере Apache Atlas).

6. Качество данных

  • Знакомство с основными понятиями и концепциями качества данных.
  • Знакомство с основными типами проверок и метриками качества данных.
  • Получение практических навыков в формировании метрик качества данных.

7. ETL/ELT в управлении данными

  • Знакомство с основными понятиями ETL/ELT.
  • Получение практических навыков формирования ETL/ELT процессов.
  • Навыки работы с Apache Airflow и Streamsets.

8. НСИ

  • Изучение основного назначения НСИ.
  • Получение практических навыков по работе с модулем НСИ QuAnt DM.

9. BI

  • Знакомство с подходами и инструментарием визуализации данных, с помощью которых происходит трансформация данных в ценную для бизнеса информацию! + практические занятия и отработка знаний, выполнение д/з

Получить консультацию

Необходимые компетенции:
  • Создание подключения к СУБД посредством любого инструмента работы с БД
  • Навыки формирования SQL-запросов на уровне SELECT, JOIN (INNER, LEFT, RIGHT, FULL), UNION
  • Навыки изменения данных UPDATE
  • Знание конструкций IN/NOT IN, EXISTS/NOT EXISTS и их отличий
  • Знание понятия NULL и способов работы с ними
  • Знание основных типов данных (int, numeric, date, timestamp, char, varchar, text и т.п.) и функций работы с ними (to_char, trunc и т.п.)
  • Знание принципов работы агрегатных функций count(), min(), max(), avg()
  • Знание способов добавления строк в таблицу (INSERT)
  • Знание отличий DELETE от TRUNCATE
  • Умение написания запросов с вложенными подзапросами
  • Понимание, что такое план запроса, как посмотреть, что за что отвечает
Преимущества наших курсов:

Разработаны компанией с многолетним релевантным опытом работы и нацелены на популяризацию эффективного подхода в реализации проектов по управлению большими данными

Обучают грамотному подходу к работе над проектами в области больших данных, хранилищ данных и бизнес-анализа

Позволяют повысить квалификацию и улучшить профессиональные навыки в области управления данными

Подходят для специалистов и менеджеров с разным уровнем подготовки

Станут полезным дополнением при внедрении QuAnt DM в компании для повышения эффективности его использования

Предоставляют важную информацию о работе систем управления и аналитики данных простым и понятным языком

Ориентированы на реальные задачи бизнеса и имеют практическую направленность

Учитывают потребности и тенденции местного рынка c акцентом на лучшие мировые практики

Заинтересовались?

Закажите бесплатную консультацию специалиста Invento Labs!

Получить консультацию