QuAnt DM Data Catalog: как навести порядок в корпоративных метаданных

Управление данными невозможно без управления знаниями об этих данных — метаданных. Когда в корпоративном хранилище накапливаются терабайты информации из десятков источников, бизнес-пользователи и аналитики сталкиваются с закономерными вопросами: где находится нужная витрина, какая формула у этого показателя и можно ли доверять этим данным? Модуль QuAnt DM Data Catalog решает эти проблемы, становясь единой точка входа для всех, кто работает с корпоративными данными.

Что входит в QuAnt DM Data Catalog

Модуль поставляется в составе лицензии QuAnt DM. Это решение Invento Labs на основе открытого компонента Apache Atlas, доработанное с учётом лучших практик нашей команды. "Из коробки" Data Catalog предоставляет следующие возможности:

• Обработка и хранение метаинформации об объектах корпоративного хранилища данных.
• Бизнес-глоссарий — единый словарь компании, который помогает всем сотрудникам одинаково понимать термины и определения и избегать путаницы.
• Описание информационных активов с помощью метаданных — позволяет связать технические данные с их бизнес-смыслом и упростить поиск: быстро находить нужные данные, понимать их контекст и доверять им, тем самым развивая self-service аналитику.
• Отслеживание происхождения данных (Data Lineage) — помогает видеть весь путь данных: от первоисточника через все трансформации до конечных витрин и отчётов.
• Мультиязычность (русский, английский) — поддержка интерфейса и метаинформации на двух языках.
• Краудсорсинг метаданных и гибкое управление доступом — пользователи могут ставить теги, делать метки с указаниями метрик качества и многое другое. Управление доступом может быть организовано на уровне отдельных терминов с использованием Apache Ranger, что даёт возможность тонкой настройки прав доступа.

Как Data Catalog работает с другими модулями QuAnt DM

QuAnt DM — это комплексное решение, и его модули дополняют друг друга. В частности:

• Модуль автоматической синхронизации метаданных предназначен для автоматического получения метаинформации об объектах КХД из реляционного хранилища (Data Warehouse) в Data Catalog.
• Модуль на базе MPP Greenplum (Data Warehouse) служит источником метаданных об объектах БД.
• Модуль DPM (Data Pipeline Management) поставляет информацию о процессах и регламентах загрузки данных.

Техническая совместимость и сбор метаданных

Каталог данных с помощью разработанного нами модуля синхронизации автоматически забирает все метаданные из следующих источников:

• MPP Greenplum;
• ClickHouse;
• Oracle;
• MySQL.

Таким образом, вы можете централизованно управлять метаинформацией из разнородных СУБД, используемых в вашей ИТ-инфраструктуре.

В следующей статье разберём ключевые преимущества использования каталога данных: от экономии ресурсов до развития культуры работы с данными и повышения доверия к информации.