Как повысить качество данных и самостоятельно работать с новым инструментарием

Заказчик

Заказчиком услуги выступил инновационный банк, который предоставляет технологичные финансовые сервисы для частных клиентов и бизнеса.

Срок реализации проекта: 18 месяцев

В банке существуют несколько десятков информационных систем и корпоративное хранилище данных. С течением времени у Заказчика возникли опасения в отношении качества данных, которые содержались в хранилище.

Кроме того, доступ к существующему хранилищу и первичным источникам данных имело ограниченное количество пользователей — как правило, технические специалисты обслуживающей организации (подряда). Бизнес-пользователь был вынужден обращаться к посредникам для того, чтобы получить определенный набор данных. Большое количество промежуточных звеньев в работе влекло дополнительные трудозатраты.

Проблемы, с которыми столкнулся Заказчик:

  • Бизнес-пользователи не могли напрямую работать с необходимым набором данных.
  • Качество данных в существующем хранилище не отвечало требованиям бизнес-пользователей.
  • Специалисты не владели знаниями о том, где расположены те или иные сведения. А документация по работе с информационными системами отсутствовала. 
  • Для работы с данными приходилось привлекать стороннюю организацию.
  • Ограниченное количество отчетов и сложность создания новых отчетов.

Перед собой Заказчик поставил ряд стратегических целей:

  • Обеспечение сбора данных из различных источников и предоставление бизнес-пользователям доступа к единому хранилищу данных.
  • Измерение существующего уровня качества данных.
  • Определение стратегии и методов повышения уровня качества данных.
  • Формирование базы знаний о хранимых данных и объектах хранилища.
  • Предоставление набора инструментов и технологий для создания BI-отчетности, а также разработка новых аналитических отчетов для нескольких подразделений банка.

Для достижения этих целей было принято решение о реализации нескольких проектов, которые последовательно решали бы определенный спектр задач.

Задачи:

  • Подготовить озеро данных (Data Lake) и наполнить его бизнес-данными из максимального количества первичных систем.
  • Создать справочно-информационную систему, которая позволяет пользователю определить, где лежат необходимые бизнес-данные.
  • Создать инструмент для измерения и управления качеством данных.
  • Создать “Золотую запись” клиента.
  • Установить и настроить необходимый инструмент для BI-отчетности и начать формировать базу отчетов. 
  • Обучить пользователей работе с новым инструментарием.
Решение

Реализация состояла из 3 проектов.

В качестве первого проекта специалисты Invento Labs построили корпоративное хранилище на базе MPP GreenPlum, а также настроили автоматический сбор данных из первичных источников, представляющих ценность для бизнеса.

Также наши специалисты создали справочно-информационную систему — базу знаний о значении тех или иных данных, которая позволяет пользователю определить, где они находятся.

В рамках второго проекта была построена MDM-система — инструментарий по управлению и мониторингу качества данных. Ее задача состояла в разрешении проблематики недостающей информации, множества дубликатов и ошибочных данных. В качестве результата работы этой системы была сформирована “Золотая запись” клиента.

“Золотая запись” клиента — это наиболее достоверное, непротиворечивое и полное представление о каждом объекте данных компании (клиенте, товаре, контрагенте и т.д.). Она содержит в себе все атрибуты, необходимые для описания портрета клиента. К этим данным могут обратиться сотрудники для того, чтобы использовать релевантную информацию.

 

Измерение и повышение качества данных в первичных системах позволяют специалистам выявлять проблемные места в источниках данных и устранять их. Для отслеживания качества данных была сформулирована и описана методика расчета системы показателей, которая была запрограммирована и рассчитывается ежедневно.

Третий проект отвечал за внедрение средства BI-аналитики Tableau и построение аналитических отчетов.

С помощью BI-системы значимая для бизнеса информация предоставляется в виде интерактивных отчетов, где не только аналитики, но и руководители различных уровней могут принимать управленческие решения в режиме реального времени.

В рамках проекта в работе были использованы 16 источников данных в корпоративном хранилище. Планируемый объем на старте проекта — более 50 TB.

Результат

Выгода для Заказчика:

  • Построение озера первичных данных — Data Lake.
  • Получение доступа бизнес-пользователями банка к единому хранилищу данных.
  • Формирование “Золотой записи” клиента, состоящей из более чем 250 атрибутов.
  • Возможность самостоятельного измерения и управления качеством данных.
  • Создание базы знаний о хранимых данных и объектах хранилища.
  • Поддержка управленческих решений в виде BI-отчетности, а также возможность самостоятельного формирования аналитических отчетов сотрудниками банка.
Не нашли то, что искали?
Закажите бесплатную консультацию специалиста Invento Labs!
Получить консультацию