Data Lake и "Золотая запись": как банк взял качество данных под свой контроль

Как инновационному банку избавиться от зависимости от ИТ-подрядчиков, навести порядок в десятках информационных систем и дать бизнес-пользователям прямой доступ к аналитике?

В этом кейсе рассказываем о масштабном 18-месячном проекте: от построения Data Lake на базе Greenplum и формирования "Золотой записи" клиента до внедрения системы управления качеством данных и BI-аналитики на Tableau.

Заказчик

Заказчиком услуги выступил инновационный банк, который предоставляет технологичные финансовые сервисы для частных клиентов и бизнеса.

Проблема

В банке существует несколько десятков информационных систем и корпоративное хранилище данных. С течением времени у Заказчика возникли опасения в отношении качества данных, которые содержались в хранилище.

Кроме того, доступ к существующему хранилищу и первичным источникам данных имело ограниченное количество пользователей — как правило, технические специалисты обслуживающей организации (подряда). Бизнес-пользователь был вынужден обращаться к посредникам для того, чтобы получить определённый набор данных. Большое количество промежуточных звеньев в работе влекло дополнительные трудозатраты.

Проблемы, с которыми столкнулся Заказчик:

  • Бизнес-пользователи не могли напрямую работать с необходимым набором данных.
  • Качество данных в существующем хранилище не отвечало требованиям бизнес-пользователей.
  • Специалисты не владели знаниями о том, где расположены те или иные сведения. А документация по работе с информационными системами отсутствовала.
  • Для работы с данными приходилось привлекать стороннюю организацию.
  • Ограниченное количество отчётов и сложность создания новых отчётов.

Перед собой Заказчик поставил ряд стратегических целей:

  • Обеспечение сбора данных из различных источников и предоставление бизнес-пользователям доступа к единому хранилищу данных.
  • Измерение существующего уровня качества данных.
  • Определение стратегии и методов повышения уровня качества данных.
  • Формирование базы знаний о хранимых данных и объектах хранилища.
  • Предоставление набора инструментов и технологий для создания BI-отчётности, а также разработка новых аналитических отчётов для нескольких подразделений банка.

Для достижения этих целей было принято решение о реализации нескольких проектов, которые последовательно решали бы определённый спектр задач.

Задачи

  • Подготовить озеро данных (Data Lake) и наполнить его бизнес-данными из максимального количества первичных систем.
  • Создать справочно-информационную систему, которая позволяет пользователю определить, где лежат необходимые бизнес-данные.
  • Создать инструмент для измерения и управления качеством данных.
  • Создать "Золотую запись" клиента.
  • Установить и настроить необходимый инструмент для BI-отчётности и начать формировать базу отчётов.
  • Обучить пользователей работе с новым инструментарием.
Решение

Реализация состояла из 3 проектов.

В качестве первого проекта специалисты Invento Labs построили корпоративное хранилище на базе MPP Greenplum, а также настроили автоматический сбор данных из первичных источников, представляющих ценность для бизнеса. Также наши специалисты создали справочно-информационную систему — базу знаний о значении тех или иных данных, которая позволяет пользователю определить, где они находятся.

В рамках второго проекта была построена MDM-система — инструментарий по управлению и мониторингу качества данных. Её задача состояла в разрешении проблематики недостающей информации, множества дубликатов и ошибочных данных. В качестве результата работы этой системы была сформирована "Золотая запись" клиента.

"Золотая запись" клиента — это наиболее достоверное, непротиворечивое и полное представление о каждом объекте данных компании (клиенте, товаре, контрагенте и т.д.). Она содержит в себе все атрибуты, необходимые для описания портрета клиента. К этим данным могут обратиться сотрудники для того, чтобы использовать релевантную информацию.

 

Измерение и повышение качества данных в первичных системах позволяют специалистам выявлять проблемные места в источниках данных и устранять их. Для отслеживания качества данных была сформулирована и описана методика расчёта системы показателей, которая была запрограммирована и рассчитывается ежедневно.

Третий проект отвечал за внедрение средства BI-аналитики Tableau и построение аналитических отчётов. С помощью BI-системы значимая для бизнеса информация предоставляется в виде интерактивных отчётов, благодаря которым не только аналитики, но и руководители различных уровней могут принимать управленческие решения в режиме реального времени.

В рамках проекта в работе были использованы 16 источников данных в корпоративном хранилище. Планируемый объём на старте проекта — более 50 TB.

Срок реализации проекта: 18 месяцев

Результат

Выгода для Заказчика:

  • Построение озера первичных данных — Data Lake.
  • Получение доступа бизнес-пользователями банка к единому хранилищу данных.
  • Формирование "Золотой записи" клиента, состоящей из более чем 250 атрибутов.
  • Возможность самостоятельного измерения и управления качеством данных.
  • Создание базы знаний о хранимых данных и объектах хранилища.
  • Поддержка управленческих решений в виде BI-отчётности, а также возможность самостоятельного формирования аналитических отчётов сотрудниками банка.
Не нашли то, что искали?
Связаться с нами