В банке существуют несколько десятков информационных систем и корпоративное хранилище данных. С течением времени у Заказчика возникли опасения в отношении качества данных, которые содержались в хранилище.

Кроме того, доступ к существующему хранилищу и первичным источникам данных имело ограниченное количество пользователей — как правило, технические специалисты обслуживающей организации (подряда). Бизнес-пользователь был вынужден обращаться к посредникам для того, чтобы получить определенный набор данных. Большое количество промежуточных звеньев в работе влекло дополнительные трудозатраты.

Проблемы, с которыми столкнулся Заказчик:

• Бизнес-пользователи не могли напрямую работать с необходимым набором данных.
• Качество данных в существующем хранилище не отвечало требованиям бизнес-пользователей.
• Специалисты не владели знаниями о том, где расположены те или иные сведения. А документация по работе с информационными системами отсутствовала. 
• Для работы с данными приходилось привлекать стороннюю организацию.
• Ограниченное количество отчетов и сложность создания новых отчетов.

Перед собой Заказчик поставил ряд стратегических целей:

• Обеспечение сбора данных из различных источников и предоставление бизнес-пользователям доступа к единому хранилищу данных.
• Измерение существующего уровня качества данных.
• Определение стратегии и методов повышения уровня качества данных.
• Формирование базы знаний о хранимых данных и объектах хранилища.
• Предоставление набора инструментов и технологий для создания BI-отчетности, а также разработка новых аналитических отчетов для нескольких подразделений банка.

Для достижения этих целей было принято решение о реализации нескольких проектов, которые последовательно решали бы определенный спектр задач.

Задачи:

• Подготовить озеро данных (Data Lake) и наполнить его бизнес-данными из максимального количества первичных систем.
• Создать справочно-информационную систему, которая позволяет пользователю определить, где лежат необходимые бизнес-данные.
• Создать инструмент для измерения и управления качеством данных.
• Создать “Золотую запись” клиента.
• Установить и настроить необходимый инструмент для BI-отчетности и начать формировать базу отчетов. 
• Обучить пользователей работе с новым инструментарием.

Реализация состояла из 3 проектов.

В качестве первого проекта специалисты Invento Labs построили корпоративное хранилище на базе MPP GreenPlum, а также настроили автоматический сбор данных из первичных источников, представляющих ценность для бизнеса.

Также наши специалисты создали справочно-информационную систему — базу знаний о значении тех или иных данных, которая позволяет пользователю определить, где они находятся.

В рамках второго проекта была построена MDM-система — инструментарий по управлению и мониторингу качества данных. Ее задача состояла в разрешении проблематики недостающей информации, множества дубликатов и ошибочных данных. В качестве результата работы этой системы была сформирована “Золотая запись” клиента.

Измерение и повышение качества данных в первичных системах позволяют специалистам выявлять проблемные места в источниках данных и устранять их. Для отслеживания качества данных была сформулирована и описана методика расчета системы показателей, которая была запрограммирована и рассчитывается ежедневно.

Третий проект отвечал за внедрение средства BI-аналитики Tableau и построение аналитических отчетов.

С помощью BI-системы значимая для бизнеса информация предоставляется в виде интерактивных отчетов, где не только аналитики, но и руководители различных уровней могут принимать управленческие решения в режиме реального времени.

В рамках проекта в работе были использованы 16 источников данных в корпоративном хранилище. Планируемый объем на старте проекта — более 50 TB.