ООО "Лаборатории Инвенто" 220116 Минск, пр. Дзержинского, 104-141

Внедрение хранилища исторических данных и BI-платформы для банковского процессинга

Заказчик

Заказчиком выступила компания, оказывающая услуги по процессингу операций с банковскими платежными карточками, в том числе авторизацию карточных операций, ведение идентификационных баз данных карточек, банкоматов и терминалов, персонализацию карточек, процессинг и клиринг операций с карточками платежных систем.

Проблема

В рамках проекта перед специалистами стояла инженерная задача по созданию хранилища исторических данных из различных систем-источников, объем генерируемых данных в которых достигал сотни миллионов операций (записей) в день.

Кроме этого, компания-заказчик для формирования отчетности, применяемой при принятии управленческих решений, использовался в том числе ручной сбор и агрегация данных из трех различных источников, методология сбора из которых не была согласованной и отличалась в зависимости от исполнителя операции. В рамках проекта специалисты Invento Labs должны были спроектировать и внедрить BI-платформу, состоящей как из статических, так и из аналитических отчетов, которая позволяла бы в автоматическом режиме получать оперативные данные в короткие сроки.

Решение

Первым, на что обратили свое внимание специалисты Invento Labs, был выбор необходимого инструментария. 

В качестве хранилища исторических данных архитекторами Invento Labs было предложено использовать распределенную базу данных MPP GreenPlum. Предлагаемое программное обеспечение снимало ряд проблем и предоставляло дополнительные преимущества:

  • MPP GreenPlum является open source продуктом и свободно распространяемым программным обеспечением, поэтому его владение не подразумевает затрат на приобретение лицензии.
  • Архитектура MPP GreenPlum предполагает распределение данных между несколькими серверами, что увеличивает скорость записи и чтения данных. Как следствие, хранилище исторических данных перестает быть узким местом при сборе данных из источников.
  • Дополнительным преимуществом использования MPP GreenPlum является его свойство дублировать данные на различных серверах, что обеспечивает защиту от потери данных при выходе из строя одного из серверов, на которых базируется хранилище исторических данных. А размещение серверов в двух различных ЦОДах значительно увеличило показатель отказоустойчивости системы.

После разворачивания MPP GreenPlum команда Invento Labs приступила к разработке  процессов сбора, трансформации и агрегации данных (ELT/ETL) на базе Open Source решения Apache Airflow.

Для реализации визуализации аналитической отчетности были выбраны продукты, обеспечивающие решение различных задач:

  • Для реализации аналитических отчетов выбран продукт Tableau, который стабильно держится в 4 квадранте «Лидеры» Gartner. Предлагаемый продукт позволил реализовать 6 отчетов по различным направлениям бизнеса,  визуализировать более 100 различных показателей. 
  • Работа со статическими отчетами была обеспечена за счет использования Open Source продукта под названием ReportServer, который способен обрабатывать различные варианты отчетов (Birt, jxls и др.), а также обеспечивать разграничения доступа различным группам пользователей с использованием Microsoft Active Directory, что было одним из требований к разрабатываемой системе.

Результат

В результате внедрения предложенного решения для хранилища исходных данных и BI-платформы заказчик смог:

  • Обеспечить сохранность и единство исторических данных;
  • Иметь оперативные данные в форме отчетов для ежедневного анализа трендов и оперативного принятия бизнес-решений;
  • Увеличить производительность системы сбора и обработки данных;
  • Снизить трудовые затраты на обеспечение сохранности данных и на подготовку данных для отчетности;
  • Поднять качество предоставляемых к анализу данных за счет согласования методологий;
  • Получать автоматически сформированную отчетность через несколько часов после завершения отчетного периода, для формирования которой ранее уходило значительное количество времени.

 

Мы используем файлы cookie на нашем сайте для улучшения его функциональности, улучшения вашего пользовательского опыта, а также аналитики. Если вы продолжите навигацию по сайту, это значит, что вы с этим согласны. Если вы хотите, вы можете изменить параметры cookie в любое время.

Подробнее

Я соглашаюсь