Как увеличить производительность КХД для процессинговой компании

В рамках проекта перед специалистами стояла инженерная задача по созданию хранилища исторических данных из различных систем-источников, объём генерируемых данных в которых достигал сотни миллионов операций (записей) в день.

Кроме этого, компанией-заказчиком для формирования отчётности, применяемой при принятии управленческих решений, использовался в том числе ручный сбор и агрегация данных из трёх различных источников, методология сбора из которых не была согласованной и отличалась в зависимости от исполнителя операции. В рамках проекта специалисты Invento Labs должны были спроектировать и внедрить BI-платформу, состоящую как из статических, так и из аналитических отчётов, которая позволяла бы в автоматическом режиме получать оперативные данные в короткие сроки.

Первым, на что обратили своё внимание специалисты Invento Labs, был выбор необходимого инструментария.

В качестве хранилища исторических данных архитекторами Invento Labs было предложено использовать распределенную базу данных MPP GreenPlum. Предлагаемое программное обеспечение снимало ряд проблем и предоставляло дополнительные преимущества:

• MPP GreenPlum является open-source продуктом и свободно распространяемым программным обеспечением, поэтому его владение не подразумевает затрат на приобретение лицензии.
• Архитектура MPP GreenPlum предполагает распределение данных между несколькими серверами, что увеличивает скорость записи и чтения данных. Как следствие, хранилище исторических данных перестаёт быть узким местом при сборе данных из источников.
• Дополнительным преимуществом использования MPP GreenPlum является его свойство дублировать данные на различных серверах, что обеспечивает защиту от потери данных при выходе из строя одного из серверов, на которых базируется хранилище исторических данных. А размещение серверов в двух различных ЦОДах значительно увеличило показатель отказоустойчивости системы.

После разворачивания MPP GreenPlum команда Invento Labs приступила к разработке процессов сбора, трансформации и агрегации данных (ELT/ETL) на базе open-source решения Apache Airflow.

Для реализации визуализации аналитической отчётности были выбраны продукты, обеспечивающие решение различных задач:

• Для реализации аналитических отчётов выбран продукт Tableau, который стабильно держится в 4 квадранте "Лидеры" Gartner. Предлагаемый продукт позволил реализовать 6 отчётов по различным направлениям бизнеса, визуализировать более 100 различных показателей.
• Работа со статическими отчётами была обеспечена за счет использования open-source продукта под названием ReportServer, который способен обрабатывать различные варианты отчётов (Birt, jxls и др.), а также обеспечивать разграничения доступа различным группам пользователей с использованием Microsoft Active Directory, что было одним из требований к разрабатываемой системе.