Как увеличить производительность корпоративного хранилища?

В рамках проекта перед специалистами стояла инженерная задача по созданию хранилища исторических данных из различных систем-источников, объем генерируемых данных в которых достигал сотни миллионов операций (записей) в день.

Кроме этого, компания-заказчик для формирования отчетности, применяемой при принятии управленческих решений, использовался в том числе ручной сбор и агрегация данных из трех различных источников, методология сбора из которых не была согласованной и отличалась в зависимости от исполнителя операции. В рамках проекта специалисты Invento Labs должны были спроектировать и внедрить BI-платформу, состоящей как из статических, так и из аналитических отчетов, которая позволяла бы в автоматическом режиме получать оперативные данные в короткие сроки.

Первым, на что обратили свое внимание специалисты Invento Labs, был выбор необходимого инструментария. 

В качестве хранилища исторических данных архитекторами Invento Labs было предложено использовать распределенную базу данных MPP GreenPlum. Предлагаемое программное обеспечение снимало ряд проблем и предоставляло дополнительные преимущества:

• MPP GreenPlum является open-source продуктом и свободно распространяемым программным обеспечением, поэтому его владение не подразумевает затрат на приобретение лицензии.
• Архитектура MPP GreenPlum предполагает распределение данных между несколькими серверами, что увеличивает скорость записи и чтения данных. Как следствие, хранилище исторических данных перестает быть узким местом при сборе данных из источников.
• Дополнительным преимуществом использования MPP GreenPlum является его свойство дублировать данные на различных серверах, что обеспечивает защиту от потери данных при выходе из строя одного из серверов, на которых базируется хранилище исторических данных. А размещение серверов в двух различных ЦОДах значительно увеличило показатель отказоустойчивости системы.

После разворачивания MPP GreenPlum команда Invento Labs приступила к разработке  процессов сбора, трансформации и агрегации данных (ELT/ETL) на базе open-source решения Apache Airflow.

Для реализации визуализации аналитической отчетности были выбраны продукты, обеспечивающие решение различных задач:

• Для реализации аналитических отчетов выбран продукт Tableau, который стабильно держится в 4 квадранте «Лидеры» Gartner. Предлагаемый продукт позволил реализовать 6 отчетов по различным направлениям бизнеса,  визуализировать более 100 различных показателей. 
• Работа со статическими отчетами была обеспечена за счет использования open-source продукта под названием ReportServer, который способен обрабатывать различные варианты отчетов (Birt, jxls и др.), а также обеспечивать разграничения доступа различным группам пользователей с использованием Microsoft Active Directory, что было одним из требований к разрабатываемой системе.