Как снизить стоимость владения корпоративным хранилищем на 30%?

В рамках проекта перед техническими специалистами стояла задача решения проблем производительности существующего хранилища исторических данных, работа которого с увеличением объема входящей информации перестала удовлетворять Заказчика. На момент старта проекта в хранилище собиралась информация из одного источника данных, при этом время на сбор необходимой суточной информации и ее преобразования составляло более 16 часов.

Кроме этого, в компании заказчика для формирования отчетности, применяемой для принятия управленческих решений, использовался ручной сбор и агрегация данных из трех различных источников. Работа по подготовке еженедельных отчетов производилась усилиями 3-х аналитиков на протяжении 3-х рабочих дней. В рамках проекта специалисты Invento Labs должны были спроектировать и внедрить BI-платформу, которая позволяла бы в автоматическом режиме получать оперативные данные в короткие сроки.

 Еще одной проблемой, которую хотели решить представители компании, было желание снизить стоимость владения и поддержки существующего решения, которая обходилась им в 100 тысяч долларов в год.

Аудит существующего решения показал, что попытки его оптимизировать не дадут необходимого эффекта и не решат проблему стоимости.

Таким образом первым, на что обратили свое внимание специалисты Invento Labs, был выбор необходимого инструментария.

В качестве хранилища исторических данных архитекторами Invento Labs было предложено использовать распределенную базу данных MPP GreenPlum. Предлагаемое программное обеспечение снимало ряд проблем и предоставляло дополнительные преимущества:

1. MPP GreenPlum является open-source продуктом и свободно-распространяемым программным обеспечением, поэтому его владение не подразумевает затрат на приобретение лицензии.
2. Архитектура MPP GreenPlum предполагает распределение данных между несколькими серверами, что увеличивает скорость записи и чтения данных. Как следствие, хранилище исторических данных перестает быть узким местом при сборе данных из источников.
3. Дополнительным преимуществом использования MPP GreenPlum является его свойство дублировать данные на различных серверах, что обеспечивает защиту от потери данных при выходе из строя одного из серверов, на которых базируется хранилище исторических данных.

После разворачивания MPP GreenPlum команда Invento Labs приступила к адаптации существующих процессов сбора, трансформации и агрегации данных (ELT/ETL).

Для реализации визуализации аналитической отчетности был выбран продукт Tableau, который на момент старта проекта уже находился в 4-ом квадранте Gartner, именуемый “Лидеры”. Предлагаемый продукт в отчете для генерального директора  Заказчика позволил визуализировать более 50 различных показателей с использование 4 дашбордов. Установленный экземпляр Tableau-server был подключен к службе авторизации Microsoft Active Directory Клиента, что позволило гибко управлять правами доступа к различным отчетам.

На отчете для генерального директора использование Tableau не закончилось. После проведения обучения BI-экспертами Invento Labs, аналитики Заказчика продолжили самостоятельное создание необходимых отчетов для различных подразделений компании.