Что делать, если сбор суточных данных занимает более 16 часов, поддержка старого хранилища обходится в 100 тысяч долларов ежегодно, а на подготовку еженедельных отчётов уходят дни ручного труда?
В этом кейсе рассказываем, как миграция на open-source СУБД MPP GreenPlum и внедрение Tableau помогли крупной телеком-компании ускорить обработку данных в 8 раз, автоматизировать отчётность и снизить стоимость владения ИТ-инфраструктурой на 30%.
Телекоммуникационная компания, которая оказывает услуги мобильной связи, предоставляет доступ к сети Интернет, облачные вычислительные мощности для физических и юридических лиц.
В рамках проекта перед техническими специалистами стояла задача решения проблем производительности существующего хранилища исторических данных, работа которого с увеличением объёма входящей информации перестала удовлетворять Заказчика. На момент старта проекта в хранилище собиралась информация из одного источника данных, при этом время на сбор необходимой суточной информации и её преобразования составляло более 16 часов.
Кроме этого, в компании заказчика для формирования отчётности, применяемой для принятия управленческих решений, использовался ручной сбор и агрегация данных из трёх различных источников. Работа по подготовке еженедельных отчётов производилась усилиями 3-х аналитиков на протяжении 3-х рабочих дней. В рамках проекта специалисты Invento Labs должны были спроектировать и внедрить BI-платформу, которая позволяла бы в автоматическом режиме получать оперативные данные в короткие сроки.
Ещё одной проблемой, которую хотели решить представители компании, было желание снизить стоимость владения и поддержки существующего решения, которая обходилась им в 100 тысяч долларов в год.
Аудит существующего решения показал, что попытки его оптимизировать не дадут необходимого эффекта и не решат проблему стоимости. Таким образом, первым, на что обратили своё внимание специалисты Invento Labs, был выбор необходимого инструментария.
В качестве хранилища исторических данных архитекторами Invento Labs было предложено использовать распределённую базу данных MPP GreenPlum. Предлагаемое программное обеспечение снимало ряд проблем и предоставляло дополнительные преимущества:
После разворачивания MPP GreenPlum команда Invento Labs приступила к адаптации существующих процессов сбора, трансформации и агрегации данных (ELT/ETL).
Для реализации визуализации аналитической отчётности был выбран продукт Tableau, который на момент старта проекта уже находился в 4-м квадранте Gartner, именуемом "Лидеры". Предлагаемый продукт в отчёте для генерального директора Заказчика позволил визуализировать более 50 различных показателей с использованием 4 дашбордов. Установленный экземпляр Tableau-server был подключён к службе авторизации Microsoft Active Directory Клиента, что позволило гибко управлять правами доступа к различным отчётам.
На отчёте для генерального директора использование Tableau не закончилось. После проведения обучения BI-экспертами Invento Labs, аналитики Заказчика продолжили самостоятельное создание необходимых отчётов для различных подразделений компании.
В результате внедрения предложенного решения для хранилища исходных данных и BI-платформы Клиент смог:
