Высокая нагрузка на общую систему хранения данных может существенно замедлять работу аналитических систем. В этом кейсе рассказываем, как кластер Greenplum крупного банка конкурировал за ресурсы с операционными системами и как переход к гибридной архитектуре с локальными дисками решил проблему.
Крупный банк, использующий кластер Greenplum в качестве ключевого элемента корпоративного хранилища данных (КХД) для обработки больших объёмов информации.
При внедрении КХД для обеспечения экономии ресурсов и быстрого старта проекта Клиентом было принято решение размещать данные в аппаратной системе хранения данных (СХД). При этом СХД также использовалась другими продуктовыми операционными системами банка. Подобная конфигурация оборудования зачастую может оказаться технически неоптимальной, что в итоге сказалось на работе бизнеса.
В процессе реализации проекта по внедрению КХД Клиент столкнулся с проблемами производительности. Это произошло из-за увеличения нагрузки на корпоративное хранилище данных и конкуренции за ресурсы системы хранения данных между операционными системами и КХД. Данная ситуация негативно сказалась на производительности кластера, что проявилось в следующих аспектах:
В результате возникали задержки в обработке данных, что приводило к длительному формированию “золотой записи” (Golden Record) и витрин отчётов. Это нарушало установленные регламенты доступности сервисов, тем самым создавая задержки в получении актуальной информации и снижая эффективность работы специалистов и менеджмента банка.
Кроме того, из-за расширения временных рамок по подготовке аналитических данных СХД была нагружена выполняемыми регламентными задачами КХД в начале рабочего дня. Это привело к деградации производительности используемых продуктовых систем банка, хранящих свои данные в той же СХД. Подобное положение вещей вело к задержкам при работе с клиентами банка и в перспективе грозило проблемами репутационного и финансового характеров.
Для устранения выявленных проблем команда Invento Labs разработала и реализовала комплекс мер, направленных на модернизацию инфраструктуры и повышение её эффективности:
Реализация предложенных решений привела банк к достижению следующих результатов:
Срок реализации проекта: 1,5 года
Конфликты ресурсов могут возникать не только в локальных системах, но и в облачных решениях, где виртуальные машины делят физические ресурсы. Специалисты Invento Labs рекомендуют:
Эти рекомендации помогут компаниям избежать возникновения или повторения аналогичных проблем и обеспечить стабильную работу своих IT-систем для эффективной работы бизнес-процессов. Успешная реализация подобных проектов не только повышает внутренние показатели организации, но и укрепляет доверие клиентов к вашей компании как к надёжному партнёру.