Гибридная архитектура в банке: ускорение формирования отчётности на 20%

Высокая нагрузка на общую систему хранения данных может существенно замедлять работу аналитических систем. В этом кейсе рассказываем, как кластер Greenplum крупного банка конкурировал за ресурсы с операционными системами и как переход к гибридной архитектуре с локальными дисками решил проблему.

Клиент

Крупный банк, использующий кластер Greenplum в качестве ключевого элемента корпоративного хранилища данных (КХД) для обработки больших объёмов информации.

Проблема

При внедрении КХД для обеспечения экономии ресурсов и быстрого старта проекта Клиентом было принято решение размещать данные в аппаратной системе хранения данных (СХД). При этом СХД также использовалась другими продуктовыми операционными системами банка. Подобная конфигурация оборудования зачастую может оказаться технически неоптимальной, что в итоге сказалось на работе бизнеса.

В процессе реализации проекта по внедрению КХД Клиент столкнулся с проблемами производительности. Это произошло из-за увеличения нагрузки на корпоративное хранилище данных и конкуренции за ресурсы системы хранения данных между операционными системами и КХД. Данная ситуация негативно сказалась на производительности кластера, что проявилось в следующих аспектах:

  • Длительное время записи/чтения на диски СХД;
  • Создание дополнительной нагрузки на сеть при взаимодействии с СХД;
  • Возникновение очередей в операциях записи и чтения при обращении к СХД.

В результате возникали задержки в обработке данных, что приводило к длительному формированию “золотой записи” (Golden Record) и витрин отчётов. Это нарушало установленные регламенты доступности сервисов, тем самым создавая задержки в получении актуальной информации и снижая эффективность работы специалистов и менеджмента банка.

Кроме того, из-за расширения временных рамок по подготовке аналитических данных СХД была нагружена выполняемыми регламентными задачами КХД в начале рабочего дня. Это привело к деградации производительности используемых продуктовых систем банка, хранящих свои данные в той же СХД. Подобное положение вещей вело к задержкам при работе с клиентами банка и в перспективе грозило проблемами репутационного и финансового характеров.

Решение

Для устранения выявленных проблем команда Invento Labs разработала и реализовала комплекс мер, направленных на модернизацию инфраструктуры и повышение её эффективности:

  1. Выделение серверного оборудования: специалисты Invento Labs обосновали необходимость использования серверного оборудования с локальными дисками, что позволило разгрузить общую СХД и обеспечить более стабильную работу как КХД, так и продуктовых систем банка.
  2. Создание нового кластера: на базе обновлённой конфигурации серверного оборудования был создан кластер с размещением данных на локальных дисках. Это обеспечило более высокую производительность, снизило время ожидания и улучшило общую эффективность обработки данных.

Результаты

Реализация предложенных решений привела банк к достижению следующих результатов:

  • Увеличение доступности вычислительных мощностей на 10-15% за счёт выделения дополнительного серверного оборудования с локальными дисками и создания нового кластера на базе этого оборудования. Комбинация использования аппаратных мощностей и контейнеризация позволили разгрузить общую СХД и снизить конкуренцию за ресурсы, повысив общую производительность системы и сократив время ожидания для пользователей.
  • Ускорению выполнения регламентных задач: скорость выполнения регламентов подготовки “золотой записи” и витрин отчётов увеличилась на 10-20% благодаря созданию нового, более производительного кластера с локальными дисками, что сократило время ожидания при чтении/записи данных. Переход к гибридной архитектуре обеспечил более быструю обработку запросов и формирование итоговых данных, что способствовало соблюдению временных рамок готовности сервисов.

Срок реализации проекта: 1,5 года

Выводы и рекомендации

Конфликты ресурсов могут возникать не только в локальных системах, но и в облачных решениях, где виртуальные машины делят физические ресурсы. Специалисты Invento Labs рекомендуют:

  • регулярно мониторить текущее состояние системы и взаимодействовать с технической поддержкой облачного провайдера для получения гарантированных ресурсов;
  • рассмотреть возможность выделения независимого пространства для критически важных систем, чтобы избежать влияния нагрузки одной на другую.

Эти рекомендации помогут компаниям избежать возникновения или повторения аналогичных проблем и обеспечить стабильную работу своих IT-систем для эффективной работы бизнес-процессов. Успешная реализация подобных проектов не только повышает внутренние показатели организации, но и укрепляет доверие клиентов к вашей компании как к надёжному партнёру.

Не нашли то, что искали?
Связаться с нами