Снижение стоимости хранения 260 ТБ данных: переход с Hadoop на Greenplum

Когда объём корпоративного хранилища достигает 260 ТБ с ежегодным приростом в 30%, стоимость проприетарных лицензий становится критической проблемой для бизнеса.

Разбираем кейс крупнейшего европейского телеком-провайдера: как миграция с Apache Hive (Hadoop) на open-source СУБД Greenplum позволила сохранить производительность, избежать покупки нового оборудования и кардинально снизить стоимость владения инфраструктурой.

Клиент

Один из крупнейших поставщиков услуг мобильной связи, онлайн-телевидения и мобильных платёжных решений в Европе.

Для работы с корпоративными данными Клиент использовал систему хранения Apache Hive на основе платформы Hadoop (это проприетарное программное обеспечение).

Проблема

Проблема, с которой Заказчик к нам обратился, — распространённая. Объём данных компании постоянно растёт, и необходимость их размещения предполагает увеличение стоимости использования хранилища по причинам:

Целью проекта было обеспечение возможности накопления новых и хранения исторических данных без ухудшения производительности хранилища и увеличения стоимости его владения.

Задачи, которые мы поставили для достижения цели проекта:

Решение

На момент старта проекта объём данных составлял около 260 ТБ, предполагаемый объём информации через 1 год — 338 ТБ, что требовало увеличения серверных мощностей и приобретения дополнительных лицензий Hive.

Наши специалисты предложили Заказчику заменить текущее программное решение альтернативным — использовать распределённую базу данных Greenplum. Предлагаемое решение снимало ряд проблем и предоставляло дополнительные преимущества.

Приближаясь к этапу завершения проекта, специалисты Invento Labs обучили работе с новым решением технических специалистов компании-заказчика и передали документацию. Выгода от её наличия — снижение затрат на ввод новых и погружение текущих сотрудников в работу с новой технологией.

Технологии
Greenplum
Python
Oracle
PL/SQL/PostgreSQL
MySQL
MSSQL
Docker
Результат

В результате проекта Клиент смог: