Снижение стоимости хранения 260 ТБ данных: переход с Hadoop на Greenplum

Когда объём корпоративного хранилища достигает 260 ТБ с ежегодным приростом в 30%, стоимость проприетарных лицензий становится критической проблемой для бизнеса.

Разбираем кейс крупнейшего европейского телеком-провайдера: как миграция с Apache Hive (Hadoop) на open-source СУБД Greenplum позволила сохранить производительность, избежать покупки нового оборудования и кардинально снизить стоимость владения инфраструктурой.

Клиент

Один из крупнейших поставщиков услуг мобильной связи, онлайн-телевидения и мобильных платёжных решений в Европе.

Для работы с корпоративными данными Клиент использовал систему хранения Apache Hive на основе платформы Hadoop (это проприетарное программное обеспечение).

Проблема

Проблема, с которой Заказчик к нам обратился, — распространённая. Объём данных компании постоянно растёт, и необходимость их размещения предполагает увеличение стоимости использования хранилища по причинам:

Необходимо докупать новое оборудование для хранения новых данных.
Ежегодно оплачивать лицензию Apache Hive (Hadoop).
Рост количества используемого оборудования увеличивает операционные затраты.

Целью проекта было обеспечение возможности накопления новых и хранения исторических данных без ухудшения производительности хранилища и увеличения стоимости его владения.

Задачи, которые мы поставили для достижения цели проекта:

Создать новое корпоративное хранилище данных.
Обеспечить подключение к первичным источникам, а также обеспечить сбор и трансформацию данных в соответствии с бизнес-логикой.
Мигрировать имевшиеся и накопить новые данные для корректной работы бизнес-пользователей.
Обучить специалистов компании-заказчика работе с новым решением и передать необходимую техническую документацию по проекту.

Решение

На момент старта проекта объём данных составлял около 260 ТБ, предполагаемый объём информации через 1 год — 338 ТБ, что требовало увеличения серверных мощностей и приобретения дополнительных лицензий Hive.

Наши специалисты предложили Заказчику заменить текущее программное решение альтернативным — использовать распределённую базу данных Greenplum. Предлагаемое решение снимало ряд проблем и предоставляло дополнительные преимущества.

Приближаясь к этапу завершения проекта, специалисты Invento Labs обучили работе с новым решением технических специалистов компании-заказчика и передали документацию. Выгода от её наличия — снижение затрат на ввод новых и погружение текущих сотрудников в работу с новой технологией.

Технологии

Greenplum

Python

Oracle

PL/SQL/PostgreSQL

MySQL

MSSQL

Docker

Срок реализации проекта: 6 месяцев

Результат

В результате проекта Клиент смог:

Получить новое решение для накопления и хранения корпоративных данных, не уступающее предыдущему в производительности, отказоустойчивости и безопасности.
Обеспечить бесперебойную работу бизнес-пользователей с корпоративными данными.
Снизить стоимость владения хранилищем за счёт отсутствия обязательных лицензионных отчислений. Используя Hadoop, компании в среднем платят от $1000 до $2000 за 1 ТБ хранимых данных. В начале проекта объём хранилища составлял около 260 ТБ. Фактически ежегодный прирост данных ожидался в размере 30%.
Обслуживать хранилище самостоятельно, так как наши специалисты подготовили команду технической поддержки на стороне Заказчика и передали необходимую документацию для обучения новых сотрудников.