Объём корпоративных данных растёт. Как избежать увеличения стоимости их хранения?

Клиент

Один из крупнейших поставщиков услуг мобильной связи, онлайн-телевидения и мобильных платежных решений в Европе.

Для работы с корпоративными данными Клиент использовал систему хранения Apache Hive на основе платформы Hadoop (это проприетарное программное обеспечение).

Срок реализации проекта: 6 месяцев.

Проблема

Проблема, с которой Заказчик к нам обратился, – распространённая. Объём данных компании постоянно растёт и необходимость их размещения предполагает увеличение стоимости использования хранилища по причинам:

  • Необходимо докупать новое оборудование для хранения новых данных.
  • Ежегодно оплачивать лицензию Apache Hive (Hadoop).
  • Рост количества используемого оборудования увеличивает операционные затраты.
  • Целью проекта было обеспечение возможности накопления новых и хранения исторических данных без ухудшения производительности хранилища и увеличения стоимости его владения.

Задачи, которые мы поставили для достижения цели проекта:

  1. Создать новое корпоративное хранилище данных.
  2. Обеспечить подключение к первичным источникам, а также обеспечить сбор и трансформацию данных в соответствии с бизнес-логикой.
  3. Мигрировать имевшиеся и накопить новые данные для корректной работы бизнес-пользователей.
  4. Обучить специалистов компании-заказчика работе с новым решением и передать  необходимую техническую документацию по проекту.

 

Решение

На момент старта проекта объём данных составлял около 260 ТБ, предполагаемый объём информации через 1 год – 338 ТБ, что требовало увеличения серверных мощностей и приобретения дополнительных лицензий Hive.

Наши специалисты предложили Заказчику заменить текущее программное решение альтернативным — использовать распределенную базу данных Greenplum. Предлагаемое решение снимало ряд проблем и предоставляло дополнительные преимущества.

Приближаясь к этапу завершения проекта, специалисты Invento Labs обучили работе с новым решением технических специалистов компании-заказчика и передали документацию. Выгода от её наличия —  снижение затрат на ввод новых и погружение текущих сотрудников в работу с новой технологией.

Результат

В результате проекта Клиент смог:

  1. Получить новое решение для накопления и хранения корпоративных данных, не уступающее предыдущему в производительности, отказоустойчивости и безопасности.
  2. Обеспечить бесперебойную работу бизнес-пользователей с корпоративными данными.
  3. Снизить стоимость владения хранилищем за счёт отсутствия обязательных лицензионных отчислений. Используя Hadoop, компании в среднем платят от $1000 до $2000 за 1 ТБ хранимых данных. В начале проекта объём хранилища составлял около 260 ТБ. Фактически ежегодный прирост данных ожидался в размере 30%.
  4. Обслуживать хранилище самостоятельно, так как наши специалисты подготовили команду технической поддержки на стороне Заказчика и передали необходимую документацию для обучения новых сотрудников.